Пещера святого Геллерта тоже связанна с первым епископом Венгрии. Она является частью пещерных лабиринтов, спрятанных в скале Буды. Горячие термальные устройства в пещере создают купальню. Сегодня эти воды известны как купальни Геллерта и расположены в одноимённой гостинице. Во времена Геллерта эти воды славились целебными свойствами, и помогали святому обращать в католическую веру новых прозелитов. С годами в пещере возник монастырь и при нём небольшая капелла. Во время немецкой оккупации Будапешта, здесь разместили военный госпиталь. В времена коммунистов монастырь закрыли, а монахов посадили в тюрьму.