מערת סנט גלרט קשורה גם היא לבישוף הראשון של הונגריה. זה חלק ממבוך מערות רבות המסתתרות בסלע של בודה. מעיינות חמים יוצרים אמבטיה במערה. כיום מים אלה ידועים בשם מרחצאות גלרט ונמצאים במלון בעל אותו שם. בתקופת גלרט, מים אלו היו מפורסמים בסגולות הריפוי שלהם, ועזרו לקדוש להמיר גרים חדשים לאמונה הקתולית. במהלך השנים קמו במערה מנזר וקפלה קטנה. בתקופת הכיבוש הגרמני הוקם כאן בית חולים צבאי. בתקופה הקומוניסטית, המנזר נסגר, והנזירים נכלאו.