La construction de la synagogue a commencé en 1885. La plupart des fonds pour la construction ont été alloués à Zvi Levontin, l'oncle de Zalman Levontin, qui a contribué pour environ la moitié du montant à l'achat du terrain de Rishon LeZion. David Papermaster - un ingénieur et architecte qui est responsable de la construction de la luxueuse maison du conseil municipal de Jaffa, a conçu le bâtiment. Assez rapidement, les hommes du baron Rothschild sont intervenus dans le processus de construction. Au lieu de devenir une synagogue hassidique comme le souhaitaient les colons, elle a été construite dans le style ashkénaze généralement accepté. La construction a duré pendant 4 ans et a été achevée en 1889 par l'arrivée du baron Rothschild. Par la suite, le visage a été légèrement modifié. Une élévation est apparue avec une année de fondation écrite en lettres hébraïques selon le calendrier hébreu. Les outils agricoles étaient conservés dans le sous-sol de la synagogue. Cela était dû au fait qu'à l'origine, les autorités turques avaient présenté ce bâtiment comme un hangar à machines agricoles, car les Turcs ne permettaient pas la construction d'une synagogue. Au fil du temps, le sous-sol était réservé à la maternelle. C'était le premier jardin d'enfants, où l'éducation était complètement en hébreu.