Ливийская синагога была, скорее всего, первой еврейской синагогой, построенной в Яффо в современную эпоху. Синагога впервые упоминается в конце первой половины 18 века, и говорят, что здание было куплено или построено раввином Иаковом Бен Давидом Зунаной для «Комитета израильских официальных лиц и лордов в Стамбуле», чтобы служить им ханом (постоялым двором), с синагогой и микве (ритуальной ванной для омовений) для еврейских паломников, которые прибывали в Палестину через гавань Яффо и в основном направлялись в Иерусалим и другие святые города. В конце 18-го века, положение еврейской общины в Святой земле сильно ухудшилось. Причиной этому стало обнищание турецкой провинции (санджука Яффо) в результате общего экономического и социального запустения. Еврейская община стала нуждаться в помощи развивающихся и укрепляющихся европейских общин, но, поскольку европейская помощь поступала, в основном, в Иерусалим, евреи Яффо, начали покидать город и перебираться в Иерусалим. Еврейская собственность в Яффо оставалась бесхозной, и местные арабы постепенно занимали помещения, позволяя существенно снизившемуся ручейку еврейских паломников использовать его всего три дня в течение года – в еврейские праздники. Во время завоеваний и разрушений, которые претерпел Яффо в 18 и 19 веке, (Наполеоновские войны) еврейская община в Яффо исчезла вместе со следами еврейского хана. В 1948 году первые ливийские иммигранты прибыли в Израиль и стали селиться в Старом Яффо, который был частично оставлен арабскими жителями. Они сделали это место своей синагогой после того, как получили ключи от дверей здания из рук священника-францисканца, служившего в соседнем аббатстве Св. Петра. Он сказал им, что много лет назад этот дом служил для еврейской общины Яффо синагогой.