В концу десятого века замок и вовсе перестал существовать. Этому послужили постоянные набеги сарацинов с моря. Монахи разобрали крепостные стены, боясь, что однажды замок будет захвачен врагами и превратится в плацдарм для захвата самого Неаполя. К тому времени среди местных князей было модным нанимать на военную службу нормандцев. Рассказывают даже, что в Салерно возвращавшиеся из паломничества в Святую землю нормандцы отбили в 999 году очередной набег сарацинов в то время, как местный князь собирал позорную дань для откупа. Как бы то ни было нормандец Роджер второй в середине двенадцатого века основал сицилийское королевство в которое вошёл и Неаполь. Он же построил замок дэль Ово, который дошёл до наших дней. Нормандцы сократили присутствие византийцев и арабов, вытеснили арабский и греческой языки и стал развиваться местный диалект именуемый сицилийским языком. Тогда же из Греции были привезены евреи, торговавшие шёлком. Так, постепенно развивается средневековая еврейская община Неаполя, не смотря на то, что евреи жили в Неаполе ещё с первого века новой эры.