Здание в котором располагается музей раньше занимало главное управление Морской таможни. Оно входило в комплекс построек стрелки Васильевского острова. Набережная Малой Невы в этом месте называется набережной Макарова в честь русского адмирала Макарова родившегося в Николаеве в середине 19-го века и погибшего во время русско японской войны в 1904 году возле Порт Артура.