Позднее, в конце 16 века к существующему зданию был пристроен "Новый дворец", который надолго стал резиденцией цистерианского настоятеля аббатства. В тот вид, в котором аббатский дворец сохраняется и по сей день, он пришёл только в середине 18 века, когда один из настоятелей, Яцек Рыбинский, до конца обустроил местность.

В последующие годы дворец менял владельцев и даже переходил из одной страны в другую: в 1831 году, после раздела Польши, он отошёл к Пруссии, а в конце 19 века был захвачен властью города Олива. С 1926 года в стенах дворца существовал музей, но, как и многие польские достопримечательности, во время Второй мировой войны он был уничтожен ну пути отступления немецкой армии.

Реконструкция, в результате которой дворец пришлось перестроить, пришлась на середину шестидесятых годов 20 века, после чего в здании аббатства обосновался филиал Национального поморского музея. Сейчас здесь находится экспозиция современного искусства 19-20 веков Национального музея Гданьска, в рамках которой можно увидеть композиции польских художников и скульпторов или посетить проходящие здесь конференции и встречи с творцами.

People Travel советует не только осмотреть здание аббатского дворца снаружи и прогуляться по его паркам, но и посетить Национальный музей, ведь внутреннее убранство также было восстановлено, и у посетителей есть все шансы посмотреть аббатство, каким оно было несколько веков назад.