В 1799 году Вртбовский дворец купил императорский советник Ян Майер, который отдал распоряжение провести новый комплекс реконструкционных работ.
Было решено перестроить дворец в классический стиль. Управлял работами придворный архитектор Йозеф Зобел. В результате реконструкции здание дворца получило два новых крыла - южное и западное. Кроме этого, был возведена парадная лестница.
В 1807 году власти города передали здание дворца в собственность больницы на Карлове. Больница на Карлове владела дворцом до 1836 года, после чего он был выкуплен купцом по фамилии Барт. Купец превратил
дворец в доходный дом. Позже этот дом стал местом проживания известного чешского художника Миколаша Алеша.
В 1839 году дворец перешел в порядке наследования вдове купца - Марии Бартовой. Она продолжила комплекс мероприятий, направленных на перестройку и совершенствование здания. Кроме этого, в саду были поставлены два новых павильона.
В 1911-1912 гг. здание дворца пережило еще один комплекс реконструкционных работ. В результате этой реконструкции появились четвертый этаж и аттик. Эти дополнительные элементы были пристроены с
внешней стороны дворца.
В период Второй мировой войны дворец отошел во владение представителям немецкой администрации в Чехии. После того, как война была окончена, здание дворца было конфисковано у немцев и передано в собственность Чехословацкому министерству иностранных дел. Окончательные реставрационные работы были проведены в последние десятилетия 20-го века. Именно вид после этих реставраций является современным обликом Вртбовского дворца.
