Путевой дворец возвели в 1764—1766 годах для отдыха членов императорской семьи по дороге из Санкт-Петербурга в Москву. Впервые императрица Екатерина II остановилась здесь в 1767 году. Позже во дворце жила сестра Александра 1 Великая княжна Екатерина Павловна, которая превратила его в центр культурной и светской жизни. Также именно тут Николай Карамзин читал императору отрывки из своей книги “История государства Российского”.

Сейчас в здании располагается картинная галерея, где можно увидеть иконы, фрески и работы Айвазовского, Венецианова, Левитана, Рериха, Врубеля, Серова, Коровина и других.