Здание гостиницы «Селивановъ» имеет богатую историю. Это одно из первых строений, возведённых 1780-х годах. Городской план Ростова Великого утверждала сама Екатерина II. Каменный дом с деревянным мезонином сменил множество хозяев, пока не попал в руки купца А. П. Селиванова. Особняк перестроили и украсили деревянной резьбой. В итоге он стал одним из красивейших домов, который не уступал по изяществу особнякам Санкт-Петербурга.

После 1917 года фасад остался нетронутым, внутри произвели перепланировку и превратили дом в коммуналку. Навсегда утрачены роскошные витражи, камины с уникальными изразцами, другие предметы убранства. Теперь только внешний облик даёт возможность представить жизнь дореволюционного Ростова.