Строительство усадебного дома началось в 1794 году. Изначально это были два каменных двухэтажных дома, принадлежавшие разным хозяевам. С 1894 года у них появился один владелец, который принялся за перестройку домов в единый объем.

Свой нынешний облик здание получило в начале XX столетия, когда его владелицей стала Екатерина Кирилловна Плотникова. На первом этаже находились торговые лавки и кладовые, а второй этаж был жилым.

В усадебном доме до наших дней сохранились интерьеры конца XIX столетия с изразцовыми печами, инкрустированным паркетом, расписными плафонами и лепниной на потолке. Сегодня в здании находится один из музеев объединения “Художественная культура Русского Севера”.

Анфиладу залов особняка украшают работы русских художников — И. Крамского, В. Серова, А. Венецианова, В. Боровиковского, К. Брюллова, И. Айвазовского, И. Шишкина, И. Репина и других живописцев.