Этот дом был построен в 1786 году по типовому проекту жилого здания. Судьба особняка складывалась непросто: здесь несколько раз бушевали пожары, дом неоднократно перестраивали, ремонтировали и реконструировали. В разное время в этом здании размещались городская таможня и коммерческий банк.  

В 1964 году здание было передано Музею изобразительных искусств. На протяжении нескольких лет в его стенах была размещена выставка древнерусского искусства, а затем — фонды музея.

В 1998 году здесь была открыта постоянная экспозиция “Портрет в старинном интерьере”. Пять залов этого здания, наполненные духом прежних эпох, словно перемещают посетителей музея в прошлое. Кроме того, здесь регулярно проводятся временные выставки.