Здание, толстыми стенами и угловыми башенками напоминающее средневековую крепость, выглядит так не случайно. С 1824-го и до начала Первой мировой войны здесь находилась городская тюрьма. В ней побывали и известные заключенные: Максим Горький, Феликс Дзержинский и другие.

В начале XX века из-за обилия арестантов условия содержания были практически невыносимыми. В военные годы острог стал местом пребывания пленных. Позже здание использовали как склад.

В 1981-м сюда стали водить экскурсии как в первый музей-тюрьму в России. Сегодня тоже можно посетить острог, но только предварительно записавшись. Туристы осматривают камеры, карцер и маленькую церковь для заключенных, пристроенную к зданию.