Монастырский комплекс получил имя в честь своего основателя – монаха Варлаама, в мирской жизни – Алексея. По преданию, в XII веке он основал монастырь в хутыни – «плохом» месте, которое находилось, как считалось, во власти темных сил. Варлаам построил здесь церковь Преображения Господня, до наших дней не сохранившуюся.

Позже был возведен Спасо-Преображенский собор и церковь Григория Армянского. В XVII веке в монастыре разместились захватившие город шведские войска. На территории комплекса нашли покой останки поэта Гаврилы Державина и его жены. Сейчас обитель – действующий женский монастырь, где постоянно проживает порядка ста монахинь.