В скальном хребте Кизил-Таш, что недалеко от села Каменка, спрятался Кизилташский монастырь Святого Стефана Сурожского, ведущий свою историю с 1852 года. К концу XIX века обитель обзавелась каменной церковью Успения Божией Матери, зимним храмом Стефана Сурожского, земельными угодьями и даже небольшим садом с прудом. В тот период монастырь стал местом паломничества, правда, приезжающих сюда в первую очередь интересовал не столько сам монастырь, сколько расположенный неподалеку грот со святым источником, воды которого обладают целебными свойствами.

В XX веке, с приходом к власти большевиков, монастырь был закрыт. В 1950-х годах все постройки монастыря, чудом уцелевшие даже во время проходивших здесь боев Великой Отечественной, по приказу Берии сровняли с землей: на месте обители был создан секретный арсенал для хранения ядерного оружия.

Только в 1997 году было принято решение возродить Кизилташский монастырь. Сегодня он вновь действующий. Монахов здесь пока немного, но благоустройство обители пусть и медленно, но продолжается.