Всего в 2 км от Кыз-Кермена, по другую сторону ущелья, находится средневековая крепость Тепе-Кермен. Ее название можно перевести на русский язык как «крепость на вершине» или «холм-крепость». Поскольку источников воды здесь обнаружено не было, можно предположить, что поселением Тепе-Кермен не являлся, а служил скорее именно крепостью, в которой население округи укрывалось от войск неприятеля.

Тепе-Кермен, существовавший в период с VI по XIV века, отличается высокой концентрацией искусственных пещер. Здесь насчитали 235 пещер, вырубленных в несколько ярусов в верхней части склона известнякового массива. Гибель одного из самых многолюдных пещерных городов Крыма связывают с набегом войск Золотой Орды в 1299 году.