Сам князь Олег Рязанский к этому гражданскому сооружению отношения не имеет. Оно было построено лишь в XVII в. на месте, где раньше располагался его двор. Белокаменное здание имеет внушительную площадь в 2500 м², наличники окон умело декорированы резьбой по камню.

Дворец князя Олега пережил немало реконструкций, как и другие здания кремлевского комплекса. Самый старый фасад здания обращен к Христорождественскому собору. Во дворце раньше размещались жилые архиерейские палаты, здесь же находилась домашняя церковь, братские кельи и хозяйственные помещения. Сейчас в здании располагается исторический музей кремля.