Крестовоздвиженское архиерейское подворье возвели в 2009 году на месте Крестовоздвиженского женского монастыря XIII века. По преданию, обитель возвели именно там, где святой Пётр получил чудотворный Агриков меч для поражения волшебника, и где впоследствии приняла постриг святая княгиня Феврония.
Первый храм был деревянным и просуществовал до конца XVIII века, пока в 1797 году его не заменили на каменный с тёплой трапезной и колокольней. В трапезной располагались два придела – в честь Покрова Пресвятой Богородицы и святителя Иоанна Милостивого.
После революции церковь снесли. В 1998 году, в день Петра и Февронии, на месте утраченного храма установили поклонный крест. Монашеская жизнь здесь возобновилась только после появления новой Крестовоздвиженской церкви в 2009 году.