В конце XV века, в этих окружённых лесом местах располагалась вотчина старомосковских бояр Воронцовых-Вельяминовых – село Воронцово, позднее переданное мужскому Свято-Андроникову монастырю. Договорившись с монахами, великий князь Иван III выстроил здесь свой охотничий дворец, куда был вынужден временно переселиться после пожара 1493 года, полностью разорившего Московский кремль. Вначале XVII века вокруг бывшей монаршей резиденции возникла стрелецкая слобода. 

Отказ от стрелецкого войска, провозглашенный Петром, подарил усадьбе новую жизнь. Уже во второй половине XVIII века это имение активно перестраивается и меняет хозяев. От вдовы канцеляриста Шишиптарова дом переходит купцу Татаринову, который, едва успев завершить строительство, почти сразу продал его другому купцу – Сырейщикову. Наконец, в 1832 году, усадьба обрела своих настоящих владельцев, которыми стала семья знаменитых купцов-благотворителей Рахмановых, выходцев из далекой Симбирской губернии. 

Первый владелец усадьбы – ардатовский купец Василий Григорьевич, вместе со своим двоюродным братом Фёдором Андреевичем почитались «столпами» московского старообрядчества, поскольку участвовали в знаменитом Рогожском соборе 1832 года, принявшем решение о поисках епископа и устройства архиерейской кафедры за границами России, в Белокринице. После его смерти в 1858 году домом долгое время владела его супруга Агафья Филипповна, которую рогожские староверы называли «адамантом благочестия». В те годы в доме была собрана обширная коллекция икон, которая потом перешла в Храм Покрова Пресвятой Богородицы на Рогожке. После неё дом перешел к племяннику – Карпу Ивановичу, а в начале XX века к его сыну Сергею Ивановичу.

Рахмановы сделали очень многое для формирования современного облика нашей усадьбы. При них были по-новому оформлены парадные помещения второго этажа, фасады украшены лепными деталями, а во дворе обустроены конюшня на шесть лошадей, каретный сарай, коровник и погреб. В 1898 году по инициативе Сергея Рахманова был перестроен флигель по Введенскому (ныне – Подсосенскому) переулку.

Несмотря на частую смену владельцев и неоднократные попытки советских властей приспособить здания для общественных нужд, объёмно-планировочное решение усадьбы в целом сохранилось. Сохранилась и уникальная чугунная лестница, созданная в полукруглой пристройке главного дома в 1844 году, а также массивная печь на втором этаже.

Ныне усадьба является объектом культурного наследия федерального значения. С 2013 года в зданиях усадьбы располагается Российское историческое общество, для нужд которого была проведена масштабная реставрация и работы по благоустройству территории.