Страстному бульвару, находился полуциркульный корпус конного двора с флигелями по сторонам.
С 1802 по 1812 год Дом Гагарина арендовал московский Английский клуб, но в 1812 году здание сильно пострадало при пожаре Москвы: оно стояло обгоревшим на протяжении восьми лет. В 1820 году по проекту архитектора О.И. Бове были проведены работы по его восстановлению.
В 1828 году усадьба была выкуплена казной за 45 714 рублей 28 и ¾ копейки для размещения Екатерининской больницы (была переведена с 3-й Мещанской улицы, отсюда название «Ново-Екатерининская»). В советское время здесь размещалась городская клиническая больница № 24.
В 1920-е годы в больнице был проведён капитальный ремонт, а в 1954 — 1957 годах — отдельные реставрационные работы. К началу XXI века здание Дома Гагарина находилось в аварийном состоянии и далее не могло использоваться как больница. В связи с этим в 2008 — 2009 годах ГКБ № 24 была переведена в новые здания по адресу: улица Писцовая, дом 10 (метро «Савёловская»).
В ходе посещения усадьбы Мэр Москвы также отметил, что после рассмотрения различных вариантов использования Дома Гагарина было принято решение открыть здесь городской общественный центр.
Мэр Москвы предложил превратить эту территорию в общедоступный парк и с помощью пешеходной зоны соединить его с расположенным поблизости садом «Эрмитаж». «Рядом с этим зданием находится замечательный парк. Мы его в ближайшие месяцы реконструируем и через пешеходную зону, которая будет создана на Успенском переулке, соединим знаменитый сад „Эрмитаж“. И это будет единое общедоступное пространство», — добавил Сергей Собянин.
Строительство дома осуществлялось по проекту архитектора М.Ф. Казакова, который возвёл дворец, по своим масштабам значительно превосходивший типичные московские дворянские усадьбы того времени.
Центральная часть здания — трёхэтажная, украшенная по главному фасаду портиком с 12 колоннами. Протяжённые боковые крылья — двухэтажные. Планировка второго парадного этажа была анфиладной. В центре дома располагался овальный зал, выходящий полукругом в парк. На этаже находились многочисленные гостиные, залы, кабинеты — традиционный набор помещений богатого дворца. Интерьеры отличались роскошью и изысканной отделкой. С левой стороны дома, по Страстному бульвару, находился полуциркульный корпус конного двора с флигелями по сторонам.
«Я хочу поблагодарить и реставраторов, и строителей, и археологов. Это действительно уникальная, огромная работа, которая была проведена в достаточно сжатые сроки для такого проекта – в течение полутора лет», – добавил Мэр Москвы.
Усадьба Гагарина (Ново-Екатерининская больница) с главным домом и вспомогательными постройками занимает участок площадью 3,5 гектара на углу улицы Петровки и Страстного бульвара и является объектом культурного наследия федерального значения.
Здание главного дома в стиле русского классицизма было построено в 70-х годах XVIII века по заказу князя Сергея Сергеевича Гагарина. Оно принадлежало его потомкам до 1828 года.