Двухэтажный каменный дом в стиле позднего классицизма был построен дворянином Иваном Иваановичем Плещеевым по проекту архитектора Андрея Андреевича Тона в начала 1830-х годов. Однако от первоначального вида усадьбы мало что осталось даже к концу XIX столетия. Сначала фасад дома подвергся переделке, а позднее к нему достроили ещё одну часть, оставив для сообщения с дворовым место только проезд.

В глубине двора был разбит небольшой сад с фонтаном. Хозяйка дома Екатерина Плещеева любила цветы и занималась ими чуть ли не сама лично. Супруг в письмах к братьям бесконечно превозносил ее любовь к цветам и корил лишь за то, что все свободные места в доме заняты цветочными вазами и горшками.

Плещеевы занимали второй этаж дома, в котором в разные годы проживали многочисленные родственники. Зимовать в Харьков съезжались Плещеевы из Изюмского, Змиевского и Волчанского уездов. Вместе они праздновали Рождество, бывали на балах и маскарадах у губернского предводителя дворянства и губернатора. Также многочисленная семья объединялась в июне, когда Плещеевы приезжали в город, чтобы продать овечью шерсть на Троицкой ярмарке. Такой заработок был одним из основных доходов их имений.

В 1858-м за столом у Плещеевых только детей собралось 11 человек. Видя необходимость расширить жилую площадь, в 1864 году Иван Плещеев решает возвести в глубине двора новый обширный двухэтажный флигель, перестроить флигель для дворовых служителей, обновить конюшни и каретные сараи.

Дворовое место в 1860-1870-е годы принадлежало дворянке Екатерине Плещеевой. На усадьбе стоял каменный двухэтажный с подвалом дом, выходящий фасадом на Михайловскую (Скобелевскую) площадь и небольшой одноэтажный деревянный сарай, большую часть усадьбы занимал сад. Дом сохранился с перестройками до наших дней.

С 1879 усадьбой владеет жена поручика Ирина Васильевна Трушева. Никакой деятельности на территории усадьбы она не вела, даже наоборот -  большая часть построек пришла в полную ветхость, кроме жилого дома.

На 1890 год принадлежало дворянину Ивану Ивановичу Каразину, а после его смерти его сыну – Борису Ивановичу Каразину. Борис Каразин – известный общественный деятель и член IV Государственной думы от Харьковской губернии. До этого он занимал многочисленные выборные должности в Богодуховском и Харьковском уездах. Последний раз он находился в своем доме после Февральской революции 1917 года. Когда произошел большевистский переворот, Каразин эмигрировал в Сербию. В советские времена дом № 4 национализировали, после чего в здании квартировали различные учреждения.

Кто из Каразиных снес старые постройки Плещеевых - не известно, но видимо этот процесс давно назревал.  

В начале 1901 года Каразин продает дворовое место Калинкинскому пивоваренному товариществу, чей поверенный А. М. Коробков пребывал в то время в Харькове. В июле того же 1901 года Коробков поручает провести строительные работы на территории домовладения технику Моисею Диканскому. К существующему каменному зданию было пристроено правое крыло, в котором на первом этаже располагались контора товарищества и кабинет управляющего. На втором этаже была жилая квартира управляющего на 6 комнат с ванной комнатой и уборной. Проектировал пристройку Моисей Диканский, повторив в фасаде пристройки черты старого дома.

В глубине двора было решено построить каменный двухэтажный с подвалом дом. В подвале (располагался под левым крылом здания) размещался склад готовой продукции. На первом этаже в левом крыле была помещения для служащих товарищества, а в правом крыле кладовые комнаты. На втором этаже располагались четыре квартиры, с весьма незавидной планировкой и в коридоре две общие уборные. Проект фасада и планы здания также проектировал Моисей Диканский.

Позднее Калинкинское товарищество построило вместо сада Плещеевых корпуса пивоваренного завода и завода минеральных вод. 

В 1920-е годы усадьбу нацинализировали, здесь располагся 2-й пивоваренный завод города Харькова.