С тех пор как в 1764 году Харьков стал центром Слободско-украинской губернии, а затем Харьковского наместничества и снова губернии, у гражданского ведомства была одна постоянная проблема, где разместить губернские учреждения. Одно время использовались частные дома внутри крепости, которые сдавались владельцами в аренду. Было решено постепенно выкупать здания внутри крепости у частных владельцев, чтобы на освободившихся дворовых местах строить новые, подходящие для этих целей здания. Прибытие в Харьков губернского архитектора Вильянова как раз и предполагало, что он займется постройкой таких зданий.

         Первоначально были построены деревянные дома на нечетной стороне улицы, на месте где сегодня Антониевская церковь, здесь располагались дом вице-губернатора, губернская канцелярия и магистрат, а в 1780 году здесь же построили дом наместника. В 1780 году на месте пришедших в ветхость домов построили по проекту архитектора Петра Ярославского шесть одноэтажных здания для размещения в них присудственных мест: Гражданская и Уголовная палаты, Совестный суд, Земской суд, Казенная палата, Казначество, Приказ общественного призрения и др. Здесь же построили и двухэтажное каменное здание Банковской конторы, которая просуществовала в Харькове до 1785 году, после чего здание продали купцу Дорофею Карпову.

         В 1785 году приступили к строительству нового здания присудственных мест напротив Успенского собора. Однако средств для строительства здания не хватало, в итоге губернское правление въехало в него только в 1805 году, а другие учреждения только в 1808 году, когда оно было окончено постройкой, хотя и не в полной мере, как это предполагал перестраивающий его петербургский архитектор Андреян Захаров. Несмотря на кажущуюся огромную площадь занятую зданием, в нём было весьма тесно.

         Только в 1850-е годы генерал-губернатор Сергей Александрович Кокошкин повелел выстроить новое, более практичное и удобное для чиновников здание. Красоты в центральной части города поубавилось. Строительство продолжалось с 1850 по 1854 годы, что для того времени очень много, причина была банальной, весьма дотошные, до мелочи требования генерал-губернатора, который потребовал от подрядчика Грайворонского купца 2-й гильдии Елиокина во всем соблюдать проект и дважды приказывал ему разбирать часть стен, где они были криво выложены каменщиками. Позднее это назовут причудами Кокошкина, на мой же взгляд он поступал как рачительный хозяин и требовательный заказчик.   

В 1910–1911 году здание перестраивали внутри, ремонтировали фасад. На фронтоне появился государственный герб. 

В 1920–1925 гг. здесь располагались советские учреждения Харьковской губернии, затем Харьковского округа. В 1929 году они были переведены в здание Госпрома, а задние вновь подверглось реконструкции, теперь это стал Дом Красной Армии. В 1941–1943 гг. оно получило многочисленные повреждения, особенно в ходе уличных боев марта 1943 г. и бомбардировок февраля-марта и августа 1943 года. В итоге его разобрали.