Идет от Театральной площади к улице Скрыпника. До 1780-х годов здесь располагались подземные армейские арсеналы, манеж драгунской школы, конюшни и казармы. На начало XIX ст. здесь было много пустопорожних мест принадлежащих городу.

В 1804 году улица получила имя Мало-Сумская, поскольку шла параллельно Сумской, которая в документах иногда фигурирует как Большая Сумская.

В 1894 году Мало-Сумская была переименована в переулок Кокошкинский в память о генерал-губернаторе Сергее Александровиче Кокошкине, который служил в этой должности в Харькове с 1847 по 1856 годы.

В 1909 году улица получила имя писателя Николая Гоголя.