26 декабря 1931 года решением коллегии ОГПУ в пригороде Харькова — посёлке Померках, была создана 2-я нормальная школа пограничной охраны и войск ОГПУ.

В состав школы входили специальные и кавалерийские подразделения, автобронетанковое и артиллерийское отделение, дивизион связи, позже были включены отделения подготовки лётчиков и техников вооружения. Срок обучения в школе — 2 года, для лётчиков — 3 года.

В 1934 году школа была переименована во 2-ю объединённую пограничную школу им. Ф. Э. Дзержинского.

В апреле 1938 года 2-я объединённая пограничная школа стала называться Харьковским военным училищем пограничных и внутренних войск НКВД им. Ф. Э. Дзержинского.

С учётом опыта боевых действий в 1938—1940 годах были пересмотрены программы и учебные планы военных училищ НКВД. Обучение курсантов ещё больше приблизилось к потребности войск, к боевому применению. В связи с этим были внесены изменения в материально-техническую базу училища: созданы опорные учебные укрепления наподобие финских, отрабатывались элементы боя во взаимодействии с танками и артиллерией. Занятия обеспечивались новейшими образцами военной техники, приспособлениями и пособиями того времени.

В 1941 году училище получило новое название — Харьковское кавалерийское пограничное училище НКВД им. Ф. Э. Дзержинского.

В октябре 1941 года училище было передислоцировано в Ташкент, а позже в Алма-Ату, где оно получает новое наименование: Алма-Атинское пограничное военное училище им. Ф. Э. Дзержинского и продолжает подготовку кадров для фронтовых частей. За годы войны 45 военнослужащих училища совершили героические поступки, которые были высоко оценены государством. Они были награждены высшим знаком отличия СССР — золотой звездой Героя Советского Союза. Майору Голубеву В. М. эта почётная награда была присвоена дважды. В честь Героя Советского Союза — преподавателя училища Ивана Танкопия названа одна из улиц города Харькова.

В сентябре 1946 года состоялся первый послевоенный выпуск офицеров службы тыла. Это были воспитанники автоброневого отделения, которые в 1945 году были передислоцированы из Алма-Аты назад в Харьков. В 1947 году училище было объявлено образцовым среднетехническим учебным заведением.

В 1969 году училище подчинено Главному управлению внутренних войск МВД СССР.

1975 год — училище полностью перешло на обучение курсантов по программе высшего военного учебного заведения и стало называться Харьковским высшим военным училищем тыла МВД СССР (ХВВУТ МВД СССР).

Многое сделал для достижения успехов будущий командующий внутренних войск МВД СССР, генерал-майор Д. А. Крыгин, который возглавлял училище в 1981—1984 годах. И как результат, коллективу училища дважды (20 декабря 1983 года и 12 декабря 1984 года) было вручено переходящее Красное знамя МВД СССР за успешное исполнение заданий и высокие результаты, достигнутые в служебно-боевой деятельности, боевой подготовке, укреплении воинской дисциплины и тыловом обеспечении.

С получением Украиной независимости 24 августа 1991 года, на Украине появилось новое военное формирование Национальная гвардия Украины, которое начало нуждаться в соответствующих специалистах. Решением руководства государства и командования НГУ, 2 января 1992 года на базе училища создано Харьковское высшее военное училище Национальной гвардии Украины (ХВВУ НГУ).