В 1829 году по указанию генерала Георгия Арсеньевича Эмануэля начались посадки растений будущего Нагорного парка. Из Гришкиной балки в окрестностях плато Бермамыт было привезено более 200 горных сосен. В этом же году была проложена спрямленная аллея вдоль склона горы, получившая от местных остряков меткое название "Мизантропической тропы". Работами по обустройству парка руководили братья Бернардацци.
Несколько позже была проложена новая часть этой тропы, ввиду необходимости вывести ее выше, на площадку, где располагалась Елизаветинская (ныне Академическая) галерея. Остатки "тропы Бернардацци" и сегодня можно видеть у подпорной стены её южного флигеля.
В 1843 году по проекту городского архитектора
Пятигорска Иоганна Генриховича (Ивана Андреевича) Рисса была построена полукруглая деревянная галерея, получившая название "Александровская питьевая галерея".
В 1850 году это сооружение посещал великий писатель Лев Николаевич Толстой.
В 1848 году на краю скалы архитектором Самуилом Уптоном было начато строительство его собственного дома в стиле поздней английской готики. Завершено строительство в 1851 году. В настоящее время здание используется санаторием "Горячий ключ".
Александровская галерея была разобрана в 1856 году.
В 1890 году была предпринята неудачная попытка создания парка на вершине Горячей. Но лишь в 1900 году под руководством директора
Кавказских Минеральных Вод Владимира Васильевича Хвощинского были начаты масштабные работы по созданию Нагорного парка. Проектирование было поручено архитекторам Ивану Ивановичу Байкову, Андрею Николаевичу Клепинину. К творческому процессу был привлечен скульптор Людвиг Карлович Шодкий.
В этом же году сын Самуила Уптона Дмитрий Самуилович Уптон построил выше главного дома ряд кирпичных зданий в один-три этажа в таком же стиле, близком к английской готике, получивших название "Верхний Уптон". Несколько позже на Театральной улице (ныне – Братьев Бернардацци) у подошвы скалы возведено протяженное здание, где были устроены меблированные номера и магазины, отдаваемые в аренду, получили название «Нижний Уптон». Здесь находились кондитерская и ресторан Аршака Арутюновича Гукасова, разные дамские и канцелярские магазины, а также типография Г. И. Давыдова.
К 1901 году в парке были обустроены дорожки и аллеи, установлена ставшая знаменитой скульптура Орла, к которой от парка "Цветник" вела извилистая дорожка с лестничными маршами. На пологой площадке ниже скульптуры, где ранее располагалось здание Ермоловских ванн, арендатором Ф. Д. Дмитриевым было построено здание, вмещавшее кегельбан, "испанский" тир и "буфет с граммофоном".
В июне этого же года молодой садовник А. Л. Зегер приступил к созданию восточной части парка в районе Ново-Сабанеевских (ныне Пушкинских) ванн. Но его замыслам и труда не было суждено сбыться. Сильнейший июльский ливень уничтожил нарождавшийся парк. А. Л. Зегер не выдержал удара судьбы и покончил собой.
К 1902 году была построена новая подъездная дорога и новая лестница от Грота Дианы, которая вела к обзорной площадке на вершине горы. Лестницу украшали цветники и вазы с цветами, а площадка была увенчана двумя женскими скульптурами на колоннах с электрическими фонарями в форме факелов авторства Л. К. Шодкого. Здесь же располагался "фигурный фонтан", украшенный электрическими лампочками.
Электричество подавалось с расположенной в районе Ессентуков первой в России гидроэлектростанции "Белый уголь".
Неподалеку были выстроены "Цветная" ("Китайская") беседка и обустроено полукруглое сооружение в виде галереи из прутьев, где разместился ресторан "Трельяж", а также два буфета, принадлежавших В. Н. Шульцу.
Парк, названный Новым, был торжественно открыт 1 мая 1902 года, а 18 мая здесь состоялось первое гуляние в честь годовщины коронации императора Николая II.
В 1914 году ресторан и буфеты Ф. Д. Дмитриева были снесены.