Часть исторического окружения Городского сада сформировалась еще до его официального открытия. В 1822 году уже были построены здания дворянского собрания и дома губернатора, а также продолжал строиться главный городской собор Петра и Павла.

1 мая 1823 года состоялось торжественное открытие публичного сада, заложенного по инициативе Орловского гражданского губернатора Николая Ивановича Шредера. Обустройство сада производилось на высшем уровне. Правда, чтобы сполна насладиться красотой сада, необходимо было заплатить: в то время сад делился на две зоны — платную (для богатых людей) и бесплатную (для бедных).

Во второй половине XIX века Орловский сад стал своеобразным культурным центром города. В глубине сада, ближе к обрыву находилась большая сцена, на которой ставили спектакли. Летом в саду каждый вечер играл духовой оркестр одного из постоянно стоявших в Орле военных полков. Звуки оркестра были слышны далеко за пределами сада.

После 1917 года Городской сад стал общедоступным: разделение на платную и бесплатную зоны было отменено. И даже после революции в саду традиционно проводились гуляния: по вечерам играл духовой оркестр, торжественно отмечались праздничные дни, устраивались различные концерты.

В 1925 году в Городском саду было построено большое дощатое здание постоянного цирка. Оно размещалось на месте киноконцертного зала «Юбилейный». На площадке, где сейчас расположен центральный фонтан, стояло здание театра. В 1927 году в ночь с 6 на 7 октября оно сгорело дотла.

В 1931 году в саду было построено здание закрытого летнего театра на 900 мест. Каждое лето в нем проходили гастроли театров Москвы и Ленинграда. Здание театра сохранилось и просуществовало до начала Великой Отечественной войны.

Закончилась история старого Городского сада в годы немецкой оккупации города Орла 1941-1943 годов. Как пишут некоторые краеведы, в годы войны Городской сад был превращен в укрытие немецких танков, пушек и зенитных орудий, в нем были вырыты защитные траншеи и укрепления.

После окончания войны прежнего сада не стало – сгорели или были разрушены все старые постройки (летний театр, эстрады, ресторан и т.д.), уничтожена значительная часть старых деревьев и кустарников. В послевоенные годы сад восстановили на прежнем месте, и он снова стал излюбленным местом отдыха горожан.

В 1952 году Городской сад был преобразован в парк культуры и отдыха.

С 1960 по 1973 год проходила полная реконструкция парка. Построили широкую каменную лестницу, на центральной аллее был сооружен каскадный фонтан, установлен бронзовый памятник великому орловскому писателю И. С. Тургеневу, возведено здание киноконцертного зала «Юбилейный».

6 июля 1993 Городской парк культуры и отдыха был принят на охрану как памятник истории и культуры Орловской области.