Сад «Эрмитаж» не всегда был таким, каким мы привыкли его видеть. Даже расположен он был в другом месте: с 1830 года почти до самого конца XIX века располагался он на Божедомке и был первым в Москве увеселительным садом, с беседками, клумбами, театром, эстрадой, кофейнями и павильонами.
Однако владелец разорился, сад пришел в запустение, а в дальнейшем и вовсе был застроен домами, и ничто уже не напоминало о временах, когда на месте Самотечных переулков располагалось все это ушедшее великолепие.

И вот начинается история сада «Эрмитаж» в Каретном ряду, родившегося на месте бывшей усадьбы купца В. И. Олонцова. Весь участок перешел во владение московского купца Я. В. Щукина 16 июля 1894 года. Дата эта отмечается как день рождения сада «Эрмитаж» .

За год всего скучный пустырь превратился в цветущий сад, были разбиты клумбы, дорожки, высажены деревья и кустарники, реконструировано здание театра, и 18 июня 1895 года «Эрмитаж» официально открылся. Московская публика проявила к нему немалый интерес – упорство и энтузиазм Щукина вызывал невольное уважение даже у тех, кто упрекал его в недостаточной тонкости вкуса.
Годом позже здесь состоялся один из первых в России киносеансов.

На сцене «Эрмитажа « пели Ф. И. Шаляпин, А. В. Собинов, А. В. Нежданова, С. В. Рахманинов дебютировал как дирижер, играли Сара Бренар, Мария Ермолова, Вера Комиссаржевская. В 1898 году в здании театра «Эрмитаж» состоялось открытие МХАТа, первым спектаклем стал «Царь Федор Иоаннович» , именно здесь прошли премьеры Чеховских пьес. В саду бывали Л. Н. Толстой, В. И. Ленин.
Щукин постоянно предпринимал строительство новых театральных площадок, в 1909 году был построен летний «Зеркальный» театр,
После революции в здании театра «Эрмитаж» в 1924 году располагался театр имени Моссовета .

В годы войны сад был закрыт совсем недолго – с осени 1941 по апрель 1942. В 1943 году возобновились спектакли, вернувшиеся из эвакуации артисты репетировали и играли в нетопленном здании, но «Эрмитаж» жил.
В 50-60 гг. в саду «Эрмитаж» играли в шахматы, гуляли, читали, слушали известных артистов, смотрели кино (в 1953 году был установлен экран для летнего кинотеатра) ,
В летнем концертном зале выступал А. И. Райкин, проходили представления Кукольного театра, пели К. И. Шульженко, Л. И. Русланова, В. Высоцкий, играл оркестр Л. О. Утесова,

В «Зеркальном» театре прошла первая игра «Что? Где? Когда?» .
В 1980 года здание кинотеатра «Эрмитаж» было передано театру «Миниатюр» Райкина. В 1991 году был открыт театр «Новая опера» ,
В 2000 появились бюсты Виктора Гюго работы Лорана Маркеста (дар мэрии Парижа) и Данте Алигьери скульптора Ринальдо Пираса (дар правительства Италии).

На территории сада ««Эрмитаж» проводятся весенние выставки-ярмарки «В мире цветов» , фестивали – джазовый, ЭТНА, латиноамериканской музыки, «Кубок юмора» , винный, пивной, и другие. В 1997 году открылся Клуб Чайной культуры.