С желтым цветом связывают такие психические заболевания как шизофрения, бред, мания и эпилепсия. Психиатрическую больницу, “сумасшедший дом”, называют “желтым домом”. Действительно в живописи страдающих психозами, шизофренией (например, Ван Гога) и эпилепсией некоторых художников преобладает желтый цвет.
Аура, которая переживается эпилептиками перед припадками, отдаленно напоминает золотую ауру просветленных, святых, которая в христианской живописи изображается золотым нимбом.
Даль:
"Желтый дом, дом умалишенных, от желтой окраски обуховской больницы в Петербурге". Синдаловский.

Легенды и мифы Санкт-Петербурга: "Первоначально Дом призрения (умалишенных) был выкрашен в традиционный для тогдашнего Петербурга желтый цвет".
"Потом покрывают стены онаго какою нибудь краскою. Самая употребительнейшая ныне вообще, которая при том и прекрасный имеет вид, есть желтоватая с белою местами опушкою. Таковою покрыта большая часть домов, и взор с удовольствием останавливается на сем простом украшении столицы". Медико-топографическое описание Санкт-Петербурга. Генрих Людвиг фон Аттенгофер, 1820 г.
_____________
Первые учреждения появились после указа Петра III о постройке долгаузов (нем. toll — безумный, сумасшедший, нем. haus — дом) в 1762 — «Безумных не в монастыри определять, но построить на то нарочитый дом, как то обыкновенно и в иностранных государствах учреждены долл-гаузы, — а впрочем быть по сему»
Первый проект долгауза предложил историограф Ф. Мюллер, в разработке проекта он руководствовался нозологическим признаком, «Безумным есть различие по степени безумия: эпилептики, лунатики, меланхолики, бешеные. Еще каждые из сих по степеням болезни бывают разные, а все они суть отягощением общества, есть ли не будут содержимы в особливых домах, где бы о их прокормлении и пользовании старания возымели» .
Проект был реализован в виде двух и трех этажных, каменных зданий. Как следовало из рекомендаций того времени — на нижнем этаже помещаются бешеные, во втором — меланхолики и лунатики, в третьем — эпилептики. Камеры бешеных должны быть с окнами, которых нельзя было бы достать, и с решетками; никакой мебели, ложе на полу. Мюллер допускал использование физических наказаний для больных — «Надсмотрщик наказывает их не инако, как малых ребят, при чем иногда одного наказания лозы достаточно» , а также меры физического ограничения, заключавшихся в приковывании «бешенных» больных цепями.

Мюллер впервые не только в России, но и в Европе, разделяет медицинское лечение от религии «доктор употреблял всякие средства к их излечению, а прежде, нежели придут в разум, священникам у них дела нет» . Явился основателем трудотерапии, из которой извлекалась часть дохода, для содержания долгаузов. Лечением, уходом и обслуживанием долгауза занимались всего несколько человек — доктор, лекарь, два подлекаря и цирульник. Тогда же было принято, что «подлекарь и цирульник должны жить в доме, а доктор и лекарь в близости, дабы и кроме определенных часов их присутствия, во время нужды всегда и вскорости сысканы быть могли» , это требование выполнялось вплоть до новейшей истории.
______________
А вообще, первый "желтый дом"-это Бедлам, (англ. Bedlam, от англ. Bethlehem — Вифлеем; официальное название Бетлемская королевская больница — англ. Bethlem Royal Hospital), психиатрическая больница в Лондоне (с 1547).

Сцена в Бетлемской больнице. Цикл Уильяма Хогарта «Карьера мота» , гравюра 8. XVIII век