Где Можай, за который по традиции изгоняют?

Это здесь. Можайск. Загнали за Можай образное выражение, но вы об этом скорее всего знаете

Загна́ть за Можа́й (загонять за Можай, разг. от названия города Можайск) — устойчивое сочетание, иронический фразеологизм, означающий: разбить противника, заставить его спешно отступать или спасаться бегством до мест не столь отдалённых. В основном употреблялось как просторечная форма, в литературный язык вошло только к началу XX века.

По одной из версий, история происхождения выражения связана с войной Смутного времени. 20 августа 1612 года Минин и Пожарский привели ополчение к Москве и стали лагерем у Арбатских ворот, на один день опередив подкрепление гетмана Ходкевича, спешившее на помощь польскому гарнизону. Генеральное сражение под стенами Кремля произошло через сутки. Исход боя пехоты и кавалерии долгое время не был ясен, пока отряд отборной русской дворянской конницы, ведомый простолюдином Мининым, не прорвал польскую оборону. Начавшаяся вслед за этим общая атака русских полков вынудила гетмана дать приказ на отступление, которое переросло в паническое бегство. Бросив пушки и обоз, Ходкевич остановился лишь у Можайска, а затем продолжил отступление.

Фразеологизм представляет собой устойчивую речевую конструкцию, метафору формульного типа, употребление которой отличается очень высокой степенью стереотипности. В речи встречается практически в неизменном виде, свою форму в зависимости от контекста меняет только первый глагол, ещё реже глагол меняют на близкий: сослать, упечь или угнать.