Вы правы вот в чем. В справочнике Д. Э. Розенталя в разделе о правописании частицы НИ указано, что эта частица входит в состав отрицательных местоимений (никто, ничто, никакой и др.) и местоименных наречий (нигде, никуда, никогда и др.).
И так скромно входит, что во всех этих случаях остаётся без ударения.
А названные выше части речи употребляются в предложениях, где при сказуемом есть отрицание НЕ (нигде не гулял, ни к кому не ходил и т. д.).
Но русский язык всегда имел множество исключений.
И Розенталь дополняет ими правило:
Исключения: остаться НИ С ЧЕМ, оказаться НИ ПРИ ЧЁМ, считать НИ ЗА ЧТО и другие.
Как видите, здесь при сказуемом отрицания с НЕ нет, а частица НИ — есть.
Таким образом, фраза всегда пишется так: НИ ПРИ ЧЁМ. А запомнить это легко: здесь нет НИ одной буквы Е.
