Ау, ангст и оос - это то, что обычно указывают в примечаниях и ворнингах (warning, предупреждения) . Первые два - это под-жанры.
АУ - AU, alternate universe. Альтернативная вселенная, то есть мир, описываемый в фике в чем-то отличается от мира канона. Бывает самое разное AU: от нескольких новых событий до коренной переделки мира. Часто возникает, когда фик пишется по циклу произведений, которые еще выходят (в таких случаях указывают не само AU, а "без учета таких-то томов"). И "фанфикшн в целом и есть сплошная альтернатива" неверно, AU - отдельная категория фиков, большинство фиков, напротив, строго придерживаются канона.
Ангст - angst. Фики, жанр которых - драма, где персонажи много и часто страдуют душевно, с ними случается много трагичных событий. Хэппи енд почти всегда отсутсвует. Angst может перерасти в dark-фик или в dead-фик.
Оос - OOC, Out of Character, вне характера. Означает, что персонаж, для которого указано OOC, сильно отличается от своего образа в каноне. Вплоть до того, что измени имя - и вы не поймете, кто же это такой.
Джен - G, gen, general. Одновременно название категории, жанра и рейтинга. Джен как жанр - это "общие" истории: приключения, детективы и пр. Джен как категория означет, что все отношения героев в фике будут дружескими и невинными (а если любовные отношения - то это либо гет, либо слэш) . И джен как рейтинг - General Audience - фики для всех, все очень прилично и невинно.
Если интересуют остальные фикрайтерские термины, то ознакомтесь вот с этими статьями -
[ссылка заблокирована по решению администрации проекта][ссылка заблокирована по решению администрации проекта]