Куда обратиться?

Судебный департамент тут абсолютно ни при чём. Данные заявления разрешаются только судом.
Ст. 16 ГПК РФ - основания для отвода судьи:
1. Мировой судья, а также судья не может рассматривать дело и подлежит отводу, если он:
1) при предыдущем рассмотрении данного дела участвовал в нем в качестве прокурора, секретаря судебного заседания, представителя, свидетеля, эксперта, специалиста, переводчика;
2) является родственником или свойственником кого-либо из лиц, участвующих в деле, либо их представителей;
3) лично, прямо или косвенно заинтересован в исходе дела либо имеются иные обстоятельства, вызывающие сомнение в его объективности и беспристрастности.
2. В состав суда, рассматривающего дело, не могут входить лица, состоящие в родстве между собой.
Ст. 19 ГПК РФ - заявления о самоотводах и об отводах.
1. При наличии оснований для отвода, указанных в статьях 16 - 18 настоящего Кодекса, мировой судья, судья, прокурор, секретарь судебного заседания, эксперт, специалист, переводчик обязаны заявить самоотвод. По тем же основаниям отвод может быть заявлен лицами, участвующими в деле, или рассмотрен по инициативе суда.
2. Самоотвод или отвод должен быть мотивирован и заявлен до начала рассмотрения дела по существу. Заявление самоотвода или отвода в ходе дальнейшего рассмотрения дела допускается только в случае, если основание для самоотвода или отвода стало известно лицу, заявляющему самоотвод или отвод, либо суду после начала рассмотрения дела по существу.
3. Порядок разрешения заявления о самоотводе и последствия его удовлетворения определяются по правилам, предусмотренным статьями 20 и 21 настоящего Кодекса.
Ст. 20 ГПК РФ - порядок разрешения заявления об отводе.
1. В случае заявления отвода суд заслушивает мнение лиц, участвующих в деле, а также лица, которому заявлен отвод, если отводимый желает дать объяснения. Вопрос об отводе разрешается определением суда, вынесенным в совещательной комнате.
2. Вопрос об отводе, заявленном судье, рассматривающему дело единолично, разрешается тем же судьей. При рассмотрении дела судом коллегиально вопрос об отводе судьи разрешается этим же составом суда в отсутствие отводимого судьи. При равном количестве голосов, поданных за отвод и против отвода, судья считается отведенным. Вопрос об отводе, заявленном нескольким судьям или всему составу суда, разрешается этим же судом в полном составе простым большинством голосов.
Вопрос об отводе прокурора, секретаря судебного заседания, эксперта, специалиста, переводчика разрешается судом, рассматривающим дело.
Ст. 21 ГПК РФ - Последствия удовлетворения заявления об отводе.
1. В случае отвода мирового судьи, рассматривающего дело, оно передается районным судом другому мировому судье, действующему на территории того же судебного района, или, если такая передача невозможна, оно передается вышестоящим судом мировому судье другого района.
2. В случае отвода судьи либо отвода всего состава суда при рассмотрении дела в районном суде дело рассматривается в том же суде другим судьей или другим составом суда либо передается на рассмотрение в другой районный суд вышестоящим судом, если в районном суде, в котором рассматривается дело, замена судьи становится невозможной.
3. В случае отвода судьи либо отвода всего состава суда при рассмотрении дела в верховном суде республики, краевом, областном суде, суде города федерального значения, суде автономной области, суде автономного округа, Верховном Суде Российской Федерации дело рассматривается в том же суде другим судьей или другим составом суда.
4. Дело должно быть передано в Верховный Суд Российской Федерации для определения суда, в котором оно будет рассматриваться, если в верховном суде республики, краевом, областном суде, суде города федерального значения, суде автономной области или суде автономного округа после удовлетворения заявлений об отводах либо по причинам, указанным в статье 17 настоящего Кодекса, невозможно образовать новый состав суда для рассмотрения данного дела.