Возможно лишить, но сложно будет. Обратитесь в прокуратуру к сотруднику ( помощнику прокурора) который занимается защитой прав детей. пусть это будет сначала просто беседа. Я в своё время обращалась, мне помогли консультацией.
Если он скрывает от приставов свое место жительства, это в вашу пользу.
Это мои ответы на вопросы о лишении родительских прав
http://otvet.mail.ru/answer/426107608/ http://otvet.mail.ru/answer/425701912/