Отец никак не участвует в жизни ребенка в течение 4-х лет, может ли это служить основанием для лишения прав?

Да.

Основания для лишения отца родительских прав носят исключительный характер и перечислены в СК РФ (ст. 69), а именно:

уклоняются от выполнения обязанностей родителей по воспитанию детей, в том числе при злостном уклонении от уплаты алиментов;
отказываются без уважительных причин взять своего ребенка из родильного дома (отделения) либо из иного лечебного учреждения, воспитательного учреждения, учреждения социальной защиты населения или из аналогичных организаций;
злоупотребляют своими родительскими правами;
жестоко обращаются с детьми, в том числе осуществляют физическое или психическое насилие над ними, покушаются на их половую неприкосновенность;
являются больными хроническим алкоголизмом или наркоманией;
совершили умышленное преступление против жизни или здоровья своих детей либо против жизни или здоровья супруга.

И не слушай тех, кто говорит, что этого недостаточно для лишения родительских прав. Моя подруга — лишила своего бывшего мужа родительских прав именно на таком основании. А алименты он продолжает платить.
Единственное, что тебе гарантирую, что с первого раза лишить родительских прав не получится. На первый раз отцу ребёнка вынесут предупреждение. Но если он и дальше не будет принимать никакого участия в жизни ребёнка, то надо снова подать в суд (где-то через полгода) и его уже 100% лишат родительских прав.