Помогите пожалуйста насчëт шахмат

У меня был ферзь и король, а у соперника конь и король. У меня оставалось мало времени и я зевнул ферзя. Соперник взял ферзя и в этот момент у меня закончилось время и мне поставили проигрыш. Но по сути должна быть ничья т.к. у соперника только конь. Но мне судья сказал, что нам надо было сходить три хода и тогда была бы ничья. Кто прав?