Кто кому должен уступить дорогу / кто первый проедет прямо?

Недавно была такая ситуация, что я еду с левого ряда прямо (разрешено, знаков направления по полосам нет), а справа ехал какой то мужик, посигналил мне, ну и я уступил ему. Вот такую дыру я в знаниях о пдд у себя нашел) по идее, я должен был его пропустить, т.к. "помеха справа", но и вроде он перестраивается, а я "хозяин полосы" и не должен уступать ему.. объясните