Может ли быть у троюродных родственников больше генетически общего чем у двоюродных ?

Может. Но реже.
Все зависит от того, как "гены совпали". Видел в школе картинку-схему про то, как ученые цинично надругались над мухой-дрозофилой?
Вот. У человеков все может сложиться еще печальнее...