Ошибочно ли использовать углерод для определения атомной массы, если у углерода есть два трудно разделимых изотопа?

Нет, не ошибочно, а как раз то, что нужно.

Хотя изотопы углерода трудно разделимы, но их соотношение очень постоянное: примерно C12 - 98,9%, C13 - 1,1% (без учета С14). Какое бы не взяли соединение углерода с другими химическими элементами, там всегда только такое соотношение.

До углерода использовали кислород, но оказалось, что у природного кислорода (смесь трех изотопов: O16, O17 и O18) соотношение его изотопов слабо, но колеблется в разных химических соединениях. То есть в некоторых химических реакциях отдается предпочтение или самым легким атомам кислорода, или самым тяжелым, и только потом остальным.

P.S.
Постоянные соотношения также имеются у изотопов водорода и гелия. Но гелий не образует химических соединений. А водород не подходит по математическим соображениям, т.к. его основной изотоп не имеет нейтронов.