Можно ли выехать из России по российскому заграну, а уже на границе с Латвией предъявить украинские документы?

На границе с Латвией можно предьявить В.И.Ленина целующего сапоги кайзера Германии Вильгельма II.

Можно, если в данный момент находишься в России в качестве гражданина России.

Не только можно, но и НУЖНО.

В РФ вы рассматриваетесь исключительно как гражданин России и въезжать в страну и выезжать из нее надо только по российским документам.

За рубежом можете показывать любые другие паспорта, какие у вас есть и какие выгоднее для въезда в ту страну.

Вообще-то это так и работает. Единственное, что украинский паспорт должен быть биомертрический, по простому уже не пускают

Российскому погранцу показывашь оба паспорта - в российский он ставит штамп, украинский - вместо визы, подтверждение того, что тебя впустят в Латвию.
Латвийскому погранцу - только украинский паспорт.

по российскому без визы могут не выпустить

Нет