Как найти момент инерции произвольного треугольника относительно центра масс?

Никак

По определению: J=∫r²dm
Скорее всего, еще понадобится теорема Штейнера.
Наконец, момент инерции сильно зависит от положения оси вращения в пространстве.