ну вот я только что просто ради интереса скачал какой-то рандомный кросс-gcc под aarch64 из репозитория, собрал на нём хеллоуворлд (пришлось добавить флаг, подменяющий путь к ld-linux
https://stackoverflow.com/questions/42974611/android-executable-with-wrong-interpreter и включить статическую линковку), закинул через adb на смартфон на раздел, смонтированный без noexec, сделал chmod +x, и оно запустилось в той же adb консоли и вывело хеллоуворлд
так что особых проблем не вижу, разве что поизучать вопрос и разобраться, чем различаются всякие таргеты у кросс-компиляторов, возможно, если брать androideabi, можно и без костылей с флажками и статической линковкой обойтись, но тут я уже не экспериментировал
а ещё можно просто поставить термукс и собирать код gcc из его репы, это вообще как нефиг делать вроде бы