Почему в слове Java (Ява) буква "я" пишется как Ja, а в слове Yandex (Яндекс) как Ya?

Не знаю о каком JAVA вы говорите, но я говорю и только слышал ДЖава - по всем правилам транскрипции. Это если имеется ввиду язык программирования*. А если остров, то Ява. **
Если это имеете ввиду, тогда это вопрос исторического развития - аналогично "H" - в начале слова раньше произносилась как "г" (Hitler - Гитлер, хотя надо бы Хитлер)

* язык Java (произносится "джава") (машинонезависимый объектно-ориентированный язык, разработанный фирмой Sun Microsystems для создания распределённых прикладных веб-систем)
** остров в Малайском архипелаге, между Азией и Австралией; территория Индонезии