Не только черный. На испанском negro многозначно:
https://translate.academic.ru/Negro/es/ru/Насколько я знаю, неполиткорректным это слово у нас стало исключительно с распространением в нашей речи всяческих англицизмов, последние где-то, лет двадцать-тридцать. До этого слово считалось вполне себе приличным. Почему оно оскорбительно в США - это совсем другой вопрос.
Происхождение слова из латыни не имеет большого значения при определении его стилистической окраски. Слова жид и еврей тоже имеют разное употребление, хотя означают одно и то же.