Потому что в Польше был еще один Брест -
https://ru.wikipedia.org/wiki/%D0%91%D0%B6%D0%B5%D1%81%D1%86%D1%8C-%D0%9A%D1%83%D1%8F%D0%B2%D1%81%D0%BA%D0%B8 И чтобы их отличать название было дано как "Брест Литовский". (Использовалось также название "Брест-над-Бугом").
В СССР видимо посчитали что необходимости отличать больше нет (польский Брест остался в Польше) и название сократили.