Как правильно сказать

Это исключение. Употребляется БЕЗ артикля.
- We visited Buckingham Palace. – Мы посетили Букингемский дворец. (назван в честь герцога Букингемского)

* Существует много исключений, например, если название сооружения или здания содержит определение в виде имени собственного (имя человека или название населенного пункта), то артикль не употребляется.
Поэтому рекомендуется запоминать написание каждого отдельного здания или сооружения.