Изначально здание нынешнего музея было построено как железнодорожный вокзал и примыкающий к нему отель на левом берегу Сены в самом центре Парижа, напротив Лувра. Вокзал, спроектированный архитектором Виктором Лалу, был открыт 28 мая 1900 г. и стал первым в мире электрифицированным вокзалом. Орсей обслуживал направление движения Париж — Орлеан. Однако к 1939 г. движение поездов с этого вокзала практически прекратилось, а отель закрылся в начале 1973 г.
В 1978 г. сооружение получило статус исторического памятника, а в 1986 г. здесь был открыт музей, спроектированный итальянским архитектором Гае Ауленти.