E_OUTOFMEMORY - это ошибка "Нехватка памяти". Вообще, мало информации.. . Какая операционная система? Сколько оперативной памяти и памяти на видюхе? Какая видюха? Какая версия DirectX? В общем, нужно копать в сторону увеличения доступной памяти для системы: увеличить оперативку, купить новую видюху, поубивать ненужные процессы, которые используют ресурсы...
Может директ битый. переустанови с диска какого-нибудь журнала. Если не поможет переставляй дрова видюхи, если и это не поможет, то переставляй систему.