Как это сделать ?

Чтобы написать ОС нужно сначала написать ЯДРО.

Это так называемое ядро занимается управлением физической памятью (гугли Динамическое распределение памяти, Фрагментация памяти, Дефрагментация, чтобы понять проблему), распределяет работу процессоров для различных работающих программ и т. д.

Потом нужно написать базовые драйвера для разъёмов USB, стандартных клавиатур и мышки, USB клавиатур и мышки, базовый видео драйвер (VGA) чтобы хоть что-то рисовалось, драйвер для ethernet и т. д. Причём, не просто написать, а предоставить интерфейсы, с помощью которых можно устанавливать различные драйвера. К примеру, можно создать интерфейс, создать простенький драйвер, и уже потом какая нибудь NVidia напишет нормальный (если ОС станет популярной).

Соответственно, нужно написать интерфейс для работы с видеокартой. И с помощью интерфейса вручную самому создать драйвер OpenGL, чтобы рисовать 2д и 3д объекты.

А что для этого надо?
Нужен простой код.
github .com/ssloy/tinyrenderer

Видеокарта выполняет код, и из за мощности рисует объекты быстрее чем процессор.

Ещё нужно написать ОБОЛОЧКУ - окошки, кнопки, базовые программы, и чтобы всё работало без большого потребления энергии.

После этого нужно предоставить инструменты для разработчиков - по типу Windows SDK.

К примеру, выделением памяти фактически выполняет ядро ос
у виндовс это функция HeapAlloc из kernel32.dll
значит в своей ОС можно написать свою подобную
void * AllocateMemory(int size){...}

а этих функций дофига
docs .microsoft .com/en-us/windows/desktop/api/

для начала нужно написать самое необходимое, работа с памятью, сделать поддержку устройств ввода, звук, видео, аппаратное 3D.

потом вручную сами пишем игровой движок, либо кто-то напишет если ОС станет популярной.