Как с помощью .bat файла что нибудь удалить из реестра ?

команда
reg delete

Пример:
reg delete HKLM\Software\MyCo\MyApp\Timeout /f
(Удаление раздела реестра Timeout и всех его подразделов и параметров)

А вообще для работы с реестром предназначены команды:

REG QUERY /?
REG ADD /?
REG DELETE /?
REG COPY /?
REG SAVE /?
REG RESTORE /?
REG LOAD /?
REG UNLOAD /?
REG COMPARE /?
REG EXPORT /?
REG IMPORT /?
REG FLAGS /?
(/? - чтобы получить справку по команде (из командной строки) )

Такой батник, к примеру, поменяет цветовую схему на оранжевую:
@echo off
reg add HKEY_CURRENT_USER\Software\Microsoft\Windows\DWM /v ColorizationColor /t reg_dword /d 0x80f09707 /f
reg add HKEY_CURRENT_USER\Software\Microsoft\Windows\DWM /v ColorizationColorBalance /t reg_dword /d 0x00000018 /f
reg add HKEY_CURRENT_USER\Software\Microsoft\Windows\DWM /v ColorizationAfterglow /t reg_dword /d 0x80f09707 /f
reg add HKEY_CURRENT_USER\Software\Microsoft\Windows\DWM /v ColorizationAfterglowBalance /t reg_dword /d 0x00000020 /f
reg add HKEY_CURRENT_USER\Software\Microsoft\Windows\DWM /v ColorizationBlurBalance /t reg_dword /d 0x0000002c /f
(Изменения вступят в силу после выхода из системы или перезагрузки)