Не могу удалить файл Файл "DMG" (.dmg) , поскольку этот файл открыт в "System" / Как его там закрыть и удалить?

Да это файл архива который использует Мак ОС
Если у Вас стоит Мак Ос то при открытии этого образа он монтируется как виртуальный диск - его сначала нужно извлечь
потом он удалится,

Если Виндовс и вы открыли его - посмотрите внимательней какая программа попыталась его открыть, это может быть ВинРар,
УльтроИсо, может другая программа, пока не закроете ее не удалите. . Как вариант попробуйте просто перезагрузить копм - удалить файл