Если удалить папку SoftwareDistribution то установленные обновления системы останутся?

Останутся. Только удалять эту папку (точнее - не папку, а её содержимое) нужно при отключённой службе обновления.