https://stackoverflow.com/questions/36578772/fileinfo-delete-is-not-deleting-the-file-immediatelyВкратце, возвращает, удалось ли удалить файл. Инфо такое находится на MSDN, если нужно узнать ошибку - то нужно вызвать Marshal.GetLastWin32Error();
Кстати, в C# есть куча своих методов, которыми можно пользоваться для удаления файлов. (куча из 3-4 методов, мб больше)