Когда нужно писать: "ни раз", а когда: "не раз"? Как написать: "Он употреблял эту фразу не раз"?

"Ни разу" пишется, когда нужно усилить какое-либо утверждение. Например, "Он ни разу не опаздывал в школу. " В предложении "Он говорил об этом не раз" пишется "не" . Тут вроде бы простое отрицание : не раз, то есть много раз.