Бинарный файл это "двоичный файл". Название это происходит оттого, что бинарные файлы в этом контексте противопоставляются текстовым файлам, и представляют собой набор байтов (в отличие от текстовых, которые представляют собой набор символов) , которые, в свою очередь, состоят из битов. А бит - это единица измерения в двоичной (бинарной) системе счисления, где каждый бит может принимать значение 0 или 1.
В виде бинарных файлов предстают, в первую очередь, программы (исполняемые файлы) .
Подробнее про бинарные файлы читайте здесь:
http://ru.wikipedia.org/wiki/Двоичный_файл