В самом простом случае на каждый пиксель приходится определенное количество цветов, которое кодируется двоичным кодом.
1 бит = 2^1 = 2цвета
2 бита = 2^2 = 4 цвета
3 бита = 2^3 = 8 цветов
4 бита = 2^4 = 16 цветов
И так далее. В зависимости от того, сколько цветов, нужно определенное количество бит. Остается только умножить полученное число бит на количество пикселей (ширина*высоту) .
Есть определенные еще способы кодирования RGB, CMYK, HSB, вектор и фрактал. Там немного по другому, но думаю вам это уже не надо:
http://informatikaiikt. narod. ru/predstavlenieinform4. html
По той же ссылке есть кодирование музыки.