Сколько битов информация содержится в одном игральном кости? А в двух, трех?

в двух-в два раза больше, а в трех-в три раза...

На самом деле 3 бита - столько памяти нужно чтобы закодировать от 1 до 6 очков одного кубика.

Это число не измерима. Можно лишь посчитать общее кол-во информации со всех сторон. Будет весить 1 байт.
Все числа с каждой стороны могут быть закодированы в 3 бита.
3*6=18 битов. (1 сторона (3 бита) * общее кол-во сторон (6)=18 битов).
18*2=36 битов.
18*3=54 бита.

3

Ты можешь эту кость один раз бросить. Рассмотрать событие: выпало такое-то число. И спросить себя: насколько это событие информативно.

Очевидно, если кость заменить на монетку, информация о выпадении орла или решки кодируется одним битом. Если бросить монетку два раза, двумя битами (при двух бросках может получиться 4 равновероятных исхода). Три раза - тремя битами (8 равновероятных исходов).

Вообще, если продолжить аналогию, то заметишь, что событие выпадения какого-то исхода из 2^n (равновероятных и образующих полную группу событий) несет n битов информации.

Значит, событие о выпадении чего-то на кости (при броске 1 раз) несет log2(6) ~= 2.585 битов информации, что логично.
Вообще, если попытаться строго построить аксиоматическое (а не конструктивное) определение информации и информационной энтропии, получится как-то вот так:
https://ru.wikipedia.org/wiki/Информационная_энтропия#Определение_по_Шеннону

Бит информации, это математический объект, а не физический. Игральная кость, это физический объект.
Поэтому в игральной кости не может содержаться ни один бит информации.