Введение в теорию информации. Избыточность сообщений

Теория информации - это отрасль математики, которая занимается количественной оценкой и передачей информации. Избыточность сообщения - это мера того, сколько дополнительной информации присутствует в сообщении сверх того, что необходимо для его предполагаемого смысла.

В теории информации избыточность сообщения определяется как отношение ожидаемой длины закодированного сообщения к длине исходного сообщения. Ожидаемая длина - это среднее количество битов, необходимое для кодирования сообщения.

Избыточность сообщения не может быть меньше 0, поскольку она определяется как отношение двух длин, а длины не могут быть отрицательными. Избыточность 0 означает, что закодированное сообщение имеет точно такую же длину, как и исходное, то есть сжатия не произошло, и никакой дополнительной информации нет.

Избыточность сообщения не может быть больше 1, поскольку она определяется как отношение. Избыточность больше 1 означает, что закодированное сообщение длиннее исходного, а это значит, что в результате кодирования в сообщение была добавлена информация, что невозможно.

В заключение следует отметить, что избыточность сообщения должна лежать в интервале [0, 1], где 0 означает отсутствие дополнительной информации, а 1 - максимально возможную избыточность.