что означает термин "энтропия" с точки зрения теории информации?

Информационная энтропия, как определено Шенноном и добавлено другими физиками близко, соотносится с понятием термодинамической энтропии. Это величина, обозначающая несокращаемое (несжимаемое) количество информации, содержимое в данной системе (обычно, — в принимаемом сигнале).

В теории информации
Энтропия в статистической механике имеет тесную связь с информационной энтропией — мерой неопределённости сообщений, которые описываются множеством символов x_1,\ldots,x_n и вероятностей p_1,\ldots,p_n появления этих символов в сообщении. В теории информации энтропией сообщения с дискретным распределением вероятностей называют величину

Sn = − ∑PkInPk,
k

где
∑Pk = 1.
k

Информационная энтропия равна нулю, когда какая-либо вероятность равна единице (а остальные — нулю), т. е. когда информация полностью предсказуема и не несёт ничего нового для приёмника. Энтропия принимает наибольшее значение для равновероятного распределения, когда все вероятности pk одинаковы; т. е. когда неопределённость, разрешаемая сообщением максимальна. Информационная энтропия также обладает всеми теми математическими свойствами, которыми обладает термодинамическая энтропия. Например, она аддитивна: энтропия нескольких сообщений равна сумме энтропий отдельных сообщений.