Объясните, пожалуйста, теорему Шеннона доступным языком.

Question

Объясните, пожалуйста, теорему Шеннона доступным языком.

MegaSlon Мастер (1162), закрыт 16 лет назад

Из Википедии:
Теорема отсчётов Уиттакера — Найквиста — Котельникова — Шеннона (теорема Котельникова) гласит, что, если непрерывный сигнал x(t) имеет спектр, ограниченный частотой Fmax, то он может быть однозначно и без потерь восстановлен по своим дискретным отсчётам, взятым с частотой:
fдискр >= 2*Fmax,
где Fmax — верхняя частота в спектре, или, по-другому, по отсчётам, взятым с периодом:
Tдискр <= 1/(2*Fmax).

Главным образом непонятно, что значит сигнал, ограниченный частотой?
И как сигнал может быть восстановлен в двух словах?

Answer 1

Если в двух словах - то суть в том, что на халяву ничё не бывает. К осстановлению сигналов это тоже относится.
Что начит "сигнал с ограниченным спектром": а ровно это и значит. реобразование Фурье представляете себе? Ну бедм считать, что да. То есть любой сигнал можно представить как сумму гармонических сигналов различных частот. Скажем, для обычныого звукового сигнала, воспринимаеого ухом, спектр ограничен частотой 20 кГц (примерно) . Спектр сигнал в телефонной трубке ограничен значением 3 кГц. В фидеотракте телевизора - 6 МГц. То есть если представить его в виде Фурье-спектра, то никаких компонентов выше 3 кГц (6 МГц) там нет.
И вот что говорит теорема Котельникова - это что для для ТОЧНОГО восстановления такого сигнала по дискретным отсчётам (добавлю - в отсутствие шума) достаточно эти отсчёты брать вдвое чаще, чем максимальная частота в спектре сигнала. Скажем, для трёх приведёных примеров - это 40 кГц, 6 кГц и 12 МГц.

Answer 2

Первая теорема Шеннона о передаче информации, которая называется также основной теоремой о кодировании при отсутствии помех, формулируется следующим образом:

При отсутствии помех передачи всегда возможен такой вариант кодирования сообщения, при котором среднее число знаков кода, приходящихся на один знак кодируемого алфавита, будет сколь угодно близко к отношению средних информаций на знак первичного и вторичного алфавитов.

Используя понятие избыточности кода, можно дать более короткую формулировку теоремы:

При отсутствии помех передачи всегда возможен такой вариант кодирования сообщения, при котором избыточность кода будет сколь угодно близкой к нулю.

Данные утверждения являются теоремами и, следовательно, должны доказываться, однако доказательства мы опустим. Для нас важно, что теорема открывает принципиальную возможность оптимального кодирования. Однако необходимо сознавать, что из самой теоремы никоим образом не следует, как такое кодирование осуществить практически – для этого должны привлекаться какие-то дополнительные соображения.

Answer 3

Любой сигнал можно разложить в интеграл Фурье. Это математическая теорема. При этом он представится в виде суммы синусоид. То есть, в виде суммы простых правильных колебаний с разной частой и амплитудой. Если построить на графике зависимость амплитуды от частоты -- то этот график будет содержать всю информацию о синусоидах и, таким образом, всю информацию об исходном сигнале. Этот график называется "преобразованием Фурье", выполненным над исходным сигналом или его спектром.

Если спектр заканчивается на какой-то частоте (дальше ноль), то ясно, что все проблемы дискретизации будут упираться в эту последнюю синусоиду. Если оцифровывается она, то тем более оцифровываются все более долгие синусоиды суммы.

P.S. По принципу разложения Фурье работает наше ухо. Мы не слышим колебаний воздуха. Вместо этого звук проникает в улитку (орган слуха) на ту глубину, какова его частота. В результате, когда мы слышим звук, мы слышим его спектр, то есть, какие глубины улитки на него отзываются.