предел шеннона

Ответ от Dims[гуру]
Любой сигнал можно разложить в интеграл Фурье. Это математическая теорема. При этом он представится в виде суммы синусоид. То есть, в виде суммы простых правильных колебаний с разной частой и амплитудой. Если построить на графике зависимость амплитуды от частоты -- то этот график будет содержать всю информацию о синусоидах и, таким образом, всю информацию об исходном сигнале. Этот график называется "преобразованием Фурье", выполненным над исходным сигналом или его спектром.
Если спектр заканчивается на какой-то частоте (дальше ноль), то ясно, что все проблемы дискретизации будут упираться в эту последнюю синусоиду. Если оцифровывается она, то тем более оцифровываются все более долгие синусоиды суммы.
P.S. По принципу разложения Фурье работает наше ухо. Мы не слышим колебаний воздуха. Вместо этого звук проникает в улитку (орган слуха) на ту глубину, какова его частота. В результате, когда мы слышим звук, мы слышим его спектр, то есть, какие глубины улитки на него отзываются.

Ответ от Маринка просто[гуру]

Первая теорема Шеннона о передаче информации, которая называется также основной теоремой о кодировании при отсутствии помех, формулируется следующим образом:
При отсутствии помех передачи всегда возможен такой вариант кодирования сообщения, при котором среднее число знаков кода, приходящихся на один знак кодируемого алфавита, будет сколь угодно близко к отношению средних информаций на знак первичного и вторичного алфавитов.
Используя понятие избыточности кода, можно дать более короткую формулировку теоремы:
При отсутствии помех передачи всегда возможен такой вариант кодирования сообщения, при котором избыточность кода будет сколь угодно близкой к нулю.
Данные утверждения являются теоремами и, следовательно, должны доказываться, однако доказательства мы опустим. Для нас важно, что теорема открывает принципиальную возможность оптимального кодирования. Однако необходимо сознавать, что из самой теоремы никоим образом не следует, как такое кодирование осуществить практически – для этого должны привлекаться какие-то дополнительные соображения.

Ответ от 3 ответа[гуру]