Клод Шеннон (Claude Elwood Shannon) родился 30 апреля 1916 года в городе Петоцки, штат Мичиган, США. Первые шестнадцать лет своей жизни Клод провел в Гэйлорде, Мичиган, где он посещал общественную школу, затем закончил высшую школу Гэйлорда в 1932 году. Молодой Клод сильно любил конструировать автоматические устройства. Он собирал модели самолетов и радиотехнические цепи, также создал радиоуправляемую лодку и телеграфную систему между домом друга и своим домом. Томас Эдисон был его дальним родственником.
В 1932 году Шеннон был зачислен в Мичиганский университет, где выбрал курс, посещая который, познакомился с работами Джорджа Буля. Будучи студентом, Клод специализировался одновременно и в математике, и в электротехнике. Эта двусторонность интересов и образования определила первый крупный успех, которого Клод Шеннон достиг в свои аспирантские годы в Массачусетском технологическом институте.
В своей диссертации, защищенной в 1940 году, он доказал, что работу переключателей и реле в электрических схемах можно представить посредством алгебры, изобретенной в середине XIX века английским математиком Джорджем Булем. "Просто случилось так, что никто другой не был знаком с этими обеими областями одновременно!" - так скромно Шеннон объяснил причину своего открытия.
В 1941 году 25-летний Клод Шеннон поступил на работу в Bell Laboratories. В годы войны он занимался разработкой криптографических систем, и позже это помогло ему открыть методы кодирования с коррекцией ошибок. А в свободное время он начал развивать идеи, которые потом вылились в теорию информации. Исходная цель Шеннона заключалась в улучшении передачи информации по телеграфному или телефонному каналу, находящемуся под воздействием электрических шумов. Он быстро пришел к выводу, что наилучшее решение проблемы заключается в более эффективной упаковке информации.
Важной заслугой Шеннона является исследования абсолютно секретных систем, и доказательство их существования, а также существование криптостойких шифров, и требуемые для этого условия. Шеннон также сформулировал основные требования, предъявляемые к надежным шифрам. Он ввел ставшие уже привычными понятия рассеивания и перемешивания, и методы создания криптостойких систем шифрования на основе простых операций.
Статья «Математическая теория связи», опубликованная в 1948 году сделала Клода Шеннона всемирно известным. В ней Шеннон изложил свои идеи, ставшие впоследствии основой современных теорий и техник обработки передачи и хранения информации. Результаты его работ в области передачи информации по каналам связи запустили по всему миру огромное число исследований.
На сегодняшний день все системы цифровой связи проектируются на основе фундаментальных принципов и законов передачи информации, разработанных Шенноном. В соответствии с теорией информации вначале из сообщения устраняется избыточность, затем информация кодируется при помощи кодов, устойчивых к помехам, и лишь потом сообщение передается по каналу потребителю. Значительно была сокращена избыточность телевизионных, речевых и факсимильных сообщений, именно благодаря теории информации.
Шеннон сформулировал и доказал следующие теоремы:
- Прямая и обратная теоремы Шеннона для источника общего вида — о связи энтропии источника и средней длины сообщений.
- Прямая и обратная теоремы Шеннона для источника без памяти — о связи энтропии источника и достижимой степени сжатия с помощью кодирования с потерями и последующего неоднозначного декодирования.
- Прямая и обратная теоремы Шеннона для канала с шумами — о связи пропускной способности канала и существования кода, который возможно использовать для передачи с ошибкой, стремящейся к нулю (при увеличении длины блока).
- Теорема отсчётов Уиттакера — Найквиста — Котельникова — Шеннона (теорема Котельникова) — об однозначном восстановлении сигнала по своим дискретным отсчётам.
- Теорема Шеннона об источнике шифрования (или теорема бесшумного шифрования) устанавливает предел максимального сжатия данных и числовое значение энтропии Шеннона.
- Теорема Шеннона-Хартли
|