Информация — это разрешение неопределенности.
Claude Elwood Shannon был американским математиком, электротехником и криптографом, известным как «отец теории информации». Shannon известен тем, что основал теорию информации своей знаменательной работой «A Mathematical Theory of Communication» (Математическая теория связи), которую он опубликовал в 1948 году.
Он также хорошо известен основанием теории цифровых схем в 1937 году, когда — в возрасте 21 года, будучи студентом магистратуры в Массачусетском технологическом институте MIT — он написал свою диссертацию, продемонстрировав, что электрические приложения булевой алгебры могут построить любое логическое числовое соотношение. Shannon внес вклад в область криптоанализа для национальной обороны во время Второй мировой войны, включая его основополагающую работу по взлому кодов и защищенным телекоммуникациям.
Биография
Детство
Семья Shannon жила в Gaylord, Michigan, и Claude родился в больнице в близлежащем Petoskey. Его отец, Claude Sr. (1862–1934) был бизнесменом и какое-то время судьей по наследственным делам, а его мать, Mabel Wolf Shannon (1890–1945), была учительницей языков и также служила директором средней школы Gaylord High School.
Большую часть первых 16 лет жизни Shannon провел в Gaylord, где он учился в государственной школе, закончив среднюю школу Gaylord High School в 1932 году. Shannon проявлял склонность к механическим и электрическим вещам. Его лучшими предметами были естественные науки и математика. Дома он конструировал такие устройства, как модели самолетов, радиоуправляемую модель лодки и систему телеграфа из колючей проволоки к дому друга на расстоянии полумили. Во время взросления он также работал курьером в компании Western Union.
Его детским героем был Thomas Edison, о котором он позже узнал, что был его дальним родственником. Оба Shannon и Edison были потомками John Ogden (1609–1682), колониального лидера и предка многих выдающихся людей.
Логические схемы
В 1932 году Shannon поступил в Университет Michigan, где он познакомился с работами George Boole. Он закончил учебу в 1936 году с двумя степенями бакалавра: одна по электротехнике и другая по математике.
В 1936 году Shannon начал аспирантуру по электротехнике в MIT, где работал над дифференциальным анализатором Vannevar Bush, ранним аналоговым компьютером. Изучая сложные ad hoc схемы этого анализатора, Shannon разработал переключающие схемы на основе концепций Boole. В 1937 году он написал свою диссертацию магистра «A Symbolic Analysis of Relay and Switching Circuits» (Символический анализ реле и переключающих схем). Статья из этой диссертации была опубликована в 1938 году. В этой работе Shannon доказал, что его переключающие схемы могли бы использоваться для упрощения расположения электромеханических реле, которые тогда использовались в коммутаторах маршрутизации телефонных вызовов. Далее он расширил эту концепцию, доказав, что эти схемы могли решить все проблемы, которые булева алгебра могла решить. В последней главе он представил диаграммы нескольких схем, включая 4-битный полный сумматор.
Использование этого свойства электрических переключателей для реализации логики является фундаментальной концепцией, которая лежит в основе всех электронных цифровых компьютеров. Работа Shannon стала основой проектирования цифровых схем, поскольку она стала широко известна в сообществе электротехников во время и после Второй мировой войны. Теоретическая строгость работы Shannon превзошла ad hoc методы, которые ранее преобладали. Howard Gardner назвал диссертацию Shannon «возможно, самой важной и также самой известной магистерской диссертацией столетия».
Shannon получил степень PhD от MIT в 1940 году. Vannevar Bush предложил, чтобы Shannon работал над своей диссертацией в Cold Spring Harbor Laboratory, чтобы разработать математическую формулировку менделевской генетики. Это исследование привело к PhD диссертации Shannon под названием «An Algebra for Theoretical Genetics» (Алгебра для теоретической генетики).
В 1940 году Shannon стал National Research Fellow в Institute for Advanced Study в Princeton, New Jersey. В Princeton Shannon имел возможность обсудить свои идеи с влиятельными учеными и математиками, такими как Hermann Weyl и John von Neumann, а также имел случайные встречи с Albert Einstein и Kurt Gödel. Shannon работал свободно в разных дисциплинах, и эта способность могла способствовать его последующей разработке математической теории информации.
Военные исследования
Shannon затем присоединился к Bell Labs для работы над системами управления огнем и криптографией во время Второй мировой войны, по контракту с разделом D-2 Control Systems отделения National Defense Research Committee NDRC.
Shannon получает признание за изобретение графиков потока сигналов в 1942 году. Он открыл топологическую формулу усиления при исследовании функциональной работы аналогового компьютера.
В течение двух месяцев в начале 1943 года Shannon вступил в контакт с ведущим британским математиком Alan Turing. Turing был направлен в Washington для обмена с криптоаналитической службой U.S. Navy методами, используемыми британским Government Code and Cypher School в Bletchley Park для взлома кодов, используемых немецким подводным флотом Kriegsmarine в северной части Атлантического океана. Он также интересовался шифрованием речи и для этого провел время в Bell Labs. Shannon и Turing встретились во время чаепития в кафетерии. Turing показал Shannon его статью 1936 года, которая определила то, что сейчас известно как «Universal Turing machine» (Универсальная машина Тьюринга). Это произвело впечатление на Shannon, так как многие из его идей дополняли его собственные.
В 1945 году, когда война подходила к концу, NDRC выпускал сводку технических отчетов как последний шаг перед его вероятным закрытием. Внутри тома по управлению огнем специальное эссе под названием «Data Smoothing and Prediction in Fire-Control Systems» (Сглаживание данных и предсказание в системах управления огнем), соавторами которого были Shannon, Ralph Beebe Blackman и Hendrik Wade Bode, формально рассмотрело проблему сглаживания данных в управлении огнем по аналогии с «проблемой отделения сигнала от помешивающего шума в системах связи». Другими словами, это моделировало проблему в терминах обработки данных и сигналов и, таким образом, провозглашало наступление эпохи информации.
Работа Shannon по криптографии была еще более тесно связана с его более поздними публикациями по теории связи. В конце войны он подготовил засекреченный меморандум для Bell Telephone Labs под названием «A Mathematical Theory of Cryptography» (Математическая теория криптографии), датированный сентябрем 1945 года. Рассекреченная версия этой работы была опубликована в 1949 году как «Communication Theory of Secrecy Systems» (Теория связи систем секретности) в Bell System Technical Journal. Этот документ включал многие концепции и математические формулировки, которые также появились в его «A Mathematical Theory of Communication». Shannon сказал, что его военные идеи по теории связи и криптографии развивались одновременно и что «они были настолько близко вместе, что вы не могли их разделить». В сноске в начале засекреченного отчета Shannon объявил о своем намерении «развить эти результаты … в готовящемся меморандуме о передаче информации».
Находясь в Bell Labs, Shannon доказал, что криптографический одноразовый блокнот невозможно взломать в своем засекреченном исследовании, которое позже было опубликовано в октябре 1949 года. Он также доказал, что любая невзламываемая система должна иметь по существу те же характеристики, что и одноразовый блокнот: ключ должен быть действительно случайным, как большой, как открытый текст, никогда не переиспользоваться полностью или частично и храниться в тайне.
Теория информации
В 1948 году обещанный меморандум появился как «A Mathematical Theory of Communication» (Математическая теория связи), статья из двух частей в июльском и октябрьском номерах Bell System Technical Journal. Эта работа сосредотачивается на проблеме того, как лучше всего кодировать информацию, которую отправитель хочет передать. В этой фундаментальной работе он использовал инструменты теории вероятностей, разработанные Norbert Wiener, которые находились на начальных стадиях применения к теории связи в то время. Shannon развил информационную энтропию как меру информационного содержания в сообщении, которая является мерой неопределенности, уменьшенной сообщением, при этом по существу изобретая область теории информации. В 1949 году Claude Shannon и Robert Fano разработали систематический способ назначения кодовых слов на основе вероятностей блоков. Эта техника, известная как кодирование Shannon–Fano, была впервые предложена в статье 1948 года.
Книга, написанная в соавторстве с Warren Weaver, «The Mathematical Theory of Communication» (Математическая теория связи), переиздает статью Shannon 1948 года и популяризацию Weaver, которая доступна для неспециалиста. Warren Weaver указал, что слово «информация» в теории связи не связано с тем, что вы говорите, а с тем, что вы могли бы сказать. То есть информация является мерой вашей свободы выбора при выборе сообщения. Концепции Shannon также были популяризированы, с учетом его собственной корректуры, в «Symbols, Signals, and Noise» (Символы, сигналы и шум) John Robinson Pierce.
Фундаментальный вклад теории информации в обработку естественного языка и вычислительную лингвистику был дополнительно установлен в 1951 году в его статье «Prediction and Entropy of Printed English» (Предсказание и энтропия печатного английского), показывающей верхние и нижние границы энтропии в статистике английского — дающей статистический фундамент для анализа языка. Кроме того, он доказал, что обработка пробела как 27-й буквы алфавита фактически снижает неопределенность в письменном языке, обеспечивая четкую количественную связь между культурной практикой и вероятностным познанием.
Еще одна примечательная работа, опубликованная в 1949 году, — это «Communication Theory of Secrecy Systems» (Теория связи систем секретности), рассекреченная версия его военной работы над математической теорией криптографии, в которой он доказал, что все теоретически невзламываемые шифры должны иметь те же требования, что и одноразовый блокнот. Он также получил признание за введение теории дискретизации, которая касается представления непрерывного во времени сигнала из равномерного дискретного набора образцов. Эта теория была существенна в возможности телекоммуникаций переходить с аналоговых на цифровые системы передачи в 1960-х годах и позже.
Он вернулся в MIT, чтобы занять именную должность в 1956 году.
Преподавание в MIT
В 1956 году Shannon присоединился к факультету MIT для работы в Research Laboratory of Electronics RLE. Он продолжал служить в факультете MIT до 1978 года.
Поздняя жизнь
Shannon развил болезнь Альцгеймера и провел последние годы своей жизни в доме престарелых; он умер в 2001 году, пережив своей жены, сына и дочь, а также двух внучек.
Хобби и изобретения
Помимо своих академических занятий Shannon интересовался жонглированием, ездой на одноколесном велосипеде и шахматами. Он также изобрел много устройств, включая компьютер с римскими цифрами под названием THROBAC, машины для жонглирования и трубу с огнеметом. Он построил устройство, которое могло решить головоломку кубика Рубика.
Shannon спроектировал Minivac 601, тренер цифровых компьютеров для обучения бизнесменов тому, как работают компьютеры. Он продавался компанией Scientific Development Corp начиная с 1961 года.
Он также считается соизобретателем первого носимого компьютера вместе с Edward O. Thorp. Устройство использовалось для улучшения шансов при игре в рулетку.
Личная жизнь
Shannon женился на Norma Levor, богатой еврейской левой интеллектуальной женщине в январе 1940 года. Брак закончился разводом после примерно года. Levor позже вышла замуж за Ben Barzman.
Shannon встретил свою вторую жену Betty Shannon (урожденная Mary Elizabeth Moore), когда она была численным аналитиком в Bell Labs. Они поженились в 1949 году. Betty помогала Claude в построении некоторых из его самых знаменитых изобретений. У них было трое детей.
Shannon был аполитичным и атеистом.
Дань уважения
Существует шесть статуй Shannon, высеченных Eugene Daub: одна в Университете Michigan; одна в MIT в Laboratory for Information and Decision Systems; одна в Gaylord, Michigan; одна в Университете California, San Diego; одна в Bell Labs; и еще одна в AT&T Shannon Labs. После распада Bell System часть Bell Labs, которая осталась с AT&T Corporation, была названа Shannon Labs в его честь.
По словам Neil Sloane, Fellow AT&T, который отредактировал большую коллекцию работ Shannon в 1993 году, перспектива, введенная теорией связи Shannon, теперь называемая теорией информации, является основой цифровой революции, и каждое устройство, содержащее микропроцессор или микроконтроллер, является концептуальным потомком публикации Shannon 1948 года: «Он один из великих людей столетия. Без него ничего из того, что мы знаем сегодня, не существовало бы. Вся цифровая революция началась с него». Единица shannon названа в честь Claude Shannon.
«A Mind at Play», биография Shannon, написанная Jimmy Soni и Rob Goodman, была опубликована в 2017 году.
30 апреля 2016 года Shannon был удостоен чести Google Doodle в честь его жизни в то, что было бы его 100-летием.
«The Bit Player», полнометражный фильм о Shannon, режиссер Mark Levinson, прошел премьеру на World Science Festival в 2019 году. Основанный на интервью, проведенных с Shannon в его доме в 1980-х годах, фильм был выпущен на Amazon Prime в августе 2020 года.
Другие работы
Мышь Shannon
«Theseus», созданная в 1950 году, была механической мышью, управляемой электромеханической схемой реле, которая позволяла ей движься вокруг лабиринта из 25 квадратов. Конфигурация лабиринта была гибкой, и она могла быть изменена произвольно путем перестановки подвижных перегородок. Мышь была разработана для поиска через коридор
