L'information est la résolution de l'incertitude.
Claude Elwood Shannon était un mathématicien américain, ingénieur électricien et cryptographe connu sous le nom de « père de la théorie de l'information ». Shannon est noté pour avoir fondé la théorie de l'information avec un article marquant, « A Mathematical Theory of Communication », qu'il a publié en 1948.
Il est également bien connu pour avoir fondé la théorie de la conception des circuits numériques en 1937, quand—à l'âge de 21 ans en tant qu'étudiant de maîtrise au Massachusetts Institute of Technology MIT—il a rédigé sa thèse démontrant que les applications électriques de l'algèbre de Boole pouvaient construire n'importe quelle relation logique numérique. Shannon a contribué au domaine de la cryptanalyse pour la défense nationale pendant la Seconde Guerre mondiale, y compris ses travaux fondamentaux sur le déchiffrement et les télécommunications sécurisées.
Biographie
Enfance
La famille Shannon vivait à Gaylord, Michigan, et Claude est né dans un hôpital à proximité à Petoskey. Son père, Claude Sr. 1862–1934 était un homme d'affaires et pendant un certain temps, juge des successions et sa mère, Mabel Wolf Shannon 1890–1945, était une enseignante de langue, qui a également servi en tant que directrice de la Gaylord High School.
La plupart des 16 premières années de la vie de Shannon ont été passées à Gaylord, où il a fréquenté l'école publique, obtenant son diplôme de la Gaylord High School en 1932. Shannon a montré une inclination pour les choses mécaniques et électriques. Ses meilleures matières étaient les sciences et les mathématiques. À la maison, il a construit des appareils comme des modèles d'avions, un bateau télécommandé et un système télégraphique de fil barbelé jusqu'à la maison d'un ami à un demi-mile de distance. En grandissant, il a également travaillé comme messager pour la compagnie Western Union.
Son héros d'enfance était Thomas Edison, dont il a découvert plus tard qu'il était un cousin éloigné. Shannon et Edison étaient tous deux des descendants de John Ogden 1609–1682, un leader colonial et un ancêtre de nombreuses personnes distinguées.
Circuits logiques
En 1932, Shannon est entré à l'Université du Michigan, où il a été initié aux travaux de George Boole. Il a obtenu son diplôme en 1936 avec deux licences : l'une en génie électrique et l'autre en mathématiques.
En 1936, Shannon a commencé ses études supérieures en génie électrique au MIT, où il a travaillé sur l'analyseur différentiel de Vannevar Bush, un ordinateur analogique précoce. Tout en étudiant les circuits compliqués et ad hoc de cet analyseur, Shannon a conçu des circuits de commutation basés sur les concepts de Boole. En 1937, il a rédigé sa thèse de maîtrise, A Symbolic Analysis of Relay and Switching Circuits. Un article de cette thèse a été publié en 1938. Dans ce travail, Shannon a prouvé que ses circuits de commutation pouvaient être utilisés pour simplifier l'arrangement des relais électromécaniques qui étaient utilisés à l'époque dans les commutateurs d'acheminement des appels téléphoniques. Ensuite, il a élargi ce concept, prouvant que ces circuits pouvaient résoudre tous les problèmes que l'algèbre booléenne pouvait résoudre. Dans le dernier chapitre, il a présenté des diagrammes de plusieurs circuits, y compris un additionneur complet 4 bits.
L'utilisation de cette propriété des commutateurs électriques pour mettre en œuvre la logique est le concept fondamental qui sous-tend tous les ordinateurs numériques électroniques. Le travail de Shannon est devenu la fondation de la conception des circuits numériques, car il est devenu largement connu dans la communauté du génie électrique pendant et après la Seconde Guerre mondiale. La rigueur théorique du travail de Shannon a supplanté les méthodes ad hoc qui avaient prévalu auparavant. Howard Gardner a appelé la thèse de Shannon « possiblement la thèse de maîtrise la plus importante et aussi la plus remarquée du siècle ».
Shannon a reçu son doctorat du MIT en 1940. Vannevar Bush avait suggéré que Shannon devrait travailler sur sa dissertation au Cold Spring Harbor Laboratory, afin de développer une formulation mathématique de la génétique mendelienne. Cette recherche a abouti à la thèse de doctorat de Shannon, intitulée An Algebra for Theoretical Genetics.
En 1940, Shannon est devenu un National Research Fellow à l'Institute for Advanced Study à Princeton, New Jersey. À Princeton, Shannon a eu l'occasion de discuter de ses idées avec des scientifiques et des mathématiciens influents tels que Hermann Weyl et John von Neumann, et il a également eu des rencontres occasionnelles avec Albert Einstein et Kurt Gödel. Shannon a travaillé librement à travers les disciplines, et cette capacité a peut-être contribué à son développement ultérieur de la théorie mathématique de l'information.
Recherche en temps de guerre
Shannon a ensuite rejoint Bell Labs pour travailler sur les systèmes de contrôle de tir et la cryptographie pendant la Seconde Guerre mondiale, en vertu d'un contrat avec la section D-2 Control Systems section du National Defense Research Committee NDRC.
Shannon est crédité de l'invention des graphiques de flux de signal, en 1942. Il a découvert la formule de gain topologique en enquêtant sur le fonctionnement d'un ordinateur analogique.
Pendant deux mois au début de 1943, Shannon est entré en contact avec le mathématicien britannique de premier plan Alan Turing. Turing avait été envoyé à Washington pour partager avec le service de cryptanalyse de la Marine américaine les méthodes utilisées par le Government Code and Cypher School britannique à Bletchley Park pour briser les chiffres utilisés par les U-boots de la Kriegsmarine dans l'océan Atlantique Nord. Il était également intéressé par le chiffrement de la parole et à cet effet a passé du temps aux Bell Labs. Shannon et Turing se sont rencontrés à l'heure du thé à la cafétéria. Turing a montré à Shannon son article de 1936 qui a défini ce qu'on appelle maintenant la « machine de Turing universelle ». Cela a impressionné Shannon, car beaucoup de ses idées complétaient les siennes.
En 1945, alors que la guerre arrivait à sa fin, le NDRC publiait un résumé des rapports techniques comme dernière étape avant sa fermeture éventuelle. À l'intérieur du volume sur le contrôle de tir, un essai spécial intitulé Data Smoothing and Prediction in Fire-Control Systems, coécrit par Shannon, Ralph Beebe Blackman et Hendrik Wade Bode, a traité formellement le problème du lissage des données dans le contrôle de tir par analogie avec « le problème de séparer un signal du bruit interférent dans les systèmes de communication ». En d'autres termes, il a modélisé le problème en termes de traitement des données et du signal et a ainsi annoncé l'avènement de l'ère de l'information.
Le travail de Shannon sur la cryptographie était encore plus étroitement lié à ses publications ultérieures sur la théorie de la communication. À la fin de la guerre, il a préparé un mémorandum classifié pour Bell Telephone Labs intitulé « A Mathematical Theory of Cryptography », daté de septembre 1945. Une version déclassifiée de cet article a été publiée en 1949 sous le titre « Communication Theory of Secrecy Systems » dans le Bell System Technical Journal. Cet article incorporait bon nombre des concepts et des formulations mathématiques qui sont également apparus dans sa A Mathematical Theory of Communication. Shannon a déclaré que ses idées en temps de guerre sur la théorie de la communication et la cryptographie se sont développées simultanément et que « elles étaient tellement proches que vous ne pouviez pas les séparer ». Dans une note de bas de page près du début du rapport classifié, Shannon a annoncé son intention de « développer ces résultats … dans un mémorandum à venir sur la transmission de l'information ».
Pendant qu'il était aux Bell Labs, Shannon a prouvé que le chiffre à usage unique cryptographique est inviolable dans ses recherches classifiées qui ont été publiées en octobre 1949. Il a également prouvé que tout système inviolable doit avoir essentiellement les mêmes caractéristiques que le chiffre à usage unique : la clé doit être véritablement aléatoire, aussi grande que le texte en clair, jamais réutilisée en tout ou en partie, et être gardée secrète.
Théorie de l'information
En 1948, le mémorandum promis est apparu sous la forme de « A Mathematical Theory of Communication », un article en deux parties dans les numéros de juillet et octobre du Bell System Technical Journal. Ce travail se concentre sur le problème de la meilleure façon de coder l'information qu'un expéditeur souhaite transmettre. Dans ce travail fondamental, il a utilisé des outils de la théorie des probabilités, développés par Norbert Wiener, qui en étaient aux stades naissants d'être appliqués à la théorie de la communication à l'époque. Shannon a développé l'entropie de l'information comme une mesure du contenu informatif d'un message, qui est une mesure de l'incertitude réduite par le message, tout en inventant essentiellement le domaine de la théorie de l'information. En 1949, Claude Shannon et Robert Fano ont conçu un moyen systématique d'assigner des mots de code basé sur les probabilités des blocs. Cette technique, connue sous le nom de codage Shannon–Fano, a été proposée pour la première fois dans l'article de 1948.
Le livre, coécrit avec Warren Weaver, The Mathematical Theory of Communication, réimprime l'article de 1948 de Shannon et la vulgarisation qu'en a faite Weaver, qui est accessible aux non-spécialistes. Warren Weaver a souligné que le mot « information » dans la théorie de la communication n'est pas lié à ce que vous dites, mais à ce que vous pourriez dire. C'est-à-dire que l'information est une mesure de votre liberté de choix lorsque vous sélectionnez un message. Les concepts de Shannon ont également été vulgarisés, sous réserve de sa propre correction d'épreuves, dans Symbols, Signals, and Noise de John Robinson Pierce.
La contribution fondamentale de la théorie de l'information au traitement du langage naturel et à la linguistique informatique a été en outre établie en 1951, dans son article « Prediction and Entropy of Printed English », montrant les limites supérieures et inférieures de l'entropie sur les statistiques de l'anglais – donnant une base statistique à l'analyse du langage. En outre, il a prouvé que traiter l'espace blanc comme la 27e lettre de l'alphabet réduit en fait l'incertitude dans la langue écrite, fournissant un lien clair et quantifiable entre la pratique culturelle et la cognition probabiliste.
Un autre article notable publié en 1949 est « Communication Theory of Secrecy Systems », une version déclassifiée de son travail en temps de guerre sur la théorie mathématique de la cryptographie, dans lequel il a prouvé que tous les chiffres théoriquement inviolables doivent avoir les mêmes exigences que le chiffre à usage unique. Il est également crédité de l'introduction de la théorie de l'échantillonnage, qui concerne la représentation d'un signal en temps continu à partir d'un ensemble uniforme d'échantillons discrets. Cette théorie était essentielle pour permettre aux télécommunications de passer des systèmes de transmission analogique aux systèmes numériques dans les années 1960 et après.
Il est retourné au MIT pour occuper une chaire dotée en 1956.
Enseignement au MIT
En 1956, Shannon a rejoint le corps professoral du MIT pour travailler au Laboratoire de recherche en électronique RLE. Il a continué à servir au corps professoral du MIT jusqu'en 1978.
Vie ultérieure
Shannon a développé la maladie d'Alzheimer et a passé les dernières années de sa vie dans une maison de retraite ; il est décédé en 2001, survivant à sa femme, un fils et une fille, et deux petites-filles.
Loisirs et inventions
Au-delà de ses poursuites académiques, Shannon s'intéressait à la jonglerie, au monocycle et aux échecs. Il a également inventé de nombreux appareils, notamment un ordinateur de chiffres romains appelé THROBAC, des machines à jongler et une trompette lance-flammes. Il a construit un appareil capable de résoudre le puzzle du Rubik's Cube.
Shannon a conçu le Minivac 601, un ordinateur de formation numérique destiné à enseigner aux gens d'affaires comment les ordinateurs fonctionnaient. Il a été vendu par la Scientific Development Corp à partir de 1961.
Il est également considéré comme le co-inventeur du premier ordinateur portable avec Edward O. Thorp. L'appareil a été utilisé pour améliorer les probabilités en jouant à la roulette.
Vie personnelle
Shannon a épousé Norma Levor, une intellectuelle riche, juive et de gauche en janvier 1940. Le mariage s'est terminé par un divorce après environ un an. Levor a ensuite épousé Ben Barzman.
Shannon a rencontré sa deuxième femme Betty Shannon née Mary Elizabeth Moore lorsqu'elle était une analyste numérique aux Bell Labs. Ils se sont mariés en 1949. Betty a aidé Claude à construire certaines de ses inventions les plus célèbres. Ils avaient trois enfants.
Shannon était apolitique et athée.
Hommages
Il y a six statues de Shannon sculptées par Eugene Daub : une à l'Université du Michigan ; une au MIT au Laboratoire d'informatique et de systèmes de décision ; une à Gaylord, Michigan ; une à l'Université de Californie, San Diego ; une aux Bell Labs ; et une autre à AT&T Shannon Labs. Après la dissolution du Bell System, la partie des Bell Labs qui est restée avec AT&T Corporation a été nommée Shannon Labs en son honneur.
Selon Neil Sloane, un AT&T Fellow qui a co-édité la grande collection d'articles de Shannon en 1993, la perspective introduite par la théorie de la communication de Shannon, maintenant appelée théorie de l'information, est la fondation de la révolution numérique, et chaque appareil contenant un microprocesseur ou un microcontrôleur est un descendant conceptuel de la publication de Shannon en 1948 : « Il est l'un des grands hommes du siècle. Sans lui, rien de ce que nous connaissons aujourd'hui n'existerait. Toute la révolution numérique a commencé avec lui. » L'unité shannon est nommée d'après Claude Shannon.
A Mind at Play, une biographie de Shannon écrite par Jimmy Soni et Rob Goodman, a été publiée en 2017.
Le 30 avril 2016, Shannon a été honoré avec un Google Doodle pour célébrer sa vie au jour qui aurait été son 100e anniversaire.
The Bit Player, un long métrage sur Shannon réalisé par Mark Levinson a été présenté au World Science Festival en 2019. Tiré d'entretiens menés avec Shannon dans sa maison dans les années 1980, le film a été diffusé sur Amazon Prime en août 2020.
Autres travaux
La souris de Shannon
« Theseus », créé en 1950, était une souris mécanique contrôlée par un circuit de relais électromécaniques qui lui permettait de se déplacer dans un labyrinthe de 25 carrés. La configuration du labyrinthe était flexible et pouvait être modifiée arbitrairement en réarrangeant les cloisons mobiles. La souris a été conçue pour chercher à travers le couloir
