सूचना अनिश्चितता का समाधान है।
Claude Elwood Shannon एक अमेरिकी गणितज्ञ, विद्युत इंजीनियर और क्रिप्टोग्राफर थे जिन्हें "सूचना सिद्धांत के जनक" के रूप में जाना जाता है। Shannon को सूचना सिद्धांत की स्थापना के लिए जाना जाता है, जिसके लिए उन्होंने 1948 में "ए मैथमेटिकल थ्योरी ऑफ कम्युनिकेशन" नामक एक ऐतिहासिक पत्र प्रकाशित किया।
वे 1937 में डिजिटल सर्किट डिज़ाइन सिद्धांत की स्थापना के लिए भी प्रसिद्ध हैं, जब—21 साल की उम्र में मैसाचुसेट्स इंस्टीट्यूट ऑफ टेक्नोलॉजी MIT में मास्टर्स डिग्री के छात्र के रूप में—उन्होंने अपने थीसिस में यह प्रदर्शित किया कि Boolean बीजगणित के विद्युत अनुप्रयोग किसी भी तार्किक संख्यात्मक संबंध का निर्माण कर सकते हैं। Shannon ने द्वितीय विश्व युद्ध के दौरान राष्ट्रीय रक्षा के लिए क्रिप्टानालिसिस के क्षेत्र में योगदान दिया, जिसमें कोडब्रेकिंग और सुरक्षित दूरसंचार पर उनका मौलिक कार्य शामिल है।
जीवनी
बचपन
Shannon परिवार Gaylord, Michigan में रहता था, और Claude का जन्म पास के Petoskey के एक अस्पताल में हुआ था। उनके पिता, Claude Sr. 1862–1934 एक व्यवसायी थे और कुछ समय के लिए प्रोबेट के न्यायाधीश थे और उनकी माता, Mabel Wolf Shannon 1890–1945, एक भाषा शिक्षक थीं, जिन्होंने Gaylord High School की प्रिंसिपल के रूप में भी काम किया।
Shannon के जीवन के अधिकांश पहले 16 साल Gaylord में बिताए गए, जहां उन्होंने सार्वजनिक स्कूल में पढ़ाई की, 1932 में Gaylord High School से स्नातक हुए। Shannon को यांत्रिक और विद्युत चीजों की ओर झुकाव दिखा। उनके सर्वश्रेष्ठ विषय विज्ञान और गणित थे। घर पर उन्होंने विमानों के मॉडल, एक रेडियो-नियंत्रित मॉडल नाव और एक दोस्त के घर में आधा मील दूर एक कांटेदार तार की टेलीग्राफ प्रणाली जैसे उपकरणों का निर्माण किया। बड़े होते हुए, उन्होंने Western Union कंपनी के लिए एक संदेशवाहक के रूप में भी काम किया।
उनके बचपन के नायक Thomas Edison थे, जिन्हें बाद में पता चला कि वे एक दूर के रिश्तेदार थे। Shannon और Edison दोनों John Ogden 1609–1682 के वंशज थे, जो एक औपनिवेशिक नेता और कई प्रतिष्ठित लोगों के पूर्वज थे।
लॉजिक सर्किट
1932 में, Shannon ने University of Michigan में प्रवेश लिया, जहां उन्हें George Boole के कार्य से परिचित कराया गया। उन्होंने 1936 में दो स्नातक डिग्री के साथ स्नातक किए: एक विद्युत इंजीनियरिंग में और दूसरी गणित में।
1936 में, Shannon ने MIT में विद्युत इंजीनियरिंग में अपनी स्नातक पढ़ाई शुरू की, जहां उन्होंने Vannevar Bush के differential analyzer पर काम किया, जो एक शुरुआती analog कंप्यूटर था। इस analyzer के जटिल ad hoc सर्किट का अध्ययन करते समय, Shannon ने Boole की अवधारणाओं के आधार पर स्विचिंग सर्किट डिज़ाइन किए। 1937 में, उन्होंने अपने मास्टर की डिग्री का थीसिस लिखा, "A Symbolic Analysis of Relay and Switching Circuits"। इस थीसिस से एक पेपर 1938 में प्रकाशित हुआ। इस काम में, Shannon ने साबित किया कि उनके स्विचिंग सर्किट को उस समय टेलीफोन कॉल रूटिंग स्विच में उपयोग किए जाने वाले इलेक्ट्रोमैकेनिकल रिले की व्यवस्था को सरल बनाने के लिए इस्तेमाल किया जा सकता है। इसके बाद, उन्होंने इस अवधारणा को विस्तारित किया, यह साबित करते हुए कि ये सर्किट उन सभी समस्याओं को हल कर सकते हैं जिन्हें Boolean बीजगणित हल कर सकता है। अंतिम अध्याय में, उन्होंने कई सर्किट के आरेख प्रस्तुत किए, जिसमें एक 4-bit पूर्ण जोड़ (adder) शामिल था।
विद्युत स्विच की इस संपत्ति को लॉजिक लागू करने के लिए उपयोग करना मौलिक अवधारणा है जो सभी इलेक्ट्रॉनिक डिजिटल कंप्यूटर के अंतर्निहित है। Shannon का कार्य डिजिटल सर्किट डिजाइन की नींव बन गया, क्योंकि यह द्वितीय विश्व युद्ध के दौरान और बाद में विद्युत इंजीनियरिंग समुदाय में व्यापक रूप से ज्ञात हो गया। Shannon के काम की सैद्धांतिक कठोरता ने पहले प्रचलित ad hoc तरीकों को पार कर गई। Howard Gardner ने Shannon के थीसिस को "संभवतः सबसे महत्वपूर्ण, और साथ ही सबसे प्रसिद्ध, शताब्दी का मास्टर थीसिस" कहा।
Shannon को 1940 में MIT से PhD प्राप्त हुई। Vannevar Bush ने सुझाव दिया था कि Shannon को अपने dissertation पर Cold Spring Harbor Laboratory में काम करना चाहिए, ताकि Mendelian आनुवंशिकी के लिए एक गणितीय सूत्रीकरण विकसित किया जा सके। इस शोध के परिणामस्वरूप Shannon का PhD थीसिस, जिसे "An Algebra for Theoretical Genetics" कहा गया।
1940 में, Shannon Princeton, New Jersey में Institute for Advanced Study में एक National Research Fellow बन गए। Princeton में, Shannon को Hermann Weyl और John von Neumann जैसे प्रभावशाली वैज्ञानिकों और गणितज्ञों के साथ अपने विचारों पर चर्चा करने का अवसर मिला, और उन्हें Albert Einstein और Kurt Gödel के साथ भी कभी-कभी मुलाकात हुई। Shannon विभिन्न विषयों में स्वतंत्र रूप से काम करते थे, और यह क्षमता उनके बाद के गणितीय सूचना सिद्धांत के विकास में योगदान दे सकती थी।
युद्धकालीन शोध
Shannon फिर Bell Labs में शामिल हो गए और द्वितीय विश्व युद्ध के दौरान National Defense Research Committee (NDRC) के section D-2 Control Systems section के अंतर्गत एक अनुबंध के तहत आग-नियंत्रण प्रणालियों और क्रिप्टोग्राफी पर काम किया।
Shannon को 1942 में signal-flow graphs के आविष्कार का श्रेय दिया जाता है। उन्होंने एक analog कंप्यूटर के कार्यात्मक संचालन की जांच करते समय topological gain formula की खोज की।
1943 की शुरुआत में दो महीने के लिए, Shannon प्रमुख ब्रिटिश गणितज्ञ Alan Turing के संपर्क में आए। Turing को Bletchley Park में British Government Code and Cypher School द्वारा उपयोग की जाने वाली विधियों को साझा करने के लिए Washington में तैनात किया गया था, जो उत्तर अटलांटिक महासागर में Kriegsmarine U-boats द्वारा उपयोग किए जाने वाले ciphers को तोड़ने के लिए U.S. Navy की cryptanalytic service के साथ साझा करने के लिए था। वह भाषण के एन्सिफरमेंट में भी रुचि रखते थे और इस उद्देश्य के लिए Bell Labs में समय बिताया। Shannon और Turing कैफेटेरिया में चाय के समय मिले। Turing ने Shannon को अपना 1936 का पेपर दिखाया जिसने अब "Universal Turing machine" के रूप में जाना जाता है। यह Shannon को प्रभावित करता था, क्योंकि इसके कई विचार उनके अपने विचारों के पूरक थे।
1945 में, जब युद्ध समाप्त हो रहा था, NDRC अपने अंतिम बंद होने से पहले अंतिम चरण के रूप में तकनीकी रिपोर्टों का सारांश जारी कर रहा था। आग नियंत्रण पर खंड के अंदर, "Data Smoothing and Prediction in Fire-Control Systems" शीर्षक वाला एक विशेष निबंध, Shannon, Ralph Beebe Blackman, और Hendrik Wade Bode द्वारा सह-लेखक, औपचारिक रूप से आग नियंत्रण में डेटा को चिकना करने की समस्या को "संचार प्रणालियों में हस्तक्षेप करने वाले शोर से एक संकेत को अलग करने की समस्या" के साथ सादृश्य द्वारा इलाज किया। दूसरे शब्दों में, इसने समस्या को डेटा और संकेत प्रसंस्करण के संदर्भ में प्रतिरूपित किया और इस प्रकार Information Age के आगमन की घोषणा की।
Shannon का क्रिप्टोग्राफी पर काम संचार सिद्धांत पर उनके बाद के प्रकाशनों से भी अधिक निकटता से संबंधित था। युद्ध के अंत में, उन्होंने Bell Telephone Labs के लिए "A Mathematical Theory of Cryptography" शीर्षक वाली एक वर्गीकृत ज्ञापन तैयार की, जिसकी तारीख September 1945 है। इस पेपर का एक अवर्गीकृत संस्करण 1949 में Bell System Technical Journal में "Communication Theory of Secrecy Systems" के रूप में प्रकाशित हुआ। इस पेपर में कई अवधारणाएं और गणितीय सूत्रीकरण शामिल थे जो उनके "A Mathematical Theory of Communication" में भी दिखाई दिए। Shannon ने कहा कि संचार सिद्धांत और क्रिप्टोग्राफी में उनकी युद्धकालीन अंतर्दृष्टि एक साथ विकसित हुई और कि "वे इतने करीब थे कि आप उन्हें अलग नहीं कर सकते"। वर्गीकृत रिपोर्ट की शुरुआत के पास एक फुटनोट में, Shannon ने "सूचना के प्रसारण पर एक आने वाली ज्ञापन में इन परिणामों को विकसित करने" का अपना इरादा घोषित किया।
जब वह Bell Labs में थे, Shannon ने साबित किया कि क्रिप्टोग्राफिक one-time pad अटूट है अपने वर्गीकृत शोध में जो बाद में October 1949 में प्रकाशित हुआ। उन्होंने यह भी साबित किया कि किसी भी अटूट प्रणाली के पास essentially one-time pad के समान विशेषताएं होनी चाहिए: कुंजी वास्तविक रूप से यादृच्छिक होनी चाहिए, plaintext जितनी बड़ी होनी चाहिए, कभी भी पूर्ण या आंशिक रूप से दोबारा उपयोग नहीं किया जाना चाहिए, और गुप्त रखा जाना चाहिए।
सूचना सिद्धांत
1948 में, वादा की गई ज्ञापन "A Mathematical Theory of Communication" के रूप में दिखाई दिया, Bell System Technical Journal के July और October अंकों में दो भागों में एक लेख। यह काम इस समस्या पर केंद्रित है कि प्रेषक जो सूचना प्रेषित करना चाहता है, उसे सर्वोत्तम रूप से कैसे एन्कोड किया जाए। इस मौलिक कार्य में, उन्होंने Norbert Wiener द्वारा विकसित संभाव्यता सिद्धांत में उपकरणों का उपयोग किया, जो उस समय संचार सिद्धांत पर लागू किए जा रहे थे। Shannon ने सूचना entropy को एक संदेश में सूचना सामग्री के माप के रूप में विकसित किया, जो संदेश द्वारा कम की गई अनिश्चितता का माप है, जबकि अनिवार्य रूप से सूचना सिद्धांत के क्षेत्र का आविष्कार किया। 1949 में Claude Shannon और Robert Fano ने blocks की संभावनाओं के आधार पर code words निर्दिष्ट करने का एक व्यवस्थित तरीका तैयार किया। इस तकनीक को Shannon–Fano coding के रूप में जाना जाता है, जो पहले 1948 के लेख में प्रस्तावित की गई थी।
Warren Weaver के साथ सह-लेखक पुस्तक, "The Mathematical Theory of Communication", Shannon के 1948 के लेख को दोहराता है और Weaver के इसके लोकप्रियकरण को, जो गैर-विशेषज्ञों के लिए सुलभ है। Warren Weaver ने बताया कि संचार सिद्धांत में "सूचना" शब्द इससे संबंधित नहीं है कि आप क्या कहते हैं, बल्कि आप क्या कह सकते हैं। अर्थात्, सूचना एक संदेश चुनते समय किसी की पसंद की स्वतंत्रता का माप है। Shannon की अवधारणाओं को भी लोकप्रिय बनाया गया, उनकी अपनी proofreading के अधीन, John Robinson Pierce के "Symbols, Signals, and Noise" में।
सूचना सिद्धांत का natural language processing और computational linguistics में मौलिक योगदान 1951 में उनके लेख "Prediction and Entropy of Printed English" में आगे स्थापित किया गया, जो अंग्रेजी की आँकड़ों पर entropy की ऊपरी और निचली सीमाएं दिखाता है – भाषा विश्लेषण के लिए एक सांख्यिकीय आधार प्रदान करता है। इसके अतिरिक्त, उन्होंने साबित किया कि whitespace को वर्णमाला के 27वें अक्षर के रूप में व्यवहार करना वास्तव में लिखित भाषा में अनिश्चितता को कम करता है, जो सांस्कृतिक व्यवहार और संभाव्य संज्ञान के बीच एक स्पष्ट मात्रात्मक लिंक प्रदान करता है।
1949 में प्रकाशित एक अन्य उल्लेखनीय पेपर "Communication Theory of Secrecy Systems" है, जो क्रिप्टोग्राफी के गणितीय सिद्धांत पर उनके युद्धकालीन कार्य का एक अवर्गीकृत संस्करण है, जिसमें उन्होंने साबित किया कि सभी सैद्धांतिक रूप से अटूट ciphers को one-time pad के समान आवश्यकताओं की आवश्यकता होनी चाहिए। उन्हें sampling theory के परिचय का श्रेय भी दिया जाता है, जो एक नमूनों के uniform discrete set से continuous-time signal का प्रतिनिधित्व करने से संबंधित है। यह सिद्धांत 1960 के दशक में और उसके बाद दूरसंचार को analog से digital transmission systems में जाने में सक्षम करने के लिए आवश्यक था।
वह 1956 में MIT लौट आए एक endowed chair संभालने के लिए।
MIT में शिक्षण
1956 में Shannon MIT faculty में शामिल हो गए Research Laboratory of Electronics (RLE) में काम करने के लिए। वह 1978 तक MIT faculty पर सेवा करते रहे।
