कनवोल्यूशनल और अनुक्रम मॉडल
कनवोल्यूशनल नेटवर्क छवियों जैसे ग्रिड-जैसी डेटा में स्थानिक संरचना का उपयोग करते हैं, जबकि आवर्ती और ध्यान-आधारित मॉडल पाठ और भाषण जैसे अनुक्रमों को संसाधित करते हैं।
Definition
कनवोल्यूशनल मॉडल एक ग्रिड में सीखे हुए फिल्टर लागू करते हैं ताकि हर स्थान पर एक ही फीचर डिटेक्टर का पुन: उपयोग किया जा सके, जबकि अनुक्रम मॉडल समय के साथ स्थिति बनाए रखकर या स्थितियों में भाग लेकर क्रमबद्ध इनपुट को संसाधित करते हैं, प्रत्येक आर्किटेक्चर अपने डेटा प्रकार के अनुकूल पूर्व धारणाओं को एन्कोड करता है।
Scope
यह विषय संरचित डेटा के लिए विशेषीकृत आर्किटेक्चर को शामिल करता है: छवियों और अन्य ग्रिडों के लिए स्थानीय फिल्टर, भार साझाकरण और पूलिंग के साथ कनवोल्यूशनल न्यूरल नेटवर्क; लंबी दूरी की निर्भरता वाले अनुक्रमों के लिए आवर्ती नेटवर्क और लॉन्ग शॉर्ट-टर्म मेमोरी इकाइयाँ; और ध्यान तंत्र जो स्थितियों के बीच संबंधों को मॉडल करते हैं। यह उन आगमनात्मक पूर्वाग्रहों को संबोधित करता है जो इन आर्किटेक्चर को प्रभावी बनाते हैं।
Core questions
- कनवोल्यूशन छवियों में अनुवाद संरचना का उपयोग कैसे करता है?
- भार साझाकरण और पूलिंग सामान्यीकरण और दक्षता में क्यों मदद करते हैं?
- आवर्ती और लॉन्ग शॉर्ट-टर्म मेमोरी इकाइयाँ लंबी अनुक्रमों को कैसे संभालती हैं?
- शुद्ध आवर्ती प्रसंस्करण पर ध्यान क्या जोड़ता है?
Key theories
- कनवोल्यूशन और भार साझाकरण
- कनवोल्यूशनल परतें सभी स्थितियों में एक ही छोटे फिल्टर को लागू करती हैं, जिससे पैरामीटर नाटकीय रूप से कम हो जाते हैं और अनुवाद समरूपता का निर्माण होता है ताकि एक स्थान पर सीखे गए फीचर्स हर जगह स्थानांतरित हो सकें।
- लॉन्ग शॉर्ट-टर्म मेमोरी
- लॉन्ग शॉर्ट-टर्म मेमोरी जैसी गेटेड आवर्ती इकाइयाँ एक संरक्षित मेमोरी सेल बनाए रखती हैं, जिससे आवर्ती नेटवर्क कई समय चरणों में निर्भरता सीख सकते हैं जो सादे आवर्ती नहीं कर सकते।
- अनुक्रमों पर ध्यान
- ध्यान तंत्र एक मॉडल को सीधे एक अनुक्रम की सभी स्थितियों से जानकारी का वजन और संयोजन करने देते हैं, लंबी दूरी के संबंधों को कैप्चर करते हैं और अत्यधिक समानांतर अनुक्रम प्रसंस्करण को सक्षम करते हैं।
Clinical relevance
कनवोल्यूशनल नेटवर्क ने कंप्यूटर विजन और मेडिकल इमेजिंग में क्रांति ला दी, जबकि अनुक्रम मॉडल ने भाषण पहचान और मशीन अनुवाद को शक्ति प्रदान की और, ध्यान के माध्यम से, आधुनिक प्राकृतिक भाषा प्रणालियों के पीछे बड़े भाषा मॉडल को; आर्किटेक्चर को डेटा संरचना से मिलाना अनुप्रयुक्त डीप लर्निंग में एक केंद्रीय डिजाइन सिद्धांत बना हुआ है।
History
कनवोल्यूशनल नेटवर्क फुकुशिमा के नियोकॉग्निट्रॉन और लेकुन के अंक पहचान पर काम से विकसित हुए, और बड़े पैमाने पर छवि वर्गीकरण पर उनकी 2012 की सफलता ने डीप-लर्निंग बूम को प्रज्वलित किया। 1997 में पेश की गई लॉन्ग शॉर्ट-टर्म मेमोरी ने अनुक्रमों के लिए लंबी दूरी की निर्भरता की समस्या को हल किया, और ध्यान तंत्र बाद में ट्रांसफार्मर मॉडल की नींव बन गए।
Key figures
- Yann LeCun
- Sepp Hochreiter
- Juergen Schmidhuber
- Kunihiko Fukushima
Related topics
Seminal works
- hochreiter1997
- lecun2015
- goodfellow2016
Frequently asked questions
- कनवोल्यूशनल नेटवर्क छवियों में इतने अच्छे क्यों होते हैं?
- छवियों में स्थानीय संरचना और पैटर्न होते हैं जो कहीं भी दिखाई दे सकते हैं। कनवोल्यूशन पूरी छवि में एक ही फिल्टर लागू करता है, इसलिए एक किनारे जैसी सुविधा जहाँ भी होती है, उसका पता लगाया जाता है, एक पूरी तरह से जुड़े हुए परत की तुलना में बहुत कम पैरामीटर का उपयोग करके और बेहतर सामान्यीकरण करता है।
- लॉन्ग शॉर्ट-टर्म मेमोरी किस समस्या का समाधान करती है?
- सादे आवर्ती नेटवर्क कई समय चरणों में फैली निर्भरताओं को सीखने के लिए संघर्ष करते हैं क्योंकि ग्रेडिएंट गायब हो जाते हैं। लॉन्ग शॉर्ट-टर्म मेमोरी एक गेटेड मेमोरी सेल पेश करती है जो लंबे अंतराल पर जानकारी को संरक्षित करती है, जिससे लंबी दूरी के अस्थायी पैटर्न सीखना संभव हो जाता है।