डीप लर्निंग: पार्ट 1 - परसेप्ट्रॉन, ANN, और फॉरवर्ड प्रोपगेशन

सो वेलकम टू द मोस्ट अवेटेड वीडियो एंड दैट इज डीप लर्निंग। फाइनली आ चुकी है। लेकिन एक बेस लाइन क्लियर करना चाहता हूं।

अगर आपने यह चार मशीन लर्निंग की वीडियो नहीं देखी है तो यह मत देखना क्योंकि डीप लर्निंग इज अ सबसेट ऑफ मशीन लर्निंग। तो

आपको मशीन लर्निंग आनी चाहिए। सेकंडली ये सिर्फ फर्स्ट पार्ट है डीप लर्निंग का। मतलब और दो पार्ट्स आएंगे। तो स्टे ट्यून

लेकिन यह पार्ट को ढंग से देखना क्योंकि यहां पे आपको बेसिक अंडरस्टैंडिंग मिलेगी अबाउट डीप लर्निंग। इस वीडियो में अपन ने

बहुत सारी चीजें कवर करी हैं। क्या होते हैं परसेप्टों्स? कैसे आप एएनएन यूज करते हो? किस तरीके से आपके लॉस फंक्शनंस वर्क

करते हैं? व्हाट आर एक्टिवेशन फंक्शनंस? क्या होते हैं ऑप्टिमाइज़र्स? सब कुछ क्लियर करा है और साथ में थोड़ी बहुत

मैथ्स भी लगेगी यहां पे। तो अगर आपको मैथ से डर लगता है तो घबराओ मत क्योंकि यहां पे अपन ने प्रोजेक्ट इंप्लीमेंटेशन भी

दिखाया है जिसमें आपको यह पता लग जाएगा कि कैसे सारी चीजों को साथ में एक प्रोजेक्ट बनाया जाता है या फिर कैसे एक डीप लर्निंग

का मॉडल बनाया जाता है। सो विदाउट वेस्टिंग मच टाइम लेट्स स्टार्ट दिस वीडियो। सो फर्स्ट ऑफ ऑल आई वुड लाइक टू

थैंक ऑल ऑफ यू टू शो मी सो मच लव एंड सपोर्ट ऑन मशीन लर्निंग वीडियोस। भाई मैं आज भी कमेंट्स पढ़ता हूं तो मुझे इतना मजा

आता है देख के। यू आर शोइंग सो मच लव। और इसी लव को बरकरार रखना भाई इस डीप लर्निंग की वीडियो पे। एंड दिस इज़ गोइंग टू बी द

फर्स्ट वीडियो। ऐसी दो वीडियोस बनाने वाला हूं। तो चलो ज्यादा टाइम वेस्ट नहीं करते हैं। स्टार्ट करते हैं डीप लर्निंग के

साथ। देखते हैं क्या-क्या चीजें पढ़ने वाले हैं और सब कुछ देखेंगे। ठीक है? एंड यू नो हाउ आई टीच। आपको पता है पहले एक

मैं कोर्ट दिखाता हूं। द कोर्ट इज वेयर ट्रेडिशनल लर्निंग एंड्स डीप लर्निंग बिगिंस। टर्निंग रॉ डेटा इंटू इंटेलिजेंस

एंड इंटेलिजेंस इंटू डिस्कवरीज। ठीक है? आप ये बोल सकते हो जो आपने मशीन लर्निंग पढ़ी थी ना उससे 10 गुना ज्यादा पावरफुल

होता है डीप लर्निंग। चलो देखेंगे कैसे सब कुछ। चलो अब कुछ प्रीरिक्विजिट्स बताना चाहता हूं। क्या-क्या रिक्व्विजिट्स हैं?

क्या-क्या आपको आना चाहिए? पहले डीप लर्निंग सीखने से पहले आपको ये सब चीजें आनी चाहिए। तो सबसे पहले तो यू मस्ट नो

लीनियर अलजेब्रा बिट। ठीक है? फिर आपको प्रोबेबिलिटी एंड स्टैटिस्टिक्स आना चाहिए। पाइthन आना चाहिए। ML बेसिक्स आना

चाहिए। लाइक रिग्रेशन, क्लासिफिकेशन, ओवर फिटिंग, अंडर फिटिंग और भी बहुत सारी चीज़। मतलब ML आपको लगभग-लगभग आना चाहिए। तो अब

यहां पे भैया मैं क्या-क्या पढ़ा चुका हूं? भैया मैंने प्रोबेबिलिटी स्टैट्स पढ़ा है। आप देख सकते हो। को पाइथन भी पढ़ा है, ML

बेसिक्स भी पढ़ा है। बस लीनियर अलजेब्रा नहीं पढ़ा है। इसको भी अपन पढ़ेंगे। एंड वन मोर थिंग एक और मैथ्स का कांसेप्ट होता

है। दैट इज़ कैलकुलस या फिर डेरिवेटिव्स निकालना। तो कैलकुलस की भी अगर आपको नॉलेज है, आपने जो 11 12th में पढ़ा है दैट्स

ओके। लेकिन अगर हो सके तो थोड़ी सी उसकी भी नॉलेज प्री नॉलेज ले लेना। और अगर ये सब चीज़ आपको आती है तो आपके लिए डीप लर्निंग

एकदम आसान बन जाएगा। ठीक है? चलो आगे बढ़ते हैं। सो फर्स्ट ऑफ़ ऑल द मेन क्वेश्चन इज़ जो अपन पढ़ने आए हैं। ये डीप लर्निंग आखिर

होता क्या है? बिफोर मूविंग फॉरवर्ड एंड सीइंग हाउ टू मेक प्रोजेक्ट्स फर्स्ट यू नीड टू नो व्हाट एक्चुअली इज डीप लर्निंग

आखिर क्या होता है डीप लर्निंग चलो समझते हैं विद अ वेरी वेरी सिंपल एग्जांपल बहुत ध्यान से समझना इमेजिन योर ब्रेन हैव

लॉट्स ऑफ टाइनी स्विचेस मतलब आपके ब्रेन के अंदर बहुत सारे ऐसे टाइनी स्विचेस हैं जिनको अपन बोलते हैं न्यूरॉन्स। ठीक है?

व्हेन यू सी अ कैट योर ब्रेन लुक एट मतलब आप एक बिल्ली को देखते हो तो आप कैसे डिटरमाइन करते हो कि भैया यह बिल्ली है ये

कुत्ता है ये घोड़ा है या फिर ये पिग है या फिर ये कुछ है मतलब आई गेस यू आर गेटिंग माय पॉइंट आप कैसे अपने ब्रेन को

ऐसे समझा लेते हो कि भाई ये अलग-अलग जानवर है तो इस चीज में आपका ब्रेन कैसे वर्क करता है समझो आप सबसे पहले किसी भी जानवर

के शेप्स को देखते हो उसके इयर के शेप्स को देखते हो ठीक है फिर आप देखते हो उसके विस्कर्स को विस्कर्स मतलब होता है जो

मूछे होती है ना बिल्लियों की वो देखते हो फिर आप उसके फर्क को देखते फिर आप उसके फेस को एनालाइज करते हो। एंड फाइनली फिर

आप उसके साउंड वाउंड को सुनते हो। जैसे उसने म्याओ बोला तो और आफ्टर सीइंग मेनी कैरेक्टरिस्टिक्स ऑफ योर कैट योर ब्रेन

गेट्स फुल्ली गेट गेट्स रियली गुड एट सेइंग दैट्स अ कैट। आई होप आपको समझ आ रहा होगा। ठीक है? तो आपके बहुत सारे टाइनी

स्विचेस होते हैं जिनको अपन न्यूरॉन्स बोलते हैं और वो एक्टिवेट होते हैं जैसे-जैसे आप किसी चीज को सीखते हो। आई

होप ये चीज समझ आई। ठीक है? डीप लर्निंग वर्क्स द सेम वे। इट बिल्ड्स लेयर्स ऑफ टाइनी स्विचेस जिसको अपन बोलते हैं

आर्टिफिशियल न्यूरॉन्स। मतलब एक तो ओरिजिनल न्यूरॉन्स है जो आपके ब्रेन में अपन क्या कर रहे हैं? आर्टिफिशियल

न्यूरॉन्स बना रहे हैं इंसाइड अ कंप्यूटर। ईच लेयर लर्न समथिंग। फर्स्ट लेयर ये सोचता है दिस लुक्स लाइक एन एज। सेकंड

लेयर बोलता है दिस लुक्स लाइक एन ईयर। फिर फाइनल लेयर बोलता है ओके इट्स अ कैट। तो आपके पास मल्टी लेयर स्ट्रक्चर होता है

जिसका अपन यूज़ करके सीखते हैं चीजें या फिर बनाते हैं चीजें। एंड दैट्स द कोर कांसेप्ट ऑफ़ डीप लर्निंग जिसमें अपन

न्यूरल नेटवर्क्स का यूज़ करेंगे या फिर आप बोल सकते हो आर्टिफिशियल न्यूरॉन्स का यूज़ करेंगे। सब समझेंगे कैसे बनता है क्या

होती है हिडन लेयर क्या होता है आउटपुट लेयर क्या होती है इनपुट लेयर कैसे हिडन लेयर वर्क करती है एक्टिवेशन फंक्शनंस

क्या होते हैं क्या-क्या चीजें होती हैं फॉरवर्ड प्रोपगेशन क्या होता है बैकवर्ड प्रोपगेशन होता है सब सीखेंगे लेकिन उससे

पहले कुछ और सवालों के जवाब फिर उसके बाद आगे बढ़ेंगे चलो इमेजिन यू हैव अ रोबोट टीचर ठीक है वापस एक सिंपल सा एग्जांपल दे

रहा हूं यू गिव इट योर मैथ्स होमवर्क एट फर्स्ट इज़ एट फर्स्ट इट गेसेस रैंडमली ठीक है लॉट्स ऑफ़ मिस्टेक दिस इज़ फॉरवर्ड

प्रोपगेशन एक बार में उसने गलत करा फिर ए्री टाइम इट्स रोंग यू से नो दैट्स रोंग द आंसर शुड बी 10 नॉट एट अपन उसको बताते

हैं सही-सही आंसर्स। द रोबोट टीचर फिक्सेस इट थिंकिंग से या फिर आप बोल सकते हो अपने स्विचेस जो है न्यूरॉन्स को फिक्स करता है

लिटिल बाय लिटिल एंड आफ्टर मेनी ट्राइ इट लर्न्स टू गेट मोस्ट आंसर करेक्ट। दैट्स डीप लर्निंग। लर्निंग फ्रॉम मिस्टेक अंटिल

इट गेट्स रियली गुड। देखेंगे कैसे मिस्टेक से अपन रन करवाते लर्न करवाते हैं डीप लर्निंग में। एंड डोंट गेट कंफ्यूज्ड विद

रीइंफोर्समेंट लर्निंग। रीइंफोर्समेंट लर्निंग इज़ डिफरेंट। डीप लर्निंग इज़ डिफरेंट। ठीक है? चलो देखेंगे। नाउ द

क्वेश्चन इज़ व्हाट इज द डिफरेंस बिटवीन मशीन लर्निंग एंड डीप लर्निंग? क्योंकि भैया मुझे पता है देयर इज सम लर्निंग वर्ड

दैट इज कॉमन। लेकिन मशीन और डीप इन दोनों को क्यों मतलब यूज़ किया है? व्हाट्स द बेस कांसेप्ट ऑफ़ डीप लर्निंग? क्यों मशीन

लर्निंग से डिफरेंट होता है? चलो देखते हैं। इट्स अ वेरी सिंपल थिंग। मशीन लर्निंग इज़ लाइक टीचिंग अ किड विद रूल्स

एंड हिंट्स। एग्जांपल यू वांट अ किड टू रिकॉग्नाइज़ फ्रूट। आप किसी किड को बोलना चाहते हो यार दिस इज़ अ फ्रूट। तो आप क्या

करते हो? एप्पल्स आर यूजुअली रेड, राउंड एंड स्वीट्स। बनानाज़ आर येलो एंड लॉन्ग। मतलब आपने स्किड को बता दिया कि भाई अगर

आपको लाल चीज दिखेगी, राउंड दिखेगी और जो स्वीट होगी वो क्या हो जाएगा? एप्पल हो जाएगा। येलो होगा, लंबा होगा वो क्या हो

जाएगा? बनाना हो जाएगा। द किड यूजज़ दोज़ गिवन रूल्स टू गेस। मतलब आप रूल्स डिफाइन करते हो और उन रूल्स को देख के किड समझता

है। यही तो करते थे। लीनियर रिग्रेशन, लॉजिस्टिक रिग्रेशन जितने भी अपन ने मशीन लर्निंग में एल्गोरिथम्स पढ़े थे, उन सब

में अपन पैराटर्स देते थे डिफरेंट-डिफरेंट। और उसके बेसिस पे अपन पूरा डेटा देते थे और वो समझ जाता था। ठीक

है? सो इन एमएल वी गिव द कंप्यूटर डेटा प्लस फीचर्स। फीचर्स भी दे देते थे या फिर हिंट्स दे देते एंड इट लर्न्स पैटर्न।

इतना सिंपल था। इन शॉर्ट एमएल इक्वल्स टू लर्निंग विद गाइडेंस फीचर्स आर हैंड मेड बाय यूज़ बाय अस। ठीक है? अब बात करते हैं

डीप लर्निंग की। डीप लर्निंग इज़ लाइक गिविंग अ किड अ लॉट्स ऑफ़ फ्रूट्स विदाउट टेलिंग द रूल्स। यू जस्ट से हियर इज़

10,000 एप्पल एंड 10,000 बनानाज़। फिगर इट आउट योरसेल्फ। द किड्स ब्रेन नोटिस फर्स्ट लेयर, ओह, रेड एंड राउंड ऑफन गो टुगेदर।

नेक्स्ट लेयर ओह येलो एंड लॉन्ग ओपन गो टुगेदर क्योंकि भैया डिस्टिंशन क्लासिफिकेशन करना है। इवेंचुअली द किड

कैन से दैट्स एन एप्पल विदाउट यू इवन टेलिंग द रूल्स। मतलब जैसे मैंने पहले रूल्स बताए थे ना कि भैया रेड होना चाहिए,

राउंड होना चाहिए, स्वीट ये सब कुछ नहीं बताया। लेकिन ये खुद से सीख लिया। इन श्योर डीप लर्निंग इज इक्वल्स टू लर्निंग

द रूल्स बाय इटसेल्फ। नो हैंड मेड फीचर। वी डोंट गिव एनी फीचर टू आवर प्रोजेक्ट। समझेंगे सब चीज़ समझेंगे आगे। और जब अपन

इसका प्रोजेक्ट प्रोजेक्ट बनाएंगे, तो और अच्छे से समझ आ जाएगा। लेट्स मूव फॉरवर्ड। ठीक है? सो एमएल वी

चूज़ द फीचर्स। मॉडल लर्न्स द रूल्स। ठीक है? मॉडल लर्न्स बोथ द फीचर्स एंड द रूल्स खुद से। ठीक है? दैट्स डीप लर्निंग। तो

दिस इज़ द मेन डिफरेंस। चलो अब आगे बढ़ते हैं कि व्हाई डीप लर्निंग इज़ पॉपुलर नाउ? अगर आप देखोगे डीप लर्निंग गेट वेरी गेट्स

वेरी पॉपुलर आफ्टर 2010। उसके पहले यूजुअली आप देखना सिर्फ मशीन लर्निंग ही लोग पढ़ना चाहते थे और मशीन लर्निंग ही

चलती थी। तो अब समझते हैं क्या हुआ। सबसे पहला जो की रीज़न है वो है डेटा एक्सप्लोज़। इन द पास्ट वी डिडंट हैव इनफ डेटा फॉर डीप

नेटवर्क्स टू बी यूज़फुल। नाउ वी हैव मैसिव अमाउंट्स ऑफ डेटा। इमेजेस Instagram, YouTube पे आपको मिल जाएंगी भर-भर के।

टेक्स्ट है, सोशल मीडिया बुक्स, आर्टिकल्स, स्पीचेस हैं, कॉल्स हैं, पडकास्ट हैं। हर जगह पे आपको मैसिव अमाउंट

ऑफ डेटा मिलेगा। ठीक है? डीप लर्निंग थ्राइ्स ऑन बिग डेटा। और जो डीप लर्निंग है वो बिग डेटा पे ही वर्क करता है। द मोर

इट गेट्स, द स्मार्टर इट बिकम्स। तो डीप लर्निंग इसलिए थोड़ा ज्यादा पॉपुलर है। सबसे पहला रीज़न था डेटा एक्सप्लोज़। सेकंड

रीज़न हार्डवेयर पावर। ऑब्वियसली जीपीयूस एंड टीपीस बहुत ज्यादा तेज हो रहे हैं। ट्रेनिंग डीप नेटवर्क्स नीड्स अ लॉट ऑफ

कैलकुलेशन या फिर आप बोल सकते हो मैट्रिक्स मैनपुलेशंस चाहिए जब आप न्यूरल नेटवर्क्स क्रिएट करते हो। अर्लियर

कंप्यूटरटर्स वर टू स्लो। टुडे जीपीयूस एंड टीपीयूस कैन ट्रेन ह्यूज मॉडल्स इन आवर्स नॉट इयर्स। ठीक है? एग्जांपल विदाउट

जीपीयू ट्रेनिंग समथिंग लाइक जीपीटी और इमेज रिकॉग्निशन जो अभी आप देखते हो ना चैट जीपीटी चलता है वुड टेक डिकेड्स।

डिकेड्स मतलब साल 10 साल से ऊपर लग जाता। लेकिन अब इतना आसानी से हो जाता है क्योंकि अपने पास जीपीयूस एंड टीपीयूस है।

ठीक है? थर्ड ऑटोमेटिक फीचर लर्निंग एंड बाय द वे डीप लर्निंग का कांसेप्ट यहीं पे शुरू हो

रहा है। मतलब आप जो जीपीयूस बनाते हो जीपीयूस बोल रहा हूं जो आप चैट जीबीटी यूज़ कर रहे हो ये जो जेमिनाई यूज़ कर रहे हो इन

सभी के पीछे कहीं ना कहीं डीप लर्निंग लगी है। दैट्स द मेन इशू दैट्स नॉट द मेन इशू दैट्स द मेन पावर ऑफ़ डीप लर्निंग। ठीक है?

अब बात करते हैं ऑटोमेटिक फीचर लर्निंग। इन मशीन लर्निंग वी हैड टू मैनुअली चूज़ फीचर्स लाइक लेंथ ऑफ ईमेल टू डिटेक्ट

स्पैम। जैसे कोई से एक बहुत बड़ा सा मैसेज आया और उसको आपको बोलना है यार स्पैम है। तो अगर लेंथ ऑफ़ ईमेल बहुत ही छोटी सी या

फिर बहुत ही बड़ी तो अपन बोल सकते हैं इससे स्पैम। तो ये खुद से अपन फीचर सेट करते थे। लेकिन नहीं डीप लर्निंग लर्न्स फीचर

ऑटोमेटिकली फ्रॉम रॉ पिक्सल्स, रॉ टेक्स्ट, रॉ साउंड्स हर जगह पे वर्क करता है। ठीक है? दिस मेक्स इट पावरफुल फॉर

अनस्ट्रक्चरर्ड डेटा, इमेजज़, वीडियोस, ऑडियोज़, टेक्स्ट। क्योंकि अपने को पता नहीं ना यार टेक्स्ट की लेंथ कितनी होगी,

वीडियो की लेंथ कितनी होगी, इमेजज़ की लेंथ कितनी होगी? तो ये सब चीजों पे अपने को खुद से कोई इनपुट फीचर्स देने की जरूरत

नहीं है। डीप लर्निंग खुद से काम कर लेगा। सो दैट्स व्हाई इट इज वेरी पॉपुलर एंड वेरी पावरफुल साथ में। चलो और फिर उसके

बाद आता है भैया फोर्थ पॉइंट एंड दैट इज द मेजर पॉइंट दैट इज बेटर परफॉर्मेंस। डीप लर्निंग मॉडल्स कंसिस्टेंटली बीट

ट्रेडिशनल एमएल मॉडल्स इन एक्यूरेसी फॉर टास्क लाइक इमेज रिकॉग्निशन, स्पीच रिकॉग्निशन, नेचुरल लैंग्वेज प्रोसेसिंग।

एनएलपी की जो मैंने पिछली वीडियो डाली थी उसमें मैंने स्पेसिफिकली बोला था दिस वीडियो इज़ रिलेटेड टू मशीन लर्निंग। लेकिन

अब जब आप ये पूरा पढ़ लोगे डीप लर्निंग तो नेक्स्ट वीडियो जो आएगी वो एनएलपी रिलेटेड टू डीप लर्निंग की मैं लेके आऊंगा। ठीक

है? तो कहीं ना कहीं डीप लर्निंग बहुत अच्छा परफॉर्म करती है मशीन लर्निंग से। Google ट्रांसलेट बिकम मच बेटर आफ्टर

स्विचिंग फ्रॉम एमएल टू डीप लर्निंग। चलो आगे बढ़ते हैं। द फिफ्थ फिफ्थ पॉइंट इज़ वर्सटालिटी अक्रॉस डोमेन। नाउ वर्क ऑन

ऑलमोस्ट एव्री टाइप ऑफ डेटा। भैया आपको टेक्स्ट पे करना है, इमेजज़ पे करना है, ऑडियो पे करना है, टाइम सीरीज डेटा पे

करना है। सब पे आप डीप लर्निंग का यूज़ कर सकते हो। डीप नेटवर्क्स, आईडिया, पावर, सेल्फ ड्राइविंग कार्स, चैट जीपीटी, फेस

रिकॉग्निशन, Netflix रिकमेंडेशन, मेडिकल इमेज एनालिसिस सब की सब जगहों पे डीप लर्निंग ही अप्लाई हो रहा है। तो डीप

लर्निंग इज द नेक्स्ट बिग थिंग जो आपको सीखनी है। नॉट द नेक्स्ट बिग थिंग ये एक बिग थिंग है जिससे अभी और नेक्स्ट बिग

थिंग्स बन रही हैं। तो डीप लर्निंग इज़ वेरीेंट। चलो। एंड द सिक्स्थ थिंग क्यों इतना पॉपुलर है? दैट इज़ रिसर्च ब्रेक

थ्रू। इनोवेशंस लाइक सीएनएस, आरएनएस, एल एलएसटीएम्स, ट्रांसफॉर्मर्स। ट्रांसफॉर्मर्स मतलब जो जीपीटी है गेंस हो

गया मेड डीप लर्निंग सुपर फ्लेक्सिबल ईच ब्रेक थ्रू सॉल्वड अ मेजर लिमिटेशन एंड ओपन न्यू एप्लीकेशन आज की तारीख में चैट

जीपीटी नहीं बन पाता अगर डीप लर्निंग नहीं होता तो कहीं ना कहीं काफी सारे रिसर्च ब्रेक थ्रूज़ हो रहे हैं किसकी वजह से डीप

लर्निंग की वजह से दैट्स व्हाई इट इज़ वेरी पॉपुलर नाउ डज़। चलो अब समझते हैं क्या-क्या पढ़ने वाले हैं इन दिस वीडियो।

ठीक है? सबसे पहले तो अपन फाउंडेशंस पढ़ेंगे। दिखा दूंगा क्या पढ़ेंगे फाउंडेशंस के अंदर। आई विल शो यू। फिर उसके बाद कोर

मैकेनिक्स पढ़ेंगे कैसे वर्क करता है। ठीक है? फिर अपन देखेंगे ट्रेनिंग चैलेंजेस। थोड़े बहुत चैलेंजेस अ बहुत सारी चीजें

होंगी। ठीक है? अभी अगर मैंने बता दिया तो आपको समझ नहीं आएंगे। 10 20 वर्ड फेंक दूंगा मैं आपके सामने। फिर अपन लोग फाइनली

सीएनएस पढ़ेंगे। कम्युनिकेशनल न्यूरल नेटवर्क्स। एंड बाय द वे ये जो तीन चीजें हैं फज़ वन, फज़ टू, फज़ थ्री। दिस इज़ फॉर

एएनएन आर्टिफिशियल न्यूरल नेटवर्क। सब समझेंगे क्योंकि अब यहां से मैं आपका मेन चीज शुरुआत कर करवाने वाला हूं। ठीक है?

एंड दैट्स अ बाय-बाय नोट। खत्म हो गई क्या वीडियो? नहीं भैया। आई वोंट यूज़ स्लाइड टू टीच डीप लर्निंग बिकॉज़ स्लाइड्स लुक

परफेक्ट बट लर्निंग इज नेवर परफेक्ट। ठीक है? इंस्टेड आई विल मेक द ड्राइंग्स एंड नोट्स माय सेल्फ लिव विद यू। सो यू कैन सी

द प्रोसेस नॉट जस्ट द रिजल्ट। दैट्स द मोस्ट ऑनेस्ट वे आई कैन टीच यू दिस सब्जेक्ट। और उसके लिए अपने को क्या खोलना

पड़ेगा? आई गेस आपको पता है वी हैव टू ओपन गुड नोट्स। और चलो चलते हैं गुड नोट्स पर। और वहां पे मैं समझाता हूं एक बहुत ही

बेसिक सा स्ट्रक्चर ऑफ योर परसेप्टन। किसका? परसेप्टन का। समझ नहीं आ रहा भैया? क्या बोल दिया? ओमेगाट्रॉन, परसेप्ट्रॉन

ये सब क्या है? सब समझाऊंगा। व्हाट इज़ परसेप्ट्रॉन? चलो चलते हैं गुड नोट्स पे। लेट्स गो। सो नाउ लेट्स स्टार्ट विद द

फर्स्ट टॉपिक एंड दैट इज़ परसेप्टन एंड आई एम ऑन माय ट्रस्टेड गुड नोट्स। यहां पे मैं अच्छे से आपको सब बता सकता हूं। लेकिन

यहां से अब आपको एक और चीज चालू करनी है। अपना कॉपी पेन लेके बैठना है एंड स्टार्ट मेकिंग सम गुड नोट्स। दैट्स व्हाट वी

वांट। ठीक है? दैट्स व्हाट आई वांट एंड आल्सो यू वांट। ठीक है? तो यहां पे भैया अब सबसे पहला टॉपिक पढ़ेंगे परसेप्टों। अब

नाम सुन के ये लग रहा होगा कि भैया कुछ अलग होने वाला है। बहुत खतरनाक होने वाला है। लेकिन टेंशन मत लो। बहुत बेस एग्जांपल

से लेके समझाऊंगा जिससे सब समझ आएगा। ठीक है? सो फर्स्ट ऑफ़ ऑल लेट्स टॉक अबाउट एक्चुअली व्हाट इज़ परसेप्टों। तो

परसेप्ट्रॉन इज़ द सिंपलेस्ट टाइप ऑफ़ आर्टिफिशियल न्यूरॉन। ठीक है? जो न्यूरॉन होता है ना अपने ब्रेन में वैसे ही एक

न्यूरॉन बनाने का ट्राई किया था आर्टिफिशियली। और जो सबसे पहला बना था उसको अपन लोग परसेप्टन बोलते हैं।

इंट्रोड्यूस्ड बाय फ्रैंक रोज़नब्ट इन 1958। आई होप ये चीज़ समझ आई। ठीक है? इज़ अ फाउंडेशन ऑफ न्यूरल नेटवर्क एंड डीप

लर्निंग। मतलब डीप लर्निंग और न्यूरल नेटवर्क का फाउंडेशन परसेप्टन से ही बना था। इट ममिक्स हाउस ऑफ़ हाउ अ बायोलॉजिकल

न्यूरॉन वर्क्स टेकिंग इनपुट प्रोसेसिंग देम एंड गिविंग एन आउटपुट। आई होप ये चीज समझ आई होगी कि व्हाट एक्चुअली इज़

परसेप्ट। ठीक है? लेकिन अब इसका यूज़ केस कैसे हुआ? कैसे बना? इसके पीछे क्या मैथ्स लगी? एंड एवरीथिंग विल बी कवर्ड हियर। अब

देखो बहुत ध्यान से। अब यहां पे मैं ना सबसे पहले एक मशीन लर्निंग की एल्गोरिथम की बात करना चाहता हूं। एंड दैट इज़

लॉजिस्टिक रिग्रेशन। आई होप आपको याद होगी लॉजिस्टिक रिग्रेशन क्या होता है। ठीक है? तो जल्दी से एक बार लॉजिस्टिक रिग्रेशन को

देखते हैं कि क्या थी और फिर उसी जो भी प्रॉब्लम स्टेटमेंट लिया था लॉजिस्टिक रिग्रेशन में उसको अप्लाई करते हैं

परसेप्टन का यूज करके और देखते हैं कैसे एक न्यूरल नेटवर्क बना था। तो अब देखते हैं बहुत ध्यान से। तो सबसे पहले तो लेट्स

स्टार्ट विद अ बेसिक डेटा टेबल। ठीक है? तो आई एम गोइंग टू क्रिएट अ टेबल। आप अपने नोट्स बनाते रहना। डोंट गो ऑन माय

हैंडराइटिंग। थोड़ी बहुत आड़ी-ढ़ी हो सकती है। ठीक है? तो टेबल में सबसे पहले तो भैया मैं लूंगा एक चीज़ एंड दैट इज़ एज। ऐज

के बाद मैं लूंगा कोलेस्ट्रॉल लेवल। सी एच ओ एल ई एस टी आर ओ एल कोलेस्ट्रॉल। बाय द वे इसका एक प्रोजेक्ट भी बनाया था अपन ने।

दैट इज़ हार्ट डिजीज प्रेडिक्शन। ठीक है? एज हो गया, कोलेस्ट्रॉल लेवल हो गया, बीपी हो गया, बीपी भी आता रहता है लोगों का ऊपर

नीचे बीपी हो जाता है। और उसके बाद मैं फाइनली चीज लिख देता हूं हार्ट डिजीज। सब समझ आएगा कैसे परसेप्टन वर्क कर रहे

हैं। ठीक है? तो भैया मेरे पास कितने कॉलम्स हो गए भैया? आई हैव थ्री नहीं फोर कॉलम्स, थ्री इनपुट कॉलम्स एंड वन आउटपुट

कॉलम। क्यों भैया? क्योंकि अपन लोगों को एक आउटपुट प्रोवाइड करना था। सो दिस हार्ट डिजीज इज़ दी आउटपुट कॉलम। इट्स वेरी

सिंपल। तो मान लेते हैं भैया वी हैव सम वैल्यूज़ लाइक 28 मान लिया 36 ठीक है? 42 रैंडम एज वैल्यूज़ होंगी। कोलेस्ट्रॉल अब

इन लोगों का इनके हिसाब से दे देते हैं। 150 हो गया। लेट्स से 120 हो गया। 180 हो गया। 180 थोड़ा ज्यादा हो जाएगा। तो इसको

तो हार्ट डिजीज देना ही पड़ेगा। ठीक है? बीपी हो गया। व्हाई व्हाट? सैडेस्ट आई एम। ठीक है? बीपी 110 हो गया, 90 हो गया। और

फिर लेट्स से भैया बीपी इसका 160 हो गया। तो यहां पे अपने पास हार्ड डिजीज आ गए 1001 और ऐसे भैया मल्टीपल डेटा पॉइंट्स

हैं। ठीक है? सो दिस इज़ द डेटा। अब अपने को करना क्या है? व्हाट वी एक्चुअली हैव टू डू इज़ इसका यूज़ करके एक लॉजिस्टिक

रिग्रेशन का पूरा वो बनाना है। तो अब हाउ डू यू कैन डू इज़? तो भैया स्टेप वन इज़ वेरी सिंपल। आई गेस आपको पता होगा स्टेप

वन क्या है? द फार्मूला y = mx + b मैं बोल रहा हूं आपको मेरी मशीन लर्निंग की वीडियो देखनी पड़ेगी। इफ यू एक्चुअली वांट

टू अंडरस्टैंड इट। इसको अपन लोग ऐसा भी लिखते हैं। h थीटा x = θ0 + θ1 x1 वेयर θ0 इज़ रिप्रेजेंटिंग b एंड θ1 x1 इज़

रिप्रेजेंटिंग m * x इट्स वेरी सिंपल। ठीक है? सो दिस वाज़ द फार्मूला। और ये फ़ूले से क्या होता था? एक लीनियर लाइन या फिर एक

स्ट्रेट लाइन क्रिएट हो जाती थी। सो इफ आई वांट टू क्रिएट अ लीनियर लाइन या फिर स्ट्रेट लाइन तो इसमें मेरे को मल्टीपल

इनपुट्स हैं। एक एज है, एक कोलेस्ट्रॉल है, एक बीपी है। सो थ्री इनपुट्स एंड वन आउटपुट। ए यू टी, पी यूटी आउटपुट। मतलब

मेरे को हार्ट डिजीज को ही प्रिडिक्ट करना है। तो दैट्स दी आउटपुट। और ये तीनों क्या हो गए? इनपुट। तो टेक्निकली देखा जाए तो

इसका अगर मैं एक फार्मूला बनाता हूं h थीटा ऑफ़ x = θ0 + θ1 x1 + θ2 x2 + θ3 x3 और ये क्या है भैया? ये आपके मल्टीपल डेटा

पॉइंट्स हैं। मतलब भैया एक हो गया एज x1 कोलेस्ट्रॉल हो गया x2 और बीपी हो गया x3 और θ1 θ2 θ3 कुछ वैल्यू्यूज हैं जो अपन

खुद से डिसाइड करते हैं। भैया कैसे डिसाइड करते हैं इन वैल्यूज़ को? इन वैल्यू्यूज को डिसाइड करने के लिए आपको क्या करना पड़ता

है? एक सिग्मॉयड एक्टिवेशन फंक्शन। चलो सिग्माइड एक्टिवेशन फंक्शन तो बाद में लगाएंगे। लेकिन अगर मैंने क्या किया? इन

वैल्यूस का यूज़ कर दिया तो हाउ आर लाइन विल बी लुकिंग लाइक। ठीक है? देखना बहुत ध्यान से। व्हाट आई एम गोइंग टू डू इज़ मैं

ये सारे ही पॉइंट्स को प्लॉट कर दूंगा और ये वाले फॉर्मूले के साथ अगर मैं प्लॉट करूंगा तो मेरी लाइन कुछ ऐसी दिखेगी।

ठीक है? सो लेट्स डू दिस। तो मेरी लाइन एकदम बिल्कुल कैसी दिख जाएगी? सीधी बन जाएगी विद दिस फार्मूला। इट्स वेरी सिंपल।

आई होप ये चीज समझ आई होगी। ठीक है? ये इतना बड़ा कैसे हो गया लाइन को यहां पे आंसर? ठीक है? सो विद दिस फार्मूला द लाइन

विल बी स्ट्रेट। लेकिन अब मैं क्या करूंगा? इसमें एक एक्टिवेशन फंक्शन लगाऊंगा। एंड दैट इज़ सिग्मॉयड एक्टिवेशन

फंक्शन। तो स्टेप वन के बाद मैंने क्या किया? स्टेप टू अप्लाई किया। स्टेप टू। मैं पहले ही बता रहा हूं। इफ यू

आर हियर लर्निंग डीप लर्निंग विदाउट मशीन लर्निंग तो नहीं हो पाएगा। सो दीज़ आर द कॉनंसेप्ट्स ऑफ मशीन लर्निंग और ये आपको

पहले से आते आने चाहिए। ठीक है? तो यहां पे बस मैं एक क्विक रिवीज़ दे रहा हूं। फिर स्टेप टू क्या करता था मैं? सिग्मोइड

एक्टिवेशन फंक्शन लगाता था। सिग्मोइड एक्टिवेशन फंक्शन लगाया। और फिर सिग्मोइड एक्टिवेशन फंक्शन कुछ ऐसा दिखता

था। 1 / 1 + e ^ -z वेयर व्हाट इज़ दिस? z = θ0 + θ1 x1 फिर ऐसे ही + θ 2 x2 एंड + θ3 x3 इट्स वेरी सिंपल और जब भैया मैं ये

सिग्माइड एक्टिवेशन फंक्शन बनाता था तो इसकी वजह से क्या होता था आपका जो ग्राफ है द ग्राफ विल बी लाइक दिस राइट वेयर इज़

द ग्राफ ये लो भैया तो जो आपका सीधा एक ग्राफ बनता था एक सेकंड अरे अरे अरे बाप रे लेट मी जस्ट ज़ूम इन अ बिट देयर यू गो

तो थोड़ा थोड़ा सा नीचे ले जाता हूं। तो अब जो आपका ग्राफ बनता था सिग्मॉयड एक्टिवेशन फंक्शन की वजह से स्क्वाश हो जाता था और

स्क्वाश कुछ ऐसा दिखने लगता था। ठीक है? सो दिस वाज़ द ग्राफ आफ्टर डूइंग द सिगॉइड एक्टिवेशन फंक्शन। तो ये वाली चीजें अपने

को ऑलरेडी पता थी। ठीक है? फिर अब क्या हुआ भैया? मेरे को भाई ये थीटा1 थीटा2 की वैल्यू मिल गई। सब कुछ हो गया। सिग्माइड

एक्टिवेशन फंक्शन भी लगा दिया। फाइनल भी हो गया सब। अब इसके बाद मेरा क्या रिजल्ट आता था? कुछ ना कुछ रिजल्ट आता था। फिर अब

मुझे परफेक्ट रिजल्ट जाने के लिए मैं एक लॉग लॉस फंक्शन अप्लाई करता था। ये सारी चीजें पढ़ाई है मैंने मशीन लर्निंग की

सीरीज में। तो पहले ही बता रहा हूं आपको आनी चाहिए। फिर क्या करते थे? स्टेप थ्री रहता था भैया लॉग लॉस। लॉग लॉस लगाता था

या फिर मैं और बाइनरी क्रॉस एंट्रॉपी लगा सकता था। एंड देयर आर मल्टीपल ऐसे लॉग लॉस फंक्शनंस। ठीक है?

तो लॉग लॉस फंक्शन अप्लाई करता था और मैं क्या फाइंड करता था? लॉस फाइंड करता था। ठीक है? और जैसे ही मैं लॉ लॉस फाइंड करने

लग जाता था, तो लॉस फाइंड करने के बाद मुझे पता लगता था कौन से वैल्यू्यूज पे क्या-क्या लॉस आ रहा है। फॉर एग्जांपल

मैंने मान लो θ1, थीटा2 और थीटा 3 की डिफरेंट-डिफरेंट वैल्यूज़ रखी। उसमें कुछ लॉस मिल रहा है। तो मुझे ऑब्वियसली भैया

वो लॉस को रिड्यूस करना पड़ेगा। और रिड्यूस करने के लिए मैं क्या यूज़ कर सकता था? ग्रेडियंट डिसेंट यूज़ करता था। सो ये जो

ग्रेडियंट डिसेंट है, फिर मैं क्या करता था? स्टेप फॉर ऑप्टिमाइजर लगाता था। व्हाट आई यूज़्ड?

ऑप्टिमाइजर। और ऑप्टिमाइजर क्या करता था? आपके लॉस को कम कर दिया करता था। कैसे करता था? आई यूज़्ड वन कर्व एंड दैट इज़

ग्रेडियंट डिसेंट। मान लो भाई अभी आपके पास बहुत ही सिंपल ऑप्टिमाइजर। ठीक है? लेट्स से आपके पास थीटा ज़ीरो मतलब

सिर्फ दो वैल्यूज़ हैं। कितनी वैल्यूज़ हैं? दो इनपुट्स हैं। मतलब एक इनपुट है। अ दो इनपुट्स हैं और एक आउटपुट है। या फिर आप

बोल सकते हो सिर्फ ऐज है और ऐज से हार्ट डिजीज प्रेडिक्ट करना। सो यू हैव वन इनपुट एंड वन आउटपुट वैल्यू। तो आपके पास क्या

फार्मूला बन जाता? θ0 + θ1 x1 अच्छा क्यों बनता है θ0 + θ1 x1 क्योंकि सिर्फ एक इनपुट है मेरे पास और वो एक इनपुट क्या

होगा x1 होगा तो अपने को x2 x3 x4 तक नहीं जाना और मान लो भैया मैंने θ0 की वैल्यू ज़ीरो रख दी है और ये सेट है अब इसको अपन

चेंज नहीं करेंगे फिर भैया मतलब मेरे को θ1 की डिफरेंट-डिफरेंट वैल्यूज़ देखनी पड़ेगी एग्जैक्टली तो θ1 की

डिफरेंट-डिफरेंट वैल्यूज़ देखते थे log लॉस देखते थे और जैसे-जैसे log लॉस आता जाता था अपन उसको कम करते जाते थे और कम करने

में अपन लोग सबसे एक लोएस्ट पॉइंट ढूंढते थे एंड दैट पॉइंट इज़ इज़ नोन एज ग्लोबल मिनीमा पॉइंट। सो दीज़ आर द बेसिक थिंग्स

दैट वी लर्नड इन व्हाट मशीन लर्निंग। अगर याद नहीं आ रही है तो वापस से देख लो। एंड दिस इज़ व्हाट वी डिड। बहुत सिंपल है। अब

हुआ क्या? यही सेम चीज को यही यही सारी चीजें लगाना। जैसे अपन लोगों ने पहले फार्मूला लगाया। स्ट्रेट लाइन बनाई। फिर

स्क्वाश किया। सिग्मोइड एक्टिवेशन फंक्शन लगा के। फिर अपन ने लॉग लॉस फंक्शन से लॉस फाइंड किया। फिर लॉस फाइंड करने के बाद

मुझे भैया कम लॉस चाहिए था। तो मैंने ऑप्टिमाइजर यूज़ किया। एंड दैट ऑप्टिमाइजर वाज़ ग्रेडियंट डिसेंट। एंड आफ्टर यूजिंग द

ग्रेडियंट डिसेंड मेरा लॉस में जो ग्लोबल मिनीमा पॉइंट था एंड दिस पॉइंट वाज़ नोन एज ग्लोबल मिनीमा इस पॉइंट तक मैं पहुंच गया।

एंड फाइनली मेरे पास जो थीटा वन की जो वैल्यू थी वो परफेक्टली मेरे को मैचिंग में मिल गई। मतलब सबसे कम लॉस वाली वैल्यू

मिल गई। अब यही चीज भैया और ये कम करने के लिए अपने को लर्निंग रेट अप्लाई करना पड़ता था। सब चीजें पड़ी हुई है। अब किसी

ने बोला जो अपने फ्रैंकलिन रोजवेट जो भी आदमी थे उन्होंने बोला कि क्यों ना इस चीज को अपन न्यूरल नेटवर्क से करने का ट्राई

करें। सो जस्ट वेट वन सेकंड। नहीं पता नहीं कि माइक ही टूट गया है। सो व्हेन वी थॉट अबाउट न्यूरल नेटवर्क तो मतलब भैया

मैं क्या करूंगा? अपने इनपुट न्यूरॉन्स बनाऊंगा और एक आउटपुट न्यूरॉन बनाऊंगा। एंड दिस वाज़ द कोर कांसेप्ट ऑफ़ परसेप्टन।

मतलब अब बहुत ध्यान से देखना। वी डिड ऑल ऑफ दिस ऑल ऑफ दिस यूजिंग

परसेप्टन। देखना बस अब कैसे तो यूजिंग परसेप्टन सबसे पहले तो सामने वाले ने बोला कि लेट्स

क्रिएट थ्री इनपुट्स। ठीक है? क्या करें? लेट्स क्रिएट थ्री इनपुट लेयर्स। तो इनपुट लेयर्स क्रिएट करने के लिए सबसे पहले ये

मान लो ये एक इनपुट लेयर बनाया। ठीक है? फिर बनाया दूसरा इनपुट लेयर और फिर बनाया अपन ने तीसरा इनपुट लेयर। ठीक है? अब ये

जो तीन इनपुट्स लेयर बनाए, दिस इज़ इनपुट वन। यहां पे मैं कलर चेंज कर लेता हूं। दिस इज़ लेट्स से। अरे वाइट हुआ ही नहीं।

जस्ट वेट वन सेकंड। देयर यू गो। लेट्स से दिस इज x1 दिस वाज़ x2 एंड दिस वाज़ x3 इट्स वेरी सिंपल। ठीक है? और फिर

इसके बाद मैंने बनाया एक आउटपुट न्यूरॉन। क्या बनाया एक आउटपुट न्यूरॉन। तो भैया एक हो गया इनपुट न्यूरॉन और एक हो गया आउटपुट

न्यूरॉन। बहुत ही सिंपल भैया। ये तो भैया आसान है। हां बिल्कुल आसान है। यही चीज तो परसेप्टन से। सो दिस वाज़ द बेस कांसेप्ट

ऑफ़ परसेप्टन। मतलब अब जो आप ये पूरा मैथमेटिकल चीजें कर रहे थे। ऑब्वियसली मैथ्स लगेगी न्यूरल नेटवर्क में भी। लेकिन

ये जो सिग्माइड एक्टिवेशन फंक्शन था ये जो आपने y = mx + b करा ये सब चीजें अप्लाई करो लेकिन अब कहां पे करो आप न्यूरल

न्यूरल नेटवर्क में करो तो न्यूरल नेटवर्क में अपन ने तीन इनपुट्स लेयर बनाए और एक आउटपुट लेयर बनाया और अपन ने कुछ नहीं

किया बस इन इनपुट एंड आउटपुट लेयर्स को एक दूसरे से कनेक्ट कर दिया लेट्स से आई एम गोइंग टू कनेक्ट दिस दिस एंड दिस इट्स

वेरी सिंपल ठीक है एंड व्हेन आई कनेक्टेड तो मैंने यहां पे अब वेट्स का अप्लाई किया क्या यूज़ करा मैंने वेट्स को अप्लाई किया

सो इफ आई वांट टू यूज़ द वेट्स वेट्स विल लुक लाइक दिस। बहुत ध्यान से देखना भाइयों। ठीक है? सो व्हाट वी डीड वाज़?

मैंने यहां पे लगा दिया एक W1, एक लगा दिया W2 और एक और लगा दिया W3। इट्स वेरी सिंपल। तो मैंने तीन वेट्स का यूज़ किया।

और जो आउटपुट लेयर था इसमें मैंने एक बायस यूज़ कर दिया। क्या यूज़ कर दिया? बायस। और इसका यूज़ करके आपका पता है फार्मूला कैसा

बना? द फार्मूला वाज़ लुकिंग लाइक दिस। एंड दैट इज w या फिर अपन यह बोल सकते हैं दैट वी वांट टू प्रेडिक्ट इज x ऑफ i * w1 + x2

* w2 + x3 * w3 एंड व्हाट इज़ दिस x1 x2 एंड x3 x1 x2 एंड x3 आर नथिंग x1 x2 x3 क्या थे भैया आपके ये थे जैसे ये x1 हो

गया ये x2 हो गया ये x3 हो गया फिर एज कोलेस्ट्रॉल बीपी और उसके बेसिस पे अब आपको प्रिडिक्ट करना है हार्ट डिजीज को

ठीक ठीक है? तो यहां पे अब अपन ने भी सेम ही चीज करी। बस अपन का फार्मूला थोड़ा सा डिफरेंट हो गया। और अपना भी देखो x1, x2,

x3 अगर मैंने 0 कर दिया लेट्स से किसी जगह पे तो ज़ीरो आ सकता है आंसर। तो बायस अपन एक ऐड करते हैं। तो यहां पे बस करके प्लस

बायस। अब अगर आप ध्यान से देखोगे क्या ये फार्मूला थोड़ा बहुत सेम दिख रहा है? हां बिल्कुल दिख रहा है। किसकी तरह सेम दिख

रहा है भैया? θ0 θ0 आगे नहीं पहले लिख देता हूं। θ1 x1 + θ2

x2 + θ3 x3 प्लस बायस क्या था अपना सिंपल θ 0 सो अब क्या ये दोनों फ़ूले भैया सेम सेम दिख

रहे हैं हां बिल्कुल सेम सेम दिख रहे हैं तो मतलब न्यूरल नेटवर्क्स में अपन लोगों ने क्या किया थीटास को रिप्लेस करके वेट्स

का यूज़ करने लग गए ठीक है और अगर अब जैसे देखो सिंपल सी बात है मैं क्या करता था मैं थीटास की वैल्यू को बार-बार चेंज करता

था करता था कि नहीं करता था तो देखेंगे देखेंगे कैसे करेंगे वो सब चीजें देखेंगे। तो यहां पे अपन को अब वेट्स की वैल्यू को

चेंज करना पड़ेगा अलग-अलग तरीके से। ठीक है? तो दिस थिंग इज नोन एज अ फॉरवर्ड प्रोपगेशन। अभी वैसे फॉरवर्ड प्रोपगेशन और

अच्छे से समझाऊंगा जब अपन मल्टीन्यूरॉन्स पढ़ेंगे या फिर मल्टीपल लेयर्स पढ़ेंगे। लेकिन परसेप्टन का एक बेस डायग्राम ऐसा ही

दिखता है जिसमें आपके पास क्या थे? तीन इनपुट्स थे और एक आउटपुट था। और जैसे अपन फार्मूला यहां पे यूज़ कर रहे थे। अपने ऊपर

जो लॉजिस्टिक रिग्रेशन है, सेम तरीके का फार्मूला यहां पे करेंगे परसेप्टों्स के लिए। ठीक है? एंड वन मोर थिंग जब ये सब हो

जाता था तो इसमें भी आपको रिजल्ट किस में चाहिए? या तो ज़ीरो में चाहिए या तो वन में चाहिए। सो वी अप्लाइड एन एक्टिवेशन फंक्शन

सेम एंड दैट इज सिग्मॉयड। कोई दिक्कत नहीं। ठीक है? सिग्मॉयड एक्टिवेशन

फंक्शन। ठीक है? तो मतलब भैया आप ये बोल रहे हो कि बिल्कुल ही सेम तरीके से अपन लोगों ने यूज़

किया परसेप्टन को। बस इसमें अपन लोगों ने न्यूरॉन्स का यूज किया। थ्री इनपुट न्यूरॉन्स, वन आउटपुट न्यूरॉन्स और जो

आउटपुट न्यूरॉन है उसमें एक बायस ऐड कर दिया और जो आपके कनेक्शंस हैं उसमें आपने डिफरेंट-डिफरेंट वेट्स अप्लाई कर दिया।

बिल्कुल सही। एंड व्हेन वी मल्टीप्लाई द वेट्स विद द वैल्यूज़ बिल्कुल जैसे अपन पहले कर रहे थे वही करना है। और अपन लोगों

ने फिर उसके बाद सिग्माइड एक्टिवेशन फंक्शन भी अप्लाई कर दिया। 1 / 1 + e टू दी पावर ऑफ़ -z एंड दिस -z इज़

रिप्रेजेंटिंग दिस फार्मूला। या फिर दोनों फ़ूले को आप रिप्रेजेंट कर सकते हो। ठीक है? सो, इट्स अ वेरी सिंपल थिंग। बिल्कुल

सेम है। और फिर इसके बाद क्या आएगा? आपका आउटपुट आएगा। आएगा या तो ज़ीरो आएगा या फिर वन आएगा एंड दिस विल बी योर आउटपुट। आई

होप ये चीज़ समझ आ रही है। ठीक है? एंड दिस आउटपुट विल रिप्रेजेंट द रिजल्ट ऑफ़ x1, x2 एंड x3। अब भैया अगर अपने को इसको सही भी

करना है तो अपन सेम ग्रेडियंट डिसेंट अप्लाई कर सकते हैं क्या? बिल्कुल कर सकते हैं अपने को। लेकिन उसके लिए बैकवर्ड

प्रोपगेशन करना पड़ेगा। दिस वाज़ फॉरवर्ड प्रोपगेशन। अभी समझेंगे अच्छे से क्या होता है फॉरवर्ड एंड बैकवर्ड। अभी के लिए

बस ये इंट्यूशन बना लो कि भैया परसेप्टों्स आर वेरी सिंपल। जो चीज अपन लोग जैसे लॉजिस्टिक रिग्रेशन में सब कुछ

अप्लाई कर रहे सिग्माइड एक्टिवेशन फंक्शन कर रहे थे। अपन लोग ये टेबल्स में यूज़ कर रहे थे। अपन अपने फ़ूले का लीनियर फ़ूले का

यूज़ कर रहे थे। सेम वही सब करना है। और इवन लॉग लॉस फंक्शन भी अपन अप्लाई करेंगे। अभी देखेंगे ऑप्टिमाइज़र्स भी अप्लाई

करेंगे। सब कुछ वैसे ही रहेगा। लेकिन बस यहां पे क्या होता है? थीटा की जगह वेट्स यूज़ करते हैं। ठीक है? और थीटा ज़ीरो की

जगह बायसेस यूज़ करते हैं। एंड फाइनली दिस थिंग इज़ नोन एज परसेप्टन। अब एक खास बात बताता हूं। इसको अपन तो परसेप्टन बोल रहे

हैं। लेकिन सोचो ये जो एक इनपुट और ये एक आउटपुट लेयर है इसके बीच में अगर एक और लेयर जुड़ गई। सो उसको अपन पता है क्या

बोलते हैं? उसको बोलते हैं न्यूरल नेटवर्क। एंड दैट लेयर इज नोन एज हिडन लेयर। मतलब भैया अभी तक अपन ने परसेप्टन

पढ़ा। एक इनपुट लेयर, एक आउटपुट लेयर। लेकिन अगर इन दोनों लेयर्स के बीच में एक और लेयर आ गई, दैट लेयर विल बी नोन एज एन

अ हिडन लेयर। ठीक है? क्या होता है वो? हिडन लेयर। और वो हिडन लेयर की वजह से आपका बना न्यूरल नेटवर्क। एंड दिस न्यूरल

नेटवर्क इज नोन एज आर्टिफिशियल न्यूरल नेटवर्क एंड आल्सो नोन एज ए एन एन। क्या बोलते हैं इसको? ए एनए या फिर आप बोल सकते

हो आर्टिफिशियल न्यूरल नेटवर्क। दैट्स द नेक्स्ट टॉपिक दैट वी हैव टू स्टडी। सो लेट्स सी। मेरी किस्मत इतनी ज्यादा खराब

है कि मैंने सोचा कि डीप लर्निंग की वीडियो रिकॉर्ड करना शुरू करूं। इतना मजा आ रहा है पढ़ाने में। लेकिन तबीयत खराब हो

जाती है हर बार की तरह। वही खांसी, जुकाम, गला खराब, मौसम चेंज। लेकिन ये सब चीजें रोकेंगी नहीं मेरे को भैया आपको पढ़ाने

से। तो चलो जल्दी से देखते हैं जो अपन ने परसेप्टों्स पढ़े थे उसमें क्या लिमिटेशंस हैं। ठीक है? तो मतलब लिमिटेशंस ऑफ

परसेप्टों्स। वैसे देखो ऐसी कोई स्पेसिफिक लिमिटेशन नहीं है। लेकिन एक बहुत ज्यादा सिंपल सी

लिमिटेशन थी क्योंकि ये बना बहुत पहले था। एंड दिस वाज़ द फर्स्ट थिंग दैट इंट्रोड्यूस न्यूरन नेटवर्क्स। ठीक है? तो

अगर लिमिटेशंस की बात करें भैया ये यूज करता है एक स्टेप फंक्शन। क्या यूज़ करता है? स्टेप एक्टिवेशन फंक्शन। टी आई वी ए

टी आई ओ एन एक्टिवेशन फंक्शन। लेकिन भैया अभी आपने क्या बताया था? अभी आपने ऊपर बताया था कि आई एम यूजिंग सिग्माइड

एक्टिवेशन फंक्शन। फिर आपने ये क्यों बोल रहे हो स्टेप एक्टिवेशन फंक्शन? देखो जब बना था 1958 में तब इसमें यूज़ किया गया था

स्टेप एक्टिवेशन फंक्शन जो कि हमेशा एक बाइनरी क्लासिफिकेशन देता था। या तो ज़ीरो देता था या फिर वन देता था। सो दैट्स

व्हाई इट वाज़ नॉस्ट यू नो इट इट वाज़ नॉट पीपल वर नॉट एबल टू यूज़ दिस फॉर लेट्स से जो कंटीन्यूअस प्रेडिक्शन होता है जैसे

सैलरी हो गया या फिर अपन जो लीनियर रिग्रेशन में करते हैं। आई गो आई गेस आपको समझ आ रहा है। ठीक है? फिर ऐसी भैया एक और

चीज थी अम अ सिंगल परसेप्ट्रॉन कैन रिप्रेजेंट लीनियर डिसीजन बाउंड्रीज़। या फिर आप बोल सकते हो ओनली एक लीनियर डिसीजन

बाउंड्री ही रिप्रेजेंट कर पाते थे। और क्योंकि यहां पे सिर्फ एक इनपुट लेयर थी, एक आउटपुट लेयर थी। तो उसकी वजह से हमेशा

आपका रिजल्ट ज़ीरो और वन में ही आता है। इवन यू आर यूजिंग लेट्स से सिग्माइड एक्टिवेशन फंक्शन। बस ये मान के चलो अपने

दिमाग में। ठीक है? तो भैया इन सब से लिमिटेशंस की वजह से क्या ऐसा यूज़ हुआ? क्या चीजें इनवॉल्व करी जिसकी वजह से ये

सब चीजें हट गई? एंड फॉर दैट अब अपने को पढ़ना पड़ेगा ए एन एन। क्या पढ़ना पड़ेगा? ए एन एन या फिर आप बोल सकते हो आर्टिफिशियल

आर्टिफिशियल न्यूरल नेटवर्क। ठीक है? अब समझते हैं आर्टिफिशियल न्यूरॉन

नेटवर्क बना कैसे था। यह परसेप्टन की हेल्प से ही बना था। और मैंने अभी आपको बताया था कि व्हेन वी आर यूजिंग वन आउटपुट

एंड वन इनपुट लेयर्स तो ये तो एक परसेप्टन है। लेकिन अगर बीच में मैंने कोई सी भी हिडन लेयर ऐड कर दी ना दैट बिकम्स अ

आर्टिफिशियल न्यूरल नेटवर्क। ठीक है? और अब इस आर्टिफिशियल न्यूरल नेटवर्क में अपन लोग दो चीजें पढ़ने वाले हैं। दैट विल बी

फॉरवर्ड एंड बैकवर्ड प्रोपगेशन। सो, फर्स्ट ऑफ़ ऑल लेट मी जस्ट क्रिएट द डायग्राम ऑफ़ एन आर्टिफिशियल न्यूरल

नेटवर्क। इट्स अ वेरी सिंपल डायग्राम जिसके अंदर आपके पास क्या रहते हैं? आपके पास बहुत ही सिंपल इनपुट लेयर्स होती हैं।

मान लो भैया ये तीन इनपुट लेयर्स हैं। एंड इनपुट लेयर्स कैन बी डिपेंडेंट ऑन दी इनपुट्स दैट वी आर टेकिंग। ठीक है? और

इसके बीच में फिर अब आपके पास आती हैं हिडन लेयर्स। क्या आ जाती हैं? हिडन लेयर्स आ जाती हैं। और फिर उसके बाद आ

जाते हैं एक आउटपुट लेयर। अगेन एंड अगेन आई एम टेलिंग यू ट्रस्ट मी गाइस। प्लीज डायग्राम बनाते हुए चलना। अपने नोट्स

बनाते हुए चलना। बाद में बहुत यूज़ आएंगे। ठीक है? एंड ईच एंड एव्री ईच एंड एव्री ऑफ़ दिस आर कनेक्टेड विद ईच अदर। फॉर एग्जांपल

अगर मैं इस न्यूरॉन की बात करता हूं। ये इससे भी कनेक्टेड रहेगा। यह इससे भी कनेक्टेड रहेगा। ठीक है? यह इससे कनेक्टेड

रहेगा। यह इससे कनेक्टेड रहेगा। ठीक है भैया? और यह भी इससे कनेक्टेड रहेगा। एंड यह भी इससे कनेक्टेड रहेगा। एंड दिस इज़

हाउ योर न्यूरल नेटवर्क स्ट्रक्चर लुक्स लाइक। इट्स अ वेरी सिंपल डायग्राम। आई गेस आपको समझ आ रहा होगा। और इन सभी में अगर

मैं बात करता हूं कौन सी लेयर क्या होती है? सो दिस थिंग इज़ नोन एज योर इनपुट लेयर। इनपुट लेयर। ठीक है? और फिर उसके

बाद जो मिडिल लेयर होती है, इसको अपन बोलते हैं हिडन लेयर। हिडन लेयर। और फिर इसके बाद यह वाली जो

लेयर होती है दिस इज नोन एज योर आउटपुट लेयर। ठीक है? आउटपुट लेयर। तो भैया यह जो परसेप्टों्स हैं, इनसे क्या डिफरेंस है?

इसमें बस ये डिफरेंस है कि भैया यहां पे बीच में ये एक हिडन लेयर आ गई है। लेकिन परसेप्टों्स में आपके पास कोई भी हिडन

लेयर नहीं थी। ठीक है? सो बिकॉज़ ऑफ़ दिस हिडन लेयर, दिस थिंग इज़ नोन एज एन आर्टिफिशियल न्यूरल नेटवर्क। एंड दिस इज़ द

फर्स्ट टाइप ऑफ़ आर्टिफिशियल न्यूरल नेटवर्क दैट हैज़ बीन क्रिएटेड विद हिडन लेयर्स। लेकिन अब इसमें भैया कैलकुलेशन

कैसे होता है? क्या सेम तरीके से होता है कैलकुलेशन और क्या होता है, कैसे वर्क होता है। तो अब यहां पे आपको दो चीजें

समझनी पड़ेगी। एंड दैट इज़ फॉरवर्ड प्रोपगेशन एंड बैकवर्ड प्रोपगेशन। एंड नाउ आई एम गोइंग टू टेल यू ईच एंड एव्रीथिंग

विद द मैथमेटिकल इंट्यूशन एज़ वेल। क्योंकि मैं नहीं चाहता कि बाद में आपको कंफ्यूजन हो किसी भी चीज़ का। ठीक है? नाउ बहुत

ध्यान से देखना मैं क्या करने वाला हूं। लेट से, आई एम गोइंग टू टेक सम डेटा। ठीक है? तो, यहां पे मैं एक स्ट्रेट लाइन खींच

देता हूं जिससे अब मैं स्ट्रेट लाइन नहीं खींच रहा, लेट से मैं यहां पे मेंशन कर देता हूं। नाउ वी आर गोइंग टू लर्न

फॉरवर्ड फॉरवर्ड प्रोपगेशन। दैट्स इट। ठीक है? तो अब अपन समझते हैं कि

कैसे फॉरवर्ड प्रोपगेशन वर्क करता है इन दिस न्यूरल नेटवर्क्स। ठीक है? तो लेट्स से मैं एक एग्जांपल डेटा सेट ले रहा हूं।

x1 x2 x3 यहां पे मैंने लिखा नहीं है। वैसे ऐसे डेटा सेट का मतलब ये मैं लेना चाह रहा हूं। इफ यू डोंट नो व्हाट आर डेटा

सेट? दीज़ आर द डेटा सेट्स। ठीक है? जैसे अपन ने पहले डेटा सेट लिया था ना एज कोलेस्ट्रॉल बीपी बस x1 x2 x3 दे रहा हूं

और वहीं पे भैया मेरे पास एक और आउटपुट है। ठीक है? और आउटपुट को अपन क्या बोल सकते हैं? y बोल सकते हैं। लेट्स से दिस

डेटा इज़ 2.0 यहां पे x1 है और वैसे ही x2 की वैल्यू होगी 1.0 लेट्स से और x3 की वैल्यू होगी 3.0 और y जो अपना आउटपुट

वेरिएबल है दैट विल बी वन। ठीक है? इट्स अ बाइनरी क्लासिफिकेशन प्रॉब्लम। कोई दिक्कत नहीं है। सो, दीज़ आर द थ्री थिंग्स। और अब

समझते हैं कैसे न्यूरल नेटवर्क्स इसको हैंडल करता है। फिर एएनएन कैसे इसको हैंडल करता है और क्या-क्या इसके बैकग्राउंड

प्रोसेस होता है। क्या मैथमेटिकल इंट्यूशन होता है सब समझ आएगा। एंड करेंटली वी आर लर्निंग व्हाट? वी आर लर्निंग फॉरवर्ड

प्रोपगेशन। मेरी हैंडराइटिंग पे मत जाना। खुद से नोट्स बनाना अच्छे बनेंगे। ठीक है? तो चलो अब समझते हैं। तो सबसे पहले तो मैं

यहां पे तीन इनपुट्स हैं। 1 2 3 x1, x2, x3 तो आई एम गोइंग टू मेक थ्री इनपुट लेयर्स। क्या बनाऊंगा भैया? मैं तीन इनपुट

लेयर बनाऊंगा। तो जल्दी से बना देता हूं। तीन इनपुट लेयर बहुत ही सिंपल है। ये हुआ भैया पहला इनपुट लेयर सिंपल। ये हो गया

भैया दूसरा इनपुट लेयर। अगेन वेरी सिंपल। एंड दिस इज़ द थर्ड इनपुट लेयर। ठीक है? एंड आई नो देयर मस्ट बी वन आउटपुट लेयर एज़

वेल। तो आउटपुट लेयर को भी बनाने से पहले बीच के अब अपने को हिडन लेयर्स बनाने हैं। क्यों? क्योंकि अगर डायरेक्ट आउटपुट लेयर

बना दिया तो तो भैया वो परसेप्टन बन जाएगा। आई नीड टू क्रिएट व्हाट? आर्टिफिशियल न्यूरल नेटवर्क। सो, आई एम

गोइंग टू क्रिएट टू हिडन लेयर्स बिटवीन। ठीक है? तो मान लेते हैं दिस इज़ द फर्स्ट हिडन लेयर। सब समझ आएगा बहुत सिंपली। ठीक

है? दिस इज़ द सेकंड हिडन लेयर एंड दिस इज़ गोइंग टू बी द आउटपुट लेयर। नाउ ऐज़ आई टोल्ड यू सारे के सारे जो लेयर्स होते हैं

वो एक दूसरे से कनेक्टेड रहते हैं। तो चलो भैया कनेक्ट कर देते हैं। ये लुक कितना सिंपल है। ये लिया भैया मैंने कनेक्शन के

लिए एक लाइन एंड देयर यू गो। लेट्स कनेक्ट दीज़ लेयर्स। ये मैंने एक को इससे कनेक्ट किया। ये एक को इससे कनेक्ट कर दिया। ठीक

है? देन अगेन सारे ही न्यूरॉन्स एक दूसरे से कनेक्टेड होने चाहिए। इनपुट्स आउटपुट से सभी से। ठीक है? ये लो भैया हो गए सारे

एक दूसरे से कनेक्टेड एंड फाइनली दिस इज द फाइनल थिंग दैट वी हैव टू कनेक्ट। अब देखो क्या होता है। एज यू रिमेंबर जब मैं यहां

पे काम कर रहा था तो मैं वेट्स असाइन कर रहा था। ठीक है? तो हर एक न्यूरॉन के कनेक्शन का एक सेपरेट वेट होता है। तो लेट

मी गिव यू एन एग्जांपल फॉर दिस। अ सबसे अच्छा एग्जांपल उसका यही है कि व्हेन यू आर यूजिंग समथिंग हॉट। चलो मान लो ये बॉटल

है मेरे पास। ठीक है? इफ दिस बॉटल इज वेरी हॉट। वेरी हॉट। बहुत ज्यादा गर्म है और अगर मैं इसको एकदम से छूता हूं तो मेरे

ब्रेन पैटर्न में न्यूरॉन्स में एकदम से ट्रिगर होती है ये चीज कि भाई हॉट और इस बॉटल को छोड़ दो आप नहीं छू सकते। आई होप

ये चीज समझ आ रही है। ठीक है? वहीं पे अगर मैं कोल्ड बॉटल को छूता हूं बहुत ज्यादा कोल्ड भी नहीं है। ठीक-ठीक कोल्ड है तो

मेरा ब्रेन पैटर्न इतनी तेज इफेक्ट नहीं देता या फिर वो ये नहीं बोलता कि इसको छोड़ दो। तो वेट्स जो है वो डिसाइड करते

हैं आपके एक्शंस को। या फिर आप ये बोल सकते हो आपका हर एक न्यूरॉन का जो वेट होता है वो डिफरेंट-डिफरेंट तरीके से

असाइन होता है कि भाई अगर मैं कोई भी गर्म चीज पकड़ रहा हूं तो उसको एकदम से छोड़ दो। लेकिन अगर कोई ठंडी चीज पकड़ रहा हूं

तो आप इसको पकड़ के रख सकते हो। ऐसी कोई प्रॉब्लम नहीं है। आपको हार्म नहीं हो रहा है। तो ये जो वेट्स होते हैं ये आपके

डिपेंड करते हैं किस चीज को आप ट्रिगर करना चाहते हो। इट्स वेरी सिंपल। आई होप ये चीज समझ आ रही है। ठीक है? तो अब अपन

ने जैसे यहां पे वेट्स असाइन करे तो हर एक न्यूरॉन को एक अपने को सेपरेट वेट देना पड़ेगा। सो व्हाट वी आर गोइंग टू डू इज़ आई

एम गोइंग टू प्रोवाइड वेट्स हियर। तो मान लो भैया यहां पे मैंने ये दिया पहला वेट। और इस वेट को मैं बोल सकता हूं W1। क्या

बोल सकता हूं? W1 ठीक है? फिर ऐसे ही मैं इसको W2 बोल सकता हूं। इसको W3 बोल सकता हूं। इसको W4 बोल सकता हूं। ठीक है? सॉरी

W3 और W4 सेम ही कर दिया। इसको मैं W4 बोल सकता हूं। इसको W5 बोल सकता हूं। और इसको W6 बोल सकता हूं। ठीक है? सो देयर आर हाउ

मेनी वेट्स? देयर आर सिक्स वेट्स और यहां पे आ जाएगा वेट सेवन एंड यहां पे आ जाएगा वेट एट। या फिर मतलब आप ये बोल सकते हो

जितने भी हिडन न्यूरॉन्स कनेक्टेड रहते हैं एक दूसरे से उन सभी को कुछ ना कुछ वेट्स असाइन होते हैं। ठीक है? और हर एक

जो न्यूरॉन रहता है जो हिडन न्यूरॉन होता है और आउटपुट न्यूरॉन होता है उसका कुछ ना कुछ बायस होता है। तो B1 विल बी द बायस ऑफ

दिस न्यूरॉन। B2 विल बी द बायस ऑफ दिस न्यूरॉन एंड B3 विल बी द बायस ऑफ़ दिस न्यूरॉन्स। तो भैया आपने ये बोला कि

मल्टीपल वेट्स एंड बायसेस अपन असाइन करते हैं। हां बिल्कुल करते हैं। जैसे अपन लोगों ने परसेप्टों्स में करे थे और जैसे

अपन लोग ऊपर मेन फंक्शनंस में भी करते आ रहे हैं। ये चीज़ अपन स्टार्टिंग से करते आ रहे हैं। बस अब ये होता है गेम। तो यहां

पे आप ये बोल सकते हो कि भैया इफ वी हैव 1 2 3 थ्री टू हिडन न्यूरॉन्स एंड वन आउटपुट न्यूरॉन्स सो देयर आर 1 2 3 4 5 6 7 8

वेट्स यस एग्जैक्टली देयर विल बी एट वेट्स तो इस तरीके से आपका पूरा कैलकुलेशन होता है आप या फिर आप ऐसा बोल सकते हो 3 * 2

करोगे 3 * 2 = 6 सिक्स सिक्स के बाद फिर आप लास्ट वाले न्यूरॉन से कितने भी कनेक्टेड होंगे दो तो उसमें आप ऐड कर सकते

हो इट्स अ बेसिक कैलकुलेशन आप कर पाओगे ठीक है और वैसे आपको कभी भी ऐसे वेट्स और बायसेस के कैलकुलेशंस नहीं करने हैं कोई

इतना इंपॉर्टेंट नहीं होता है तो तो अब अपन लोगों ने ये बोला कि भैया आपने सेपरेट वेट्स दे दिए। लेट्स गिव द वैल्यूज ऑफ दिस

वेट्स। ठीक है? और फिर मैं कैलकुलेशन करके भी दिखाऊंगा। बहुत ध्यान से देखना। अभी लग रहा होगा थोड़ा सा कंफ्यूज होगे लेकिन सब

समझ आ जाएगा। देखना। अब मैंने बोला कि भैया ये जो आपने डिफरेंट-डिफरेंट वेट्स दिए ना इनको एक वैल्यू असाइन कर देते हैं।

ठीक है? क्योंकि वेट्स तो रैंडम होते हैं। तो सबसे पहले तो मैंने बोला कि यार जो इनपुट वन आ रहा है वो आ रहा है 2.0 का।

इनपुट जो टू आ रहा है x2 आ रहा है वो आ रहा है 1.0 का। क्योंकि देखो x2 की वैल्यू और इनपुट थ्री आ रहा है वो आ रहा है

कितना? 3.0 का। एंड दिस इज़ व्हाट आई एम शोइंग फॉरवर्ड प्रोपगेशन। बहुत ध्यान से देखना। अब फॉरवर्ड प्रोपगेशन में आप

इनपुट्स देते हो और फिर आपके हर एक न्यूरल कनेक्शन के बीच में वेट्स असाइन रहते हैं। ठीक है? तो भैया वेट्स लेट्स से मैं रैंडम

दे देता हूं। एक दे देता हूं 0.5 का। ठीक है? फिर एक दे देता हूं 0.3 का या फिर अपन बोल सकते हैं नेगेटिव 0.3. एक्चुअली मैंने

लिख के रखे हैं मैंने सारे वेट्स जिससे एग्जैक्ट कैलकुलेशन दिखा सको। ठीक है? फिर मैंने एक वेट दे दिया 0.2 का। फिर दे दिया

मैंने एक 0.8 का। चलो ठीक है। फिर एक वेट दे दिया मैंने 0.1 का। और फिर एक वेट दे दिया मैंने 0.5 का। ठीक है? तो ये हो गए

भैया छह के छह वेट्स हर एक न्यूरल कनेक्शन के बीच में। और ऐसे ही आगे भी इन दोनों में भी दे देता हूं। 1.2 का वेट दे देता

हूं। एंड सेम गोज़ - 0.7 का वेट दे देता हूं। ठीक है? सो ऑल द वेट्स आर कनेक्टेड। अब अपन क्या करने वाले हैं? वी आर गोइंग

टू कैलकुलेट दीज़ थ्री न्यूरॉन्स। और चलो अब इसमें बायसेस भी देने हैं। तो मान लो 0.1 का बायस दे दिया इस न्यूरॉन को। यहां

पे दे दिया नेगेटिव 0.2 का बायस। और इस वाले न्यूरॉन को दे दिया 0.05 का बायस। ठीक है? तो मैंने वेट्स एंड बायसेस दे

दिए। एंड नाउ लेट्स डू द कैलकुलेशन। इट्स वेरी सिंपल। देखो फॉरवर्ड प्रोपगेशन में जब मैं यूज़ कर रहा था अपने परसेप्टों्स

को, तो मैंने डायरेक्ट कैलकुलेशन किया था। इस फ़ूले का यूज़ करते थे। या फिर अपन बोल सकते हैं वेटेड सम निकालना है अपने को।

क्या निकालना है? ये जो मल्टीपल वेट्स हैं इन सबका सम निकालना है आपके इनपुट्स का लेके। तो दैट थिंग इज़ नोन एज व्हाट? वेटेड

सम। तो लेट्स कैलकुलेट द वेटेड सम फर्स्ट। तो भैया वेटेड सम को कैलकुलेट करने के लिए अपन लोग इस न्यूरॉन की बात कर रहे हैं।

ठीक है? तो n1 इज द न्यूरॉन वन या फिर आप बोल सकते हो हिडन न्यूरॉन वन। h न्यूरॉन वन का अपन लोग निकालते हैं रिजल्ट। तो

उसके लिए अपन क्या करेंगे? वही वाली वो वाला फार्मूला फॉलो करेंगे। x1 * वेट 1 या फिर आप बोल सकते हो + x2 * वेट 2 इट्स

वेरी सिंपल। ठीक है? प्लस x3 * वेट 3 और ये होगा भैया तीनों का सम प्लस द बायस विल बी b दैट इज़ 0.1 अब अगर मैं इसमें सारी

वैल्यू्यूज पुट भी करता हूं, तो इट विल बी 2.0 इंटू क्या करना पड़ेगा मुझे? 2.0 से

मल्टीप्लाई ऑब्वियसली द वेट वन फॉर दिस न्यूरॉन। दिस न्यूरॉन से देखो क्या कनेक्शन हो रहा है? 2.0 किससे कनेक्टेड

है? इस वाले न्यूरॉन से। तो 0.5 वेट दे रहा हूं मैं। कितना दे रहा हूं? 0.5 वेट। ऑब्वियसली दीज़ आर सम ऑफ़ द रैंडमाइज्ड वेट।

और इसके बाद अपना कुछ रिजल्ट निकलेगा। फिर उसके बाद अपन देखेंगे कैसे बैकवर्ड प्रोपगेशन में इन वेट्स को अपन सही करते

हैं। अभी मैं क्या समझा रहा हूं? सिर्फ फॉरवर्ड प्रोपगेशन समझा रहा हूं। फिर भैया मैंने सेम किया x2. X2 इज़ व्हाट? X2 इज़

1.2 दैट्स इट। 1.0 है। सॉरी। X2 इज़ 1.0 * 0.2 इट्स वेरी सिंपल। क्योंकि देखो ये वाला वेट किससे? 0.2 से कनेक्टेड है यह

वाला और यह वाला कैसे कनेक्टेड है? 0.2 फिर भैया इंटू करेंगे प्लस एंड दैट इज़ 3.0 * 0.1 दैट्स इट। और बायस कितना है? 0.1 का

बायस है। 0.1 का बायस है। और जब अपन इस पूरे को कैलकुलेट करते हैं, द रिजल्ट विल बी व्हाट? 1.6। नाउ ऑब्वियसली मुझे क्या

चाहिए? बाइनरी क्लासिफिकेशंस में आंसर चाहिए। क्योंकि मेरे पास क्या है? रिजल्ट जो है वो बाइनरी क्लासिफिकेशन में ज़ीरो

एंड वन में है। तो, इस पे मैं एक सिग्माइड एक्टिवेशन फंक्शन फंक्शन लगाता हूं। दैट इज़ 1 / 1 + e पावर -z एंड दिस इज़ व्हाट -z

इज़। तो भैया मैंने यहां पे क्या कर दिया? सिंपली इस चीज़ पे पूरे पे सिग्माइड एक्टिवेशन फंक्शन अप्लाई किया 1.6 पे। एंड

द रिजल्ट दैट इज़ कमिंग आउट आफ्टर सिग्माइड एक्टिवेशन फंक्शन इज़ 0.8320 एंड दैट्स इट। दिस इज़ हाउ यू एक्चुअली

कैलकुलेट योर सिंगल न्यूरॉन रिजल्ट। ये अभी एक न्यूरॉन का रिजल्ट आया है। ठीक है? कितना आया है? 0.320।

अब क्या भैया और जो न्यूरॉन्स हैं उनका भी रिजल्ट आएगा? हां बिल्कुल आएगा। तो यहां पे मैं ऐसे ही लिख लेता हूं 0.38320

है ना? ये 0.8320 ये रिजल्ट आया है। अब भैया इसका भी सेम कैलकुलेशन होगा क्या? हां इसका भी सेम

कैलकुलेशन और इसका आएगा 0.8176। आई होप ये चीज़ समझ आ रही है। ठीक है? सो द फर्स्ट हिडन लेयर इज़ कंप्लीट। फर्स्ट हिडन

लेयर के लिए मैंने ये पूरा फार्मूला लगाया और उस फ़ूले को निकाल लगाने के बाद मेरे को रिजल्ट्स मिल गए। अब मैं जा रहा हूं अपने

आउटपुट लेयर पे। कहां जा रहा हूं मैं? आउटपुट लेयर पे जा रहा हूं। आउटपुट लेयर के लिए भी अपने को यही करना पड़ेगा। सेम

फार्मूला अप्लाई करना पड़ेगा। वही सिग्माइड एक्टिवेशन फंक्शन वही सारी चीजें करनी पड़ेंगी। एंड लेट्स से मैं यहां पे

लिख देता हूं आउटपुट न्यूरॉन। तो अब आउटपुट न्यूरॉन को निकालने के लिए यही पूरा फार्मूला अप्लाई करेंगे। x1 * w1

लेकिन अब यहां पे तो सिर्फ एक ही न्यूरॉन है। तो इसी का कैलकुलेशन होगा। तो इसके कैलकुलेशन के लिए 0. 8320

क्योंकि देखो इस न्यूरॉन की वैल्यू क्या आ रही है? 0.832 जैसे इनपुट दे रहे थे ना 2.0 1.0 3.0 का वैसे ही अपन यहां पे

न्यूरॉन्स के जो अपन ने पूरा आंसर निकाला है उनका इनपुट्स देंगे। ठीक है? मल्टीप्लाई बाय वेट वन एंड दैट इज 1.2 1.2

ये हो गया भैया सम प्लस वही सेम चीज़ x1 * w1 x2 * w2 वैसे ही करना है। और x2 क्या है? 0.8176

लेट मी ओपन दिस 0.8176 0.8176 और इसमें अपन मल्टीप्लाई कर देंगे 0.7

का 0.7 नेगेटिव 0.7 का दिस वाज़ द वेट दैट आई हैव असाइंड हियर। ठीक है? एंड आफ्टर दैट मैं एक बायस कैलकुलेट बायस ऐड करूंगा।

एंड द बायस इज़ 0.05. दैट्स इट। 0.05 एंड आफ्टर गेटिंग द रिजल्ट द आउटपुट विल बी 0.

4761 आप कैलकुलेट कर सकते हो। मैंने ऑलरेडी कैलकुलेट करा है टू सेव योर टाइम। ठीक है?

और इसमें मैं सिग्माइड एक्टिवेशन फंक्शन लगाऊंगा 0.4761 बिकॉज़ आई नीड द आंसर इन ऑब्वियसली ज़ीरो और

वन के बीच में। ऑलदो आ रहा है लेकिन एक सिग्माइड एक्टिवेशन फंक्शन जब आप स्टार्टिंग से लगा के आए हो तो इसमें भी

आपको लगाना पड़ेगा। एंड आफ्टर दैट अपाइंग द सिग्माइड एक्टिवेशन फंक्शन द आंसर इज़ 0.6168।

अब ऑब्वियसली जब अपन लगाते हैं सिग्मा एक्टिवेशन फंक्शन अगर वैल्यू बड़ी होती है 0.5 से तो मैं बोल दूंगा इट इज़ वन और अगर

छोटी होती है 0.5 से तो मैं बोल दूंगा ज़ीरो। ठीक है? तो ये क्या है? बड़ी है। सो योर फाइनल y प्रेडिक्शन विल बी वन। लेकिन

टेक्निकली y प्रेडिक्शन कितना आ रहा है? 0.6168। आई होप ये चीज़ समझ आ रही है। ठीक है? सो

दिस होल प्रोसेस, दिस होल कैलकुलेशन इज नोन एज फॉरवर्ड प्रोपगेशन। क्या बोलते हैं इसको? फॉरवर्ड प्रोपगेशन। फॉरवर्ड

प्रोपगेशन का मतलब यह होता है कि आप सीधे जाते हो और सभी चीजों को कैलकुलेट करते जाते हो। जैसे आपने यहां पे सारे वेट्स

यूज़ करे, बायसेस यूज़ करे और सबको कैलकुलेट करने के बाद आपने एक फॉरवर्ड प्रोपगेशन कंप्लीट कर दिया। आई होप ये चीज समझ आ रही

है। ठीक है भैया। लेकिन दिस रिजल्ट कैन बी बेटर। थोड़ा और बेटर कर सकते थे। तो उस रिजल्ट को बेटर करने के लिए ये जो वेट्स

हैं इन सबको आपको अपडेट करना पड़ेगा। लेकिन भैया ये वेट्स को अपडेट कैसे करेंगे? इन वेट्स को अपडेट करेंगे बैकवर्ड

प्रोपगेशन से। नाउ आई एम गोइंग टू टेल यू थ्री थिंग्स जो बहुत ज्यादाेंट होती है इन डीप लर्निंग। आप बोल सकते हो और यही चीजें

अपन यूजुअली यूज़ करते हैं। एंड दीज़ थिंग्स आर या फिर आप बोल सकते हो स्टार थ्री इंपॉर्टेंट थिंग्स। ठीक है? ये लिख लो

इंपॉर्टेंट थिंग्स। एंड दीज़ थ्री इंपॉर्टेंट थिंग्स आर एक्टिवेशन फंक्शन। सबसे पहले

एक्टिवेशन फंक्शन। ठीक है? फिर उसके बाद है अपने पास लॉस फंक्शन। लॉस फंक्शन।

ठीक है? एंड आफ्टर दैट वी हैव ऑप्टिमाइज़र्स। ठीक है? अब ये जो एक्टिवेशन फंक्शन है, ये

क्या है? ये जो अपन हमने यूज़ करा दैट इज़ सिग्माइड एक्टिवेशन फंक्शन। ज़ीरो और वन का रिजल्ट आने के लिए। इट्स नॉट ओनली अबाउट

सिग्माइड एक्टिवेशन फंक्शन। और भी एक्टिवेशन फंक्शनंस होते हैं वो सब बाद में अपन देखेंगे। ठीक है? फिर व्हाट इज

लॉस फंक्शन? भैया लॉस फंक्शन इज़ यूज्ड टू कैलकुलेट द लॉस। देखो होता क्या है अपने पास? देखो यही सारी चीजें अपन स्टार्टिंग

से करते आ रहे हैं। मशीन लर्निंग में भी वी मेक प्रेडिक्शंस। ठीक है? लेकिन हर बार मेरी प्रेडिक्शंस एक्यूरेट नहीं होती थी।

तो मैं लॉस कैलकुलेट करता था। फिर उस लॉस कैलकुलेट करने के बाद उसमें एक ऑप्टिमाइजर यूज़ करता था। जैसे ग्रेडियंट डिसेंट। और

ग्रेडियंट डिसेंट जैसा ऑप्टिमाइजर यूज़ करने के बाद जो भी मेरा लॉस है वो मिनिमाइज होता जाता था। और जब मेरा लॉस

सबसे ज्यादा मिनिमाइज होता था या फिर जब मैं ग्लोबल मिनीमा पॉइंट पर पहुंचता था फिर मैं कहीं जाके जो मेरे पॉइंट्स हैं जो

x1 y1 के साथ जो मतलब मैंने थीटा θ1 थीटा2 की वैल्यू्यूज लगाई है उन सबको यूज़ करता था और सेम चीज यहां पे हो रही है। अभी तक

अपन ने किया है फॉरवर्ड प्रोपगेशन। तो इस फॉरवर्ड प्रोपगेशन में मैंने एक एक्टिवेशन फंक्शन अप्लाई किया है। एंड दैट वाज़

व्हाट? सिग्मॉयड एक्टिवेशन फंक्शन। क्या सिर्फ सिग्मॉयड होता है? नहीं और भी होते हैं। इन सब की स्टडी अभी अपन करेंगे।

लेकिन लॉस फंक्शन और ऑप्टिमाइजर्स कहां पे यूज हुए भैया अभी तक? ना मैंने ग्रेडियंट डिसेंट यूज किया ना ही भैया मैंने कुछ और

यूज किया। तो अब ये जो लॉस फंक्शन है और ऑप्टिमाइज़र्स हैं इनको अपन यूज़ करते हैं बैकवर्ड प्रोपगेशन में। बैकवर्ड प्रोपगेशन

अभी समझा रहा हूं। ठीक है? बस सिंपल सी बात है। जब मैंने फॉरवर्ड प्रोपगेशन किया तब मेरे पास क्या

आया? फॉरवर्ड प्रोपगेशन व्हेन आई यूज फॉरवर्ड प्रोपगेशन तो आई

यूज्ड वन एक्टिवेशन फंक्शन एंड दैट वाज़ ऑब्वियसली सिग्माइड एक्टिवेशन फंक्शन एंड आई कैलकुलेटेड द रिजल्ट एंड द रिजल्ट वाज़

कमिंग आउट टू बी 0.6168 लेकिन अब जब भैया मैं बैकवर्ड प्रोपगेशन करता हूं तो अब यहां पे मैं लॉस भी

कैलकुलेट करूंगा। लॉस मतलब एक्चुअल रिजल्ट वन था। लेकिन आपका रिजल्ट आ रहा है 0.61। सो देयर इज़ अ गैप एंड दैट गैप इज़ नोन ऐज़ द

लॉस। यहां पे अब मैं लॉग लॉस फंक्शन यूज़ कर सकता हूं। रूट मीन स्क्वायर एरर यूज़ कर सकता हूं। याद करो लीनियर रिग्रेशन,

लॉजिस्टिक रिग्रेशन में क्या-क्या चीजें यूज़ करते थे। और जब मैं इन सब चीजों का यूज़ करता हूं, दैट थिंग इज़ नोन एज़ लॉस। और

लॉस के बाद फिर मैं फाइनली अपने ऑप्टिमाइज़र्स को यूज़ करता हूं। इफ यू डोंट नो व्हाट आर ऑप्टिमाइज़र्स, ग्रेडियंट

डिसेंट इज़ वन ऑफ द ऑप्टिमाइजर। रेलू इज़ आल्सो वन ऑफ दी ऑप्टिमाइजर। और ये सारी चीजें अपन यूज़ करेंगे डीप लर्निंग पढ़ते

हुए। ठीक है? आई होप ये चीज समझ आ रही है। तो अपन ने पहली चीज समझ ली। एंड दैट इज़ फॉरवर्ड प्रोपगेशन कि कैसे अपन आगे बढ़ते

हैं न्यूरॉन्स में और कैसे एक रिजल्ट तक पहुंचते हैं। लेकिन अब अपने को क्या सीखना है? बैकवर्ड प्रोपगेशन। तो यहां पे मैं

येलो से लिख देता हूं। थोड़ा सा अलग सा लगेगा कि भैया यह अलग चीज पढ़ने वाले हैं। बैकवर्ड

प्रोपगेशन। अब एक चीज बता रहा हूं। थोड़ा सा मैथ्स आपको अजीब सी लगेगी इसमें क्योंकि यहां पे

अब मैं डेरिवेटिव्स का यूज़ करने वाला हूं। या फिर अपन कैलकुलस का थोड़ा बहुत यूज़ करेंगे। सो डोंट वरी आई एम नॉट गोइंग टू

टीच यू कैलकुलस। आई एम जस्ट गोइंग टू शो यू सम फार्मूलाज़ कि क्या-क्या अपन यूज़ करते हैं। कहां पे क्या यूज़ करते हैं। एंड

देन दैट्स इट। ओवर कर देंगे बैकवर्ड प्रोपगेशन को। ठीक है? तो आई गेस आपको समझ आया होगा व्हाट एक्चुअली इज़ फॉरवर्ड

प्रोपगेशन। एंड नाउ लेट्स एक्चुअली अंडरस्टैंड व्हाट इज़ बैकवर्ड प्रोपगेशन। अब आपको समझ ही आ रहा होगा जैसे अपन सीधे

जा रहे हैं वैसे ही उल्टे जाएंगे और देखते हैं कहां जाएंगे कैसे जाएंगे उल्टे लेट्स सी तो चलो अब देखते हैं कैसे अपन बैकवर्ड

प्रोपगेशन का यूज करते हैं फॉर डिटरमाइनिंग दी वेट्स या फिर ये वेट्स को अपडेट करने के लिए चलो एक बहुत सिंपल सा

एग्जांपल दे रहा हूं आप समझना ठीक है मान लो मेरा आ रहा है आउटपुट 0.618 6168 तो आप ये बोल सकते हो कि भैया ये जो

आपका आउटपुट है दिस थिंग इज़ योर y प्रेडिक्शन ठीक है और ये y प्रेडिक्शन y ऑफ़ एट इज़ इक्वल्स टू तो बाय प्रेडिक्शन

0.6186168 ठीक है? तो 0.6168 रियल रिजल्ट क्या है भैया? रियल रिजल्ट है

y = 1 सो देयर इज़ अ डिफरेंस बिटवीन देम। ऑब्वियसली भैया जो आपका आउटपुट आया और जो आपका आपका ओरिजिनल आउटपुट था उन दोनों में

काफी डिफरेंस है। तो इन डिफरेंस का या फिर आप ये बोल सकते हो इनका लॉस कैलकुलेट करना है सबसे पहले तो। ठीक है? तो अब अगर आप

किसी भी चीज़ का लॉस कैलकुलेट करना चाहते हो तो आप क्या यूज़ करते हो? आप लॉस फंक्शन का यूज़ करते हो। याद करो अपन ने जब लीनियर

रिग्रेशन पढ़ा था तो अपन ने मीन स्क्वायर्ड एरर यूज़ किया था या फिर कॉस्ट फंक्शन यूज़ किया था। याद है? अपन ने लॉजिस्टिक

रिग्रेशन यूज़ किया था तब अपन ने लॉग लॉस फंक्शन यूज़ किया था। और इन सब तरीके की चीजों को अपन बोलते हैं लॉस कैलकुलेट

करना। तो अब मान लो सबसे पहले तो देखो बैकवर्ड प्रोपगेशन में अभी घुसे नहीं है ढंग से। पहले अपन क्या कर रहे हैं? लॉस

कैलकुलेट कर रहे हैं। सो लेट्स कैलकुलेट द लॉस। तो कैलकुलेट करने के लिए आई एम गोइंग टू यूज़ द log लॉस फॉर्मूला। बहुत सिंपल

है। ठीक है? तो जैसे ही मैंने लॉग लॉस फार्मूला यूज किया तो लॉग लॉस का फार्मूला ऐसा कुछ जाता है। y * log y हैट दैट इज द

प्रेडिक्टेड पॉइंट + 1 - y फिर अपन क्या करते हैं? इंटू log ऑफ़ 1 - yट एंड दैट्स इट। सो दिस इज़ द फ़ूला ऑफ़ योर log लॉस।

लेकिन क्या भैया? अभी मैं इसका यूज़ कर रहा हूं। हां, बिल्कुल कर रहा हूं। कहां पे? y हैट और y की वैल्यूज़ को मैं पुट करूंगा।

और फाइनली मेरा लॉस आ जाएगा 0.494 लेट्स से। ठीक है? सो दिस इज़ द लॉस। लेकिन अब अपना टास्क क्या होता है किसी भी चीज

में? अपन कम से कम लॉस लेके आए। मतलब व्हेन वी डिड द फॉरवर्ड प्रोपगेशन जब अपन आगे गए एक बार तो मेरा लॉस कितना आया? 0.4

कुछ करके लॉस आया। देखो 0.494 लॉस आया। लेकिन मेरे को अब करना क्या है? इस लॉस को मिनिमाइज करना है या फिर सबसे कम करके ले

जाना है। तो अब इस चीज में अपन यूज़ करते हैं बैकवर्ड प्रोपगेशन का। मतलब अब ये जो लॉस आया है इसका यूज करके मैं पीछे जाऊंगा

और मैं अपने वेट्स को एडजस्ट करूंगा। क्योंकि टेक्निकली क्या हो रहा है? ये जो आपके वेट्स हैं ना ये जो आपके ऊपर ये

वेट्स लिखे रहते हैं यहां पे अगर W1 होगा, W2 होगा, W3, W4, W5, W6 ये मल्टीपल वेट्स हैं। ठीक है? W6 हो जाएगा, W7 हो जाएगा।

तो ये मल्टीपल वेट W6 तक ही होगा। W7 और W8 यहां होगा। ठीक है? पता नहीं क्या एक्स्ट्रा लिख दिया मैंने। तो ये जो आपके

पास ये मल्टीपल वेट्स हैं इन वेट्स की वजह से आपका आउटपुट डिटरमाइन होता है। तो दैट मींस अब जब मैं बैकवर्ड प्रोपगेशन करूंगा

तो मैं अपने वेट्स को अपडेट करूंगा। अब वेट्स को कैसे अपडेट करेंगे? देखो। सो फॉर अपडेटिंग द वेट या फिर फॉर चेंजिंग द वेट

देयर इज़ अ फार्मूला एंड दैट इज़ वेट अपडेशन फार्मूला। तो चलो उसको देखते हैं और समझते हैं। अब पहले तो मैं फ़ूले पे बात करूंगा

थोड़ी सी और फिर उसके बाद कैलकुलेशन में क्योंकि अब यहां से कैलकुलेशन काफी ज्यादा टफ हो जाती है। तो लेट्स सबसे पहले तो

देखते हैं एक डायग्राम। मैं वापस से एक बार वो डायग्राम बनाना चाहूंगा जिससे थोड़ा ढंग से आपको और अच्छे से समझ आएगा।

ठीक है? सो दिस वाज़ द डायग्राम। वन टू थ्री इनपुट्स टू मिडिल लेयर्स एंड वन आउटपुट लेयर्स।

कनेक्शन वाज़ वेरी सिंपल। ये हुआ एक। ये हुआ दो कनेक्शन। ये हुए यहां से दो कनेक्शंस। एंड ये हुए यहां से दो

कनेक्शंस। ठीक है? तो ये तो कनेक्शंस अपने सिंपल से थे। और अपने वेट्स कैसे थे भैया? वेट्स थे W1

लेट्स डू वन थिंग। थोड़ा सा कलर चेंज कर लेता हूं। अच्छा दिखता है यहीं से। तो यहां पे भैया एक वेट था W1, W2, W3, W4,

W5 एंड W6 और W6 के बाद यहां पे था वेट सिक्स के बाद वेट सेवन एंड वेट एट। एंड यहां पे बायसेसिस थे डिफरेंट-डिफरेंट।

बायसेसिस पे अपन ज्यादा ध्यान नहीं देंगे। एंड फाइनली आपका आउटपुट आता है। ठीक है? तो आपका आउटपुट कितना आ रहा था? 0.6168

आ रहा था। ठीक है? तो 0.6168 आ रहा था। और क्यों आ रहा था? क्योंकि आपने जो इनपुट्स दिए थे x1, x2 एंड x3

उनकी वैल्यूज़ ये थी सिंपल सी 2.0 1.0 3.0 और आपके ये जो वेट्स थे इनकी वजह से आपका ये आ रहा है आउटपुट। और जब अपन ने लॉस

कैलकुलेट किया तो इसकी वजह से अपना क्या आ रहा था लॉस? 0.494 और अब मेरे को क्या करना है? इस लॉस को

मिनिमाइज करना है जितना हो सकता है। तो अब उस चीज के लिए अब मैं जाता हूं बैकवर्ड प्रोपगेशन पे। अब मैं उल्टा जा रहा हूं।

ठीक है? अब उल्टा जाने के लिए सबसे पहले तो वेट्स को अपडेट करना पड़ेगा। ठीक है? अब वेट अपडेशन फार्मूला इज वेरी सिंपल।

मैं पहले वेट अपडेशन फार्मूला लिखता हूं। वेट अ ये बोल सकते हो वेट न्यू इक्वल्स टू वेट ओल्ड जो पुराना वेट ओल्ड

चल रहा है। माइनस लर्निंग रेट। अभी सब समझाऊंगा। लर्निंग रेट क्या होता है? लर्निंग रेट इंटू डेरिवेटिव ऑफ लॉस

डिवाइडेड बाय डेरिवेटिव ऑफ़ w न्यू यस w न्यू लिख दे न्यू तो निकालना ही है w ओल्ड सो दिस इज़ द फार्मूला क्या है भैया आपका

जो नया वेट निकालना चाह रहे हो कोई भी जो नया वेट आप कैलकुलेट करना चाह रहे हो उसमें सबसे पहले तो आप पुराने वेट से

माइनस करते हो फिर एक चीज होती है लर्निंग रेट ठीक है लर्निंग रेट आप खुद डिसाइड करते हो 0.1 0.2 0.3 0.4 बड़ा भी हो सकता

है छोटा भी हो सकता है वो सब अपन देखेंगे कब करते अ लर्निंग रेट इंटू ल डेरिवेटिव ऑफ़ लॉस

डिवाइड बाय डेरिवेटिव ऑफ़ W ओल्ड। चलो अब एक बहुत सिंपल सा एग्जांपल दूंगा और समझना बहुत ध्यान से। ठीक है? मान लो आपके पास

इतने सारे वेट्स हैं। ठीक है? आप वेट सेवन को सबसे पहले तो अपडेट करना चाहते हो। ठीक है? और अब यहां पे लगता है चेन रूल ऑफ

डेरिवेटिव। समझोगे? सब समझोगे। ठीक है? यू वांट टू अपडेट वेट सेवन। व्हाट डू यू थिंक दिस वेट सेवन इज़ इज़ डिपेंडेंट ऑन? या फिर

आप बोल सकते हो आपका जो आउटपुट है वो किस पे डिपेंडेंट है? वेट सेवन पे डिपेंडेंट है। या फिर आपका आउटपुट वेट एट पे भी

डिपेंडेंट है। हां वेट एट पे भी डिपेंडेंट है। या फिर आप ये बोल सकते हो आपका जो ये आउटपुट है इसको आप बोल रहे हो आउटपुट

थ्री। ये है आउटपुट वन और ये है आउटपुट टू। ठीक है? या फिर आप ये भी बोल सकते हो ये जो आउटपुट थ्री है ये टेक्निकली

डिपेंडेंट है आउटपुट वन और आउटपुट टू पे। जो भी आउटपुट वन और आउटपुट टू आएंगे। लेकिन अभी मेरे को क्या करना है? हमें वेट

सेवन को अपडेट करना है। सो फॉर अपडेटिंग वेट से आप यहां पे लिखोगे W7 न्यू वेट 7 न्यू = W7 ओल्ड इसकी वैल्यू तो अपने को

पता ही है अपन ने ऊपर लिखी है लर्निंग रेट लर्निंग रेट लेट्स से मैंने सेट कर दिया 0.1 0.2 का इसकी भी वैल्यू पता है। अब बात

करते हैं इस फ़ूले की। ठीक है? अब ये जो फ़ूला है, ये होगा एक्सपैंड। ये क्या होगा? एक्सपैंड होगा। मतलब करेंटली आई एम टॉकिंग

अबाउट W7 ओल्ड। तो इसको थोड़ा सा अगर मैं इबोरेट करूं तो इस वाले फॉर्मूले के हिसाब से आई वांट टू कैलकुलेट डेरिवेटिव ऑफ लॉस

डिवाइडेड बाय डेरिवेटिव ऑफ़ W ऑफ़ 7 ओल्ड। इस चीज को मैं कैलकुलेट करना चाह रहा हूं। एंड इफ आई वांट टू कैलकुलेट दिस थिंग यहां

पे आएगा डेरिवेटिव ऑफ़ लॉस डिवाइडेड बाय ये जो W7 ओल्ड है ये किस पे डिपेंडेंट है? या फिर किसके थ्रू ये जनरेट हो रहा है? ओ

आउटपुट थ्री के हिसाब से। ठीक है? तो डेरिवेटिव ऑफ आउटपुट थ्री * डेरिवेटिव ऑफ आउटपुट थ्री डिवाइडेड बाय डेरिवेटिव ऑफ

आउटपुट या फिर आप बोल सकते हो W7 ओल्ड। क्यों? क्योंकि भैया जो आउटपुट है वो W7 ओल्ड पे ही डिपेंड करता है। W7 ओल्ड। अब

आपको बिल्कुल कुछ भी समझ नहीं आया भैया क्या लिख दिया? इतनी मैथ्स आती नहीं है। एग्जैक्टली आपको पूरी मैथ्स समझने की

जरूरत नहीं है। यू जस्ट नीड द डोमेन नॉलेज। लेट मी एक्सप्लेन यू वन सिंपल थिंग। ठीक है? मान लो

यह एक आदमी है। ठीक है? दिस इज वन पर्सन। मेरे को कुछ दिखा नहीं तो मैंने ये दिया। एंड दिस इज वन पर्सन। ठीक है? नाउ दिस इज

दिस इज पर्सन एंड दिस इज़ पर्सन बी। पर्सन ए पर्सन बी। ठीक है? पर्सन ए ने कुछ चीज बोरो करी या फिर कुछ चीज उधार पे दी पर्सन

बी को। अब पर्सन बी को जो चीज मिली है वो बहुत खराब आई है। तो ऑब्वियसली पर्सन बी किससे गुस्सा होगा? पर्सन ए से गुस्सा

होगा। अब मान लो ये जो पर्सन ए है इसको वो चीज पर्सन सी ने दी थी। आई होप ये चीज समझ आ रही है। देखो A B C मान लो तो भैया अगर

इसको कुछ चीज मिली है यह गुस्सा इस पे उतारेगा और अगर इसने यह किसी और चीज से ली थी मतलब किसी और से उधार लिया था तो ये उस

पे गुस्सा उतारेगा। पेन पे गुस्सा उतार देगा। सो दिस इज़ हाउ चेन रूल वर्क्स। मतलब आपके जो वेट्स हैं वो किसी ना किसी पे

डिपेंडेंट होता है। आपके जो आउटपुट्स हैं वो डिफरेंट-डिफरेंट वेट्स पे डिपेंडेंट होते हैं। और उस तरीके से अपन इसका यूज़

करते हैं। और ये जो है ये फार्मूला आपको चेन रूल करके देता है W7 ओल्ड को निकालने का। चलो एक और बहुत सिंपल सा एग्जांपल दे

रहा हूं। मान लो मैं वेट वन की बात कर रहा हूं। अभी किसकी बात कर रहा हूं? वेट वन की। आई वांट टू अपडेट वेट वन। तो मैं वेट

वन को अपडेट करने के लिए वेट वन न्यू करूंगा। इक्वल्स टू वेट वन जो ओल्ड वाला चल रहा है उसमें से माइनस करूंगा अपने

लर्निंग रेट को। यहां तक बिल्कुल सेम रहता है। अब अपन निकालते हैं वेट। क्या निकालने वाले हैं अपन? डेरिवेटिव ऑफ लॉस डिवाइडेड

बाय डेरिवेटिव ऑफ़ W1 ओल्ड। अब ये कैलकुलेट करते हैं। इसको कैलकुलेट करने के लिए अगेन आपको डेरिवेटिव ऑफ़ लॉस तो करना ही पड़ेगा

क्योंकि एवरीथिंग इज़ डिपेंडेंट ऑन द लॉस। मतलब लॉस से ही आपकी सारी चीजें शुरू होती हैं। और कहीं ना कहीं डेरिवेटिव ऑफ़ आउटपुट

थ्री से ही सारी चीजें वर्क करती हैं। ठीक है? क्योंकि दीज़ दीज़ आर द फर्स्ट कल्पेट्स। जो भी आपका लॉस आया सबसे पहला

कल्पेट आउटपुट थ्री है। अपन उल्टा जा रहे हैं। बैकवर्ड प्रोपगेशन पे जा रहे हैं। तो अपन लोग आउटपुट थ्री से तो सबसे पहले डील

करते ही हैं। फिर आउटपुट थ्री से डील करने के बाद अब मैं किसके पास जाऊंगा? आउटपुट थ्री बोलेगा कि यार मेरे को जो लॉस मिला

है या फिर मेरी वजह से जो लॉस आया है मेरे पे एक और बंदा डिपेंडेंट है एंड दैट इज आउटपुट वन। मतलब आउटपुट वन की वजह से मुझे

कुछ वैल्यू्यूज मिली जिसकी वजह से मैंने लॉस दिया। तो मैंने बोला कि भैया तो फिर डेरिवेटिव ऑफ़ आउटपुट थ्री किसको बोलेगा?

डेरिवेटिव ऑफ़ आउटपुट वन को बात करेगा। ठीक है? आउटपुट वन से ही बात करेगा। आउटपुट वन कुछ-कुछ आया था अपना। ऊपर अपन ने

कैलकुलेशन भी किया है। लेकिन फिर आउटपुट वन बोलेगा भैया मेरा जो आउटपुट आया है वो किसी और बंदे की वजह से आया है। वो आया है

वेट वन की वजह से। तो अपन इंटू कर देंगे क्या? डेरिवेटिव ऑफ आउटपुट वन बाय डेरिवेटिव ऑफ वेट वन ओल्ड। दैट्स इट। और

जब यह पूरा कैलकुलेशन करेंगे, इसका रिजल्ट आएगा। इसको पुट कर देंगे यहीं पे। एंड दैट्स इट। आपका रिजल्ट आ जाएगा। कितना

सिंपल है। देखो, अगेन वापस से अब आपको पॉज करके खुद का निकालना है। डेरिवेटिव ऑफ या फिर आप बोल सकते हो वेट सिक्स का निकालना

है। ठीक है? अब वेट सिक्स का कैसे निकालूंगा? पॉज करके कर लो। नहीं तो मैं बता ही रहा हूं। वेट सिक्स न्यू इक्व वेट

सिक्स का जो ओल्ड वाला वर्जन चल रहा है माइनस लर्निंग रेट इंटू अब यहां पे जो वैल्यू आएगी उसके लिए अपने को लिखना पड़ेगा

डेरिवेटिव ऑफ़ लॉस डिवाइडेड बाय डेरिवेटिव ऑफ़ W6 ओल्ड दैट्स इट। ठीक है? और इसकी वैल्यू क्या आएगी? इसकी वैल्यू आएगी भैया

सबसे पहले तो डेरिवेटिव ऑफ़ लॉस डिवाइड बाय डेरिवेटिव ऑफ़ O3 करना ही पड़ेगा। क्यों? क्यों करना पड़ेगा आउटपुट थ्री से? क्योंकि

भैया यहां से आपका चेन रूल शुरू होता है। मतलब सबसे पहली चीज तो यही है। यहीं से आप बैकवर्ड प्रोपगेशन पे जाओगे। ठीक है? फिर

O3 बोलेगा भैया मेरा जो रिजल्ट आया वो O2 की वजह से आया है। तो O2 पे अपन लोग बात करेंगे। तो O2 पे बात करने के लिए

डेरिवेटिव ऑफ़ O3 / डेरिवेटिव ऑफ़ O2 ठीक है? इससे अपन कंपेयर कर देंगे। फिर मल्टीप्लाई करेंगे O2 बोलेगा नहीं यार वेट

सिक्स की वजह से मेरा रिजल्ट आया था। तो इंटू डेरिवेटिव ऑफ़ O2 / डेरिवेटिव ऑफ़ वेट 6 ओल्ड। दैट्स इट। यहां से ये जो भी

निकलेगा इसको यहां पे पुट करेंगे और अपना रिजल्ट आ जाएगा। दैट्स इट। अब रिजल्ट कैन बी इन नेगेटिव, कैन बी इन पॉजिटिव। वो

अपने डिफरेंट-डिफरेंट वेट्स होते हैं। और फाइनली जब आप इन सब चीजों को कैलकुलेशन करते हो, आपका एक नया वेट आता है। सो दैट

मींस भैया आप यह बोलना चाह रहे हो कि आप हर एक वेट को कैलकुलेट करते हो? हां, हर एक वेट को कैलकुलेट करता है इन अ सिंगल

बैक प्रोपगेशन। और सारे ही वेट्स को मैं ऐसे अपडेट करता हूं। और अगर टेक्निकली देखा जाए, व्हाट्स द वेट अपडेशन फार्मूला?

दिस इज़ द वेट अपडेशन फार्मूला। इस पे मैं ग्रीन से हाईलाइट कर देता हूं। बहुत ध्यान से देख लो।

लेट मी डू वन थिंग। यहां पे मैं पर्पल लाइनिंग लेता हूं। पर्पल लाइनिंग से दिस इज़ द वेट अपडेशन फार्मूला। दैट्स इट। आई

होप आपको ये समझ आया होगा। और इस पे थोड़ा सा मैं ये भी चला सकता हूं क्या पेन? बहुत गंदा लग रहा है। माफ़ कर देना मेरे

को। ठीक है? तो आई होप आपको ये समझ आया होगा कि क्या होता है वेट अपडेशन फार्मूला। ठीक है? और ये वेट अपडेशन

फार्मूला मतलब एक बार जब मैं बैक प्रोपगेशन करता हूं तो सारे ही वेट्स को अपडेट कर देता हूं। सो दिस इज़ हाउ थिंग्स

वर्क। अब होता क्या है? एक बार आप फॉरवर्ड प्रोपगेशन करते हो और फिर उसके बाद आपके पास कुछ ना कुछ आता है लॉस। फिर उस लॉस को

यूज करके उसका डेरिवेटिव्स निकाल के फाइनली आप अपने सारे वेट्स को अपडेट कर देते हो। ठीक है? आफ्टर अपडेटिंग। देखो

भाई, मैं साफ बात बता रहा हूं। मैंने जहां तक मैथ्स बता सकता था, बताई। इसके आगे की अगर मैं मैथ्स बताऊंगा, तो आप लोग कंफ्यूज

जाओगे और आप लोग बोलोगे छोड़ देते हैं डीप लर्निंग। तो छोड़ना नहीं है। दीज़ आर समथिंग इंटशंस जो आपको बस पता होने चाहिए।

ठीक है? अब इसके आगे अपन क्या करते हैं? व्हाट्स द नेक्स्ट स्टेप? द नेक्स्ट स्टेप इज़ यूजिंग एन ऑप्टिमाइजर। नाउ लेट मी टेल

यू व्हाट एन ऑप्टिमाइजर इज़ बहुत ध्यान से समझना। ठीक है? ऑप्टिमाइजर आपने यूज़ किया। ग्रेडियंट डिसेंट इज़ एन ऑप्टिमाइजर। ठीक

है? तो अब अपन लोगों ने ये सोचा था कि भैया यार आपने एक एक्टिवेशन फंक्शन यूज़ किया था। दैट वाज़ ग्रेडियंट डिसेंट। और उस

एक्टिवेशन फंक्शन नो नॉट ग्रेडियंट सॉरी एक एक्टिवेशन फंक्शन यूज़ किया था। दैट वाज़ सिग्मोइड एक्टिवेशन। और उसको यूज़ करने के

बाद आपका एक रिजल्ट आया था। फिर उस रिजल्ट से आपको कुछ ना कुछ लॉस मिला। ठीक है? फिर आपने उस लॉस का यूज करके आपने वेट्स को

अपडेट कर दिया। ठीक है? अब आपने मल्टीपल वेट्स लिए। तो मान लो अपने पास पहले वेट वन, वेट टू, वेट थ्री, वेट फोर, वेट फाइव

ऐसे ही वेट सिक्स ऐसे मल्टीपल वेट्स थे। तो इनकी वजह से आपका लॉस आ रहा था 0 लेट्स से 432 का आ रहा था लॉस। ठीक है? लेट्स से

ये लॉस था। अब आपने क्या किया? आपने वेट अपडेशन फार्मूला किया। एक आगे गए और फिर एक पीछे गए। फॉरवर्ड के बाद एक बैकवर्ड

प्रोपगेशन किया। उल्टा गए उल्टे में सारे वेट्स को चेंज किया और आफ्टर चेंजिंग अब आपका जो लॉस है वो आ रहा है 0 349

तो दिस इज़ द लॉस नाउ तो ऑब्वियसली देयर इज़ एन इंप्रूवमेंट आपने इंप्रूव करा अपने मॉडल को मतलब आप एक बार जब फॉरवर्ड से एक

बार बैकवर्ड प्रोपगेशन किया यू इंप्रूव्ड योर मॉडल लेकिन क्या भैया अभी भी अपन सेटिस्फाइड हैं नहीं तो अब यहां पे अपन

यूज़ करते हैं मल्टीपल फॉरवर्ड वर्ड्स एंड मल्टीपल बैकवर्ड प्रोपगेशन। और अपने को यह कैसे पता चलेगा कितने करने हैं और कहां पे

रुकना है? उसके लिए अपन यूज़ करते हैं ऑप्टिमाइज़र्स का। ऑप्टिमाइज़र्स कैसे वर्क करेंगे? अब मान लो भैया ऑप्टिमाइज़र्स तो

बहुत ही सिंपल है। आपको पता है क्या करने वाले हैं अपन? ग्रेडियंट डिसेंट का यूज़ करने वाले हैं। यू आर गेटिंग सम ऑफ दी

लॉसेस। ठीक है? और अपन के पास लॉस आते जा रहे हैं और अपने को पता है वेट वन, वेट टू, वेट थ्री, वेट फोर की वैल्यूज़ के साथ

आ रहे हैं। तो व्हाट यू डू इज़ आफ्टर दिस यहां पर अपन यूज़ करते हैं

आफ्टर दिस वी यूज ऑप्टिमाइजर

ऑप्टिमाइजर्स लाइक ग्रेडियंट डिसेंट एंड बाय द वे वन मोर थिंग अगर आप लॉस कैलकुलेट कर रहे हो इट्स नॉट ऑलवेज

नेसेसरी टू कैलकुलेट द लॉस यूजिंग लेट्स से आप ये बोल सकते हो अ लॉग लॉस फंक्शन यू कैन यूज़ मीन स्क्वायर एरर एज़ वेल। लेकिन

वो तब करना जब आपके पास रिग्रेशन प्रॉब्लम हो। अगर आपके पास क्लासिफिकेशन है तो लॉग लॉस इज़ द बेस्ट फॉर लॉस। ठीक है? लॉस कर

दिया। अब अपन ऑप्टिमाइज़र्स यूज़ करते हैं। ऑप्टिमाइज़र्स में ग्रेडियंट डिसेंट का यूज़ करते हैं। अब यहां से तो आपको पता ही है

क्या स्टोरी चलती है। ग्रेडियंट डिसेंट में आपके पास एक कर्व बनता है। और इस कर्व में अपने को कहां पहुंचना पड़ता है? ग्लोबल

मिनीमा पॉइंट तक पहुंचना पड़ता है। अब मान लो जब आपने ये वाले वेट सेट ऑफ ये वाले वेट्स यूज़ करे थे। आपका पॉइंट यहां पे लाई

कर रहा था। अब ऑब्वियसली आपको कहां पे पहुंचना है? ग्लोबल मिनीमा पॉइंट पर पहुंचना है। तो ग्लोबल मिनीमा पॉइंट पर

पहुंचने के लिए आपको आपकी वैल्यूस को या फिर वेट को इनक्रीस करना पड़ेगा। आई होप ये चीज समझ आ रही है। ठीक है? अगर आपका

लॉस इस पॉइंट पे आता तो आप क्या करते? वेट को डिक्रीज करते। तो अगर आप ग्लोबल मिनीमा पॉइंट तक पहुंचना चाह रहे हो तो अगर आपका

लॉस कम आ रहा है या फिर आपका मतलब लेट्स से जो भी लॉस आ रहा है वो आपके ग्लोबल मिनीमा से इस साइड पे लेफ्ट साइड पे तो

आपकी वैल्यू पॉजिटिव आएगी। नहीं तो आपकी वैल्यू कहां जानी चाहिए? नेगेटिव जानी चाहिए। सो दिस इज द वेरी बेसिक थिंग जो

अपन करते हैं। तो भैया आप ये बोल रहे हो क्या मल्टीपल टाइम्स अपन फॉरवर्ड एंड बैकवर्ड प्रोपगेशन करते हैं? हां करते

हैं। क्योंकि अगर एक बार फॉरवर्ड से बैकवर्ड गए तो आपने एक बार चेंज किया वेट्स को। लेकिन जरूरी नहीं है ये वाले जो

चेंज्ड वेट हैं बिल्कुल सही रिजल्ट थे। फिर आप वापस से यही चीज करते हो। फिर से आप अपने वेट्स को चेंज करते हो और फिर से

आपके डिफरेंट वेट्स आते हैं और फिर से आपका अलग से लॉस कैलकुलेट होता है। एंड फाइनली लॉस कैलकुलेशन कब रोकते हैं? जब

अपन ग्लोबल मिनीमा पॉइंट पे लीस्ट लॉस पे पहुंच जाएं। एंड दैट्स इट। दिस इज़ हाउ यू एक्चुअली वर्क विद आप बोल सकते हो फॉरवर्ड

एंड बैकवर्ड प्रोपगेशन या फिर आर्टिफिशियल न्यूरल नेटवर्क कैसे वर्क करते हैं। ठीक है? अब यहां पे एक और चीज बताना चाहूंगा।

ये जो ग्लोबल मिनीमा पॉइंट था ये सब अचीव हो गया। पॉजिटिव हो गया, नेगेटिव हो गया। सब कुछ हो गया है। व्हाट वाज़ आई वाज़ गोइंग

टू टेल। आप जब एक फॉरवर्ड प्रोपगेशन करते हो और एक बैकवर्ड प्रोपगेशन करते हो। इसको अपन बोलते हैं इपॉक। क्या बोलते हैं? ई पी

ओ सी एच ईपॉक इज़ इक्व वन इपॉक इक्व वन फ़वर्ड प्रोपगेशन एंड वन बैकवर्ड प्रोपगेशन। इसका फुल फॉर्म आप अपने नोट्स

में लिख लेना। ठीक है? वन इपॉक इक्वल्स टू वन फॉरवर्ड एंड वन बैकवर्ड। ठीक है? अब अपन मल्टीपल टाइम्स इपॉक्स कर सकते हैं

अपने न्यूरल नेटवर्क्स को ट्रेन करते समय। मतलब ऑब्वियसली मैं देखता जाता हूं कितने इपॉक्स में मेरी एक्यूरेसी बढ़ती जा रही

है। फॉर एग्जांपल हो सकता है आपने एक इपॉक करा। आपकी 62% एक्यूरेसी आ रही है। आपने सेकंड एपॉक किया। आपकी एक्यूरेसी 62 से बढ़

के हो गई। लेट्स से 69%। ठीक है? फिर आपने थर्ड एपॉक किया। आपकी एक्यूरेसी बढ़ के हो गई 72। आपने फोर्थ एपॉक किया। आपकी

एक्यूरेसी बढ़ के हो गई 72 के बाद 84%। ठीक है? मान लो फिफ्थ एपॉक किया। आपकी एक्यूरेसी हो गई 86%। और ऐसे ही करते-करते

20थ एपॉक पे 20थ एपॉक मतलब आप समझ रहे हो क्या होता है एपॉक मतलब एक फॉरवर्ड एंड एक बैकवर्ड प्रोपगेशन। 20थ एपॉक पे आपकी

एक्यूरेसी हो गई 92% और फिर अब आपकी कास्टेंट 92 पे ही टहल रही है बात। ठीक है? तो यहां पे अब आप अपने ट्रेनिंग को

रोक देते हो। एंड यू डू दिस जब तक आपकी एक्यूरेसी एक सर्टेन पॉइंट या फिर आपका जो लॉस है वो ग्लोबल मिनीमा तक अचीव नहीं हो

जाता। एंड दीज़ आर सम ऑफ द ऑप्टिमाइज़र्स। क्या भैया अपन ग्रेडियंट डिसेंट ऑप्टिमाइजर ही यूज़ करते हैं? नहीं। अपन

कुछ और भी यूज़ करेंगे। देखेंगे बाद में। क्या भैया अपन लॉस फंक्शन में हमेशा यही यूज करेंगे। क्या नाम है? लॉग लॉस। नहीं

अपन हो सकता है अगर क्लासिफिकेशन की जगह रिग्रेशन प्रॉब्लम हो तब अपन यूज़ करेंगे। कौन सी चीज? मीन स्क्वाड एरर यूज़ कर सकते

हैं। क्या भैया अपन हमेशा सिग्मॉयड एक्टिवेशन फंक्शन ही यूज़ करेंगे या फिर एक्टिवेशन फंक्शन में सिग्माइड ही करेंगे।

नहीं अपन रेलू भी यूज़ कर सकते हैं। देयर आर मल्टीपल एक्टिवेशन फंक्शनंस एज वेल। तो अब अपन ने सीख लिया है बेस स्ट्रक्चर ऑफ

डेटा। आप बोल सकते हो डीप लर्निंग। और यह जो बेस स्ट्रक्चर है इसमें अपन ने सीखा कैसे एक परसेप्टन बना। कैसे परसेप्टन बनने

के बाद एक न्यूरल नेटवर्क क्रिएट हुआ। कैसे न्यूरल नेटवर्क में एक फॉरवर्ड प्रोपगेशन हुआ? कैसे ही न्यूरल नेटवर्क

में बैकवर्ड प्रोपगेशन हुआ। कैसे आपके वेट्स थे? कैसे आप वेट्स को असाइन करते हो? कैसे वेटेड सम निकालते हो? वेटेड सम

निकालने के बाद कैसे आप वापस से वेट को मैनपुलेट करते हो? कैसे आप बैकवर्ड प्रोपगेशन में सब चीजों को अप्लाई करते

हो? तो अगर थोड़ा सा भी आपको लग रहा है देयर इज एनीथिंग जो आपको लग रहा है कि भैया अब भी मेरे दिमाग से जा रही है। सो

इट्स अ रिकॉर्डेड कोर्स या फिर आप बोल सकते हो रिकॉर्डेड वीडियो। आप जल्दी से इसको रिवाइंड करो और आपको वापस से समझ आ

जाएगा। तुरंत करो। ठीक है? वेट मत करना इस चीज के लिए। सो दिस इज़ व्हाट वी हैव टू डू इन डीप लर्निंग। आई होप आप लोग नोट्स

बनाते चल रहे हो और बनाते चलना क्योंकि इसके बाद जो अपन पढ़ने वाले हैं वो और थोड़ा सा टफ हो सकता है। ठीक है? एंड

व्हाट आई वांट इज़ कि अपन लोग इसमें प्रोजेक्ट्स भी करेंगे। तो अच्छे-अच्छे प्रोजेक्ट्स आई एम वास थिंकिंग। लेकिन चलो

देखते हैं उसके लिए अलग वीडियोस निकालेंगे। बट यह वीडियो मैं अभी तक एकआध घंटे के ऊपर हो चुकी होगी और आपको लग रहा

होगा भैया सिर्फ सिर्फ और सिर्फ मैथ्स ही पढ़े जा रहे हैं। तो यस डीप लर्निंग में आपको मैथ्स पढ़नी पड़ेगी। थोड़ी सी पढ़नी

पड़ती है। एंड मैथ्स भी नहीं पढ़नी पड़ती। डोमेन नॉलेज लेनी पड़ती है। फॉर एग्जांपल नाउ यू नो कि कैसे चेन रूल ऑफ डेरिवेटिव

फॉलो होता है। बाय द वे मैं यहां पे लिख देता हूं। दिस इज़ दिस थिंग इज़ नोन एज स्पेशल स्टार्स मैं

लिख देता हूं। थोड़ा सा इंपॉर्टेंट है चेन रूल ऑफ डेरिवेटिव

थोड़ा सा कैलकुलस का यूज़ आ जाता है कभी-कभी। ठीक है? दैट्स इट। आई होप समझ आया होगा। चलो मूव करते हैं नेक्स्ट टॉपिक

पे। लेट्स गो। ओके? सो, नाउ यू फाइनली नो द इंट्यूशन अबाउट फॉरवर्ड एंड बैकवर्ड प्रोपगेशन कि कैसे काम करता है, कैसे

वेट्स डिस्ट्रीब्यूट होते हैं? कैसे वेट्स को अपडेट किया जाता है? क्या होता है चेन रूल ऑफ डेरिवेटिव? यू नो ईच एंड एवरीथिंग।

आपको पता है क्या होते हैं ऑप्टिमाइज़र्स? क्या होते हैं एक्टिवेशन फंक्शनंस? यू आल्सो नो व्हाट आर दीज़ थिंग्स? ठीक है? सब

कुछ मतलब आपको समझ आ गया। लेकिन नाउ लेट्स टॉक अबाउट सम मोर थिंग एंड दैट इज़ एक्टिवेशन फंक्शन। ठीक है? मतलब डू यू

रियली थिंक कि आप पूरी डीप लर्निंग पढ़ रहे हो और आपके पास सिर्फ एक एक्टिवेशन फंक्शन होगा। सो यू आर रोंग। ऑब्वियसली देयर आर

मल्टीपल एक्टिवेशन फंक्शनंस और उन्हीं को अपने को देखना है। लेकिन सबसे पहले बात करते हैं देयर इज़ एन एक्टिवेशन फंक्शन दैट

इज़ अ जस्ट वेट अ सेकंड एंड दैट एक्टिवेशन नेम फंक्शन इज़ क्या है अपना सिग्माइड एक्टिवेशन फंक्शन। ठीक है? सबसे पहले तो

भैया मैं यहां पे वो डाल देता हूं कि व्हाट वी आर गोइंग टू लर्न। सो नाउ लेट्स टॉक अबाउट

एक्टिवेशन फंक्शनंस। ठीक है? एंड एक्टिवेशन फंक्शनंस में सबसे पहला जो फंक्शन था एंड दैट वाज़

व्हाट आर सिग्मोइड एस आई जी एम ओ आई डी सिगोइड एक्टिवेशन फंक्शन और इसका फार्मूला क्या था? 1 / 1 + e टू दी पावर ऑफ़ - Z. सो

दिस इज़ द फार्मूला ऑफ़ आवर सिग्मॉयड एक्टिवेशन फंक्शन। यह चीज़ अपन सभी को पता है। लेकिन इस सिग्मॉयड एक्टिवेशन फंक्शन

के साथ एक प्रॉब्लम है। और जब भी अपन इसको अप्लाई करते हैं एंड दैट प्रॉब्लम इज़ वैनिशिंग ग्रेडियंट प्रॉब्लम। कौन सी?

वैनिशिंग ग्रेडियंट प्रॉब्लम। और मानो या ना मानो इट इज़ अ वेरी

इंपॉर्टेंट टॉपिक। क्योंकि इसको कई बार पूछ लिया जाता है कि क्यों आप सिग्माइड एक्टिवेशन फंक्शन यूज़ नहीं करते हो? उसकी

जगह आप क्यों tan, h वैल्यू जैसी चीजों को यूज़ करते हैं? तो समझना एक बहुत ही सिंपल सी चीज। सिग्माइड एक्टिवेशन फंक्शन अपन

यूज़ कब करते हैं? ये तब यूज़ करते हैं जब मुझे क्लासिफिकेशन टास्क करना हो। या फिर मुझे एक वैल्यू चाहिए जो हमेशा वन और ज़ीरो

के बीच में ही रेंज करे। सो यूजुअली अपन क्या करते हैं? सिग्माइड एक्टिवेशन फंक्शन का अप्लाई करते हैं। और उसके बाद आपको

वैल्यू ज़ीरो और वन के बीच में मिल सकती है। इट कैन बी 0.8, इट कैन बी 0.6 और हमेशा वो एक प्रोबेबिलिटी एस्टिमेशन रहता

है। ठीक है? और ये कब यूज़ नहीं करते? जब मेरे को रिग्रेशन टास्क करना है, लेट्स से मेरे को सैलरी की बात करनी है, मेरे को

एजेस की बात करनी है। इन सब चीजों को जब मुझे करना रहता है, तब मैं सिग्माइड एक्टिवेशन फंक्शन यूज़ नहीं करता। क्या

भैया सिग्माइड एक्टिवेशन फंक्शन अपन किसी रिग्रेशन टास्क में भी यूज़ कर सकते हैं? हां, कर सकते हैं। लेट मी टेल यू वन

एग्जांपल। लेट्स से आपको चर्न प्रेडिक्शन करना है और चर्न प्रेडिक्शन में आपको परसेंटेज निकालना है। प्रोबेबिलिटी

निकालना है कि ये बंदा क्या कितना परसेंट छोड़ सकता है अभी कंपनी को। को लेट्स से उसने छोड़ा नहीं है। लेकिन स्टिल ही इज़ एट

0.49% मतलब 49% ही इज़ रेडी टू लीव द कंपनी। आई होप ये चीज़ समझ आ रही है। ठीक है? ज़ीरो और वन के बीच में जब भी

स्पेसिफिक वैल्यूज़ चाहिए तब अपन सिग्मॉयड एक्टिवेशन फंक्शन का यूज़ करते हैं। अब बात करते हैं कि क्या है ये वैनिशिंग

ग्रेडियंट प्रॉब्लम? और क्यों अप क्यों अकर होती है सिग्माइड एक्टिवेशन फंक्शन की वजह से। द वैनिशिंग ग्रेडियंट प्रॉब्लम

हैपेंस ड्यूरिंग बैक प्रोपगेशन। कहां पे होती है? बैक प्रोपगेशन। मतलब फॉरवर्ड प्रोपगेशन में नहीं होते। आई विल

एक्सप्लेन यू ईच एंड एवरीथिंग। व्हेन ग्रेडियंट्स द स्मॉल अपडेट वी कैलकुलेट टू एडजस्ट वेट जब अपन लोग जब अपने वेट्स को

अपडेट करते हैं बिकम सो टाइनी दैट द अर्लियर लेयर ऑफ द डीप न्यूरल नेटवर्क स्टॉप लर्निंग। आई विल टेल यू व्हाट डीप

न्यूरल नेटवर्क इज़ इन अदर वर्ड्स वन ट्रेनिंग डीप नेटवर्क्स ग्रेडियंट आर मल्टीप्लाई लेयर बाय लेयर। इफ दीज़

ग्रेडियंट्स आर वेरी स्मॉल। जैसे लेट्स लेस दैन वन और हमेशा होंगे ग्रेडियंट्स वेरी स्मॉल। क्योंकि अपन अगर सिग्माइड

एक्टिवेशन फंक्शन लगाएंगे। दिस विल गिव अस द स्लो वैल्यूज़। मल्टीपाइंग देम अक्रॉस मेनी लेयर्स मेक देम श्रिंक टुवर्ड्स

ज़ीरो। ठीक है? दिस मींस द फर्स्ट फ्यू लेयर्स क्लोजर टू द इनपुट नेवर गेट अपडेटेड प्रोब्ली। सो द आप बोल सकते हो

नेटवर्क फेल्स टू लर्नेंट लो लेवल फीचर। ठीक है? भैया कुछ समझ नहीं आया। आपने लिख तो दिया, बोल तो दिया लेकिन हमें समझ नहीं

आया। कोई दिक्कत नहीं। अब मैं ध्यान से समझना मैं समझाने वाला हूं। देखो कभी आपने वो गेम देखा है? एक Instagram पे चलता है

कि मैं एक इमेज बनाऊंगा आपकी पीठ पे और वो इमेज किसी चीज की बनाई। मैंने बतख की बनाई लेट्स से। ठीक है? एक बतख की इमेज बनाई और

ऐसे-ऐसे करके। और फिर दूसरे वाले सामने ने एक बतख की जगह एक बिल्ली का एक मुंह बना दिया। ऐसे-ऐसे करके। फिर वो आगे जाता जा

रहा है। तो फिर वो मुंह भी नहीं हुआ। फिर वो बस एक ऐसा हो गया। एक आंख रह गई। फिर वो सर्कल की जगह किसी ने एक डब्बा ही बना

दिया। और फिर वो ऐसे-ऐसे करते-करते आखिरी में बस कुछ-कुछ बच जाता है। ठीक है? सो दिस इज अ वैनिशिंग ग्रेडियंट प्रॉब्लम।

लेट मी एक्सप्लेन यू व्हाई। स्टार्टिंग में जो बंदा है वो तो बिल्कुल सही कर रहा था। लेकिन आगे जाते-जाते जाते-जाते वो

वैनिश हो गया। या फिर आप बोल सकते हो गायब हो गई वो चीज। और यही चीज वैनिशिंग ग्रेडियंट प्रॉब्लम में होती है। लेट मी

एक्सप्लेन यू हाउ। देखो बहुत ध्यान से। लेट्स से आई एम क्रिएटिंग अ डीप न्यूरल नेटवर्क। ठीक है? अ डीप न्यूरल नेटवर्क

क्या होता है भैया? डीप न्यूरल नेटवर्क मतलब आपके पास काफी सारी हिडन लेयर्स होती हैं। लेट्स से देयर आर फाइव हिडन लेयर्स।

तो आपके पास क्या रहेगा? एक रहेगा इनपुट। ठीक है? एक इनपुट तो रहता ही है। लेट मी चेंज द कलर टू ग्रीन। ठीक है? सो, लेट्स

से यू हैव वन इनपुट। ठीक है? फिर आपके पास क्या है? हिडन लेयर्स हैं। एक हिडन लेयर यहां होगी। एक हिडन लेयर यहां होगी। एक

हिडन लेयर यहां होगी। और एक हिडन लेयर यहां होगी। यहां पे और नीचे-नीचे भी होंगे। लेकिन मैं उन सबको बना नहीं रहा

हूं। ठीक है? आई एम जस्ट यूजिंग वन ऑफ दी रो ऑफ योर डीप न्यूरल नेटवर्क। ठीक है? एंड इनसाइड दैट रो लेट्स से आपको पता है

दिस इज़ योर इनपुट। यहां से क्या आएगा? इनपुट आएगा। ये गया x1 या फिर आप बोल सकते हो इनपुट आर गॉन। अब यहां से अपने पास एक

और चीज़ रहेगी। एंड दैट इज़ ऑब्वियसली आपके जो न्यूरल नेटवर्क्स हैं वो क्या रहेंगे? एक दूसरे से कनेक्टेड रहेंगे। इट्स अ वेरी

सिंपल थिंग। ठीक है भैया। सब समझ आएगा। अब देखना मैनिशिंग ग्रेडियंट प्रॉब्लम और बहुत अच्छी चीज़ है ये। ठीक है? मतलब आपको

आनी चाहिए इंटरव्यू में पूछ ली जाती है। ठीक है? देन यू हैव वेट्स W1 W2 W3 W4 एंड दैट्स इट। ठीक है? और यहां से आउटपुट आ

जाता है। लेट्स से यू हैव फोर वेट्स और यहां पे आपके पास अ B1 B2 B3 B4 ठीक है? एंड लेट्स से आपके

पास एक क्लासिफिकेशन टास्क है। एंड यू आर गोइंग टू अप्लाई द सिग्माइड एक्टिवेशन फंक्शन हियर। वेरी सिंपल। तो अगर आप

सिग्माइड एक्टिवेशन फंक्शन अप्लाई करते हो ना लेट मी अह टेल मी वन थिंग। बहुत ईजी बहुत ईजी सा क्वेश्चन है। आपके पास ये

इनपुट आया x1 का। आप क्या करते हो? x1 * w1 करते हो। इट्स वेरी सिंपल। मान लो x1 की वैल्यू 26 है। ठीक है? और मान लो वेट

वन मैंने डिसाइड करके रखा है वन। द वेट वन इज़ वन। तो 26 * 1 कितना हो जाएगा? ऑब्वियसली भैया 26 * 1 हो जाएगा। क्योंकि

अपन क्या करते हैं? किसी फर्स्ट आउटपुट ये O1 को निकालने के लिए क्या करूंगा मैं? ऑब्वियसली x1 * w1 करूंगा। एंड दैट्स द

फार्मूला। और फिर अपन क्या करेंगे? इसमें बायस ऐड कर देंगे b और बस हो गया काम। ठीक है? सो दिस। लेकिन अब अपने पे अपने अपने

को क्या करना पड़ेगा? इसमें सिग्माइड एक्टिवेशन फंक्शन अप्लाई करना पड़ेगा। क्यों? क्योंकि इसका तो रिजल्ट क्या आ

जाएगा? ज़ीरो से बड़ा हो जाएगा। वन से बड़ा आ जाएगा। लेकिन आई डोंट वांट द रिजल्ट टू बी वन से बड़ा। तो अपने को क्या करना

पड़ेगा? ज़ीरो और वन के बीच में लाने के लिए एक्टिवेशन फंक्शन अप्लाई करना पड़ेगा। सो आई अप्लाई अप्लाइड द सिग्माइड

एक्टिवेशन फंक्शन एंड द रिजल्ट आई गॉट वाज़ 1 / 1 + 26 ओ सॉरी 1 / 1 + e पावर ऑफ़ - z एंड z विल बी 26 * 1 या फिर अपन बोल सकते

हैं + b एंड दिस विल बी द रिजल्ट ऑफ योर सिग्माइड एक्टिवेशन फंक्शन या फिर अपन बोल सकते हैं इस पूरे पे मैंने एक सिग्माइड

एक्टिवेशन फंक्शन अप्लाई कर दिया एंड आफ्टर डूइंग दैट जो वैल्यू मेरे को ज़ीरो से या वन से बड़ी मिल रही थी वो मिल गई

कितनी 0.623 लेट्स से दिस इज़ वन ऑफ़ द वैल्यू। सो आउटपुट वन वाज़ 0.623। ठीक है? अब इसके पास ये जो आउटपुट आया

इसको अपन आगे लेके जाएंगे। वेट्स को मल्टीप्लाई करेंगे इससे और फिर बायस ऐड करेंगे। फिर सिग्माइड फंक्शन अप्लाई

करेंगे। एंड लेट्स से अब आपके पास मल्टीपल आउटपुट्स आ गए। 0.823 आ गया। यहां पे आ गया 0.729 आ गया। क्योंकि ये जो आपके

आउटपुट्स हैं डिपेंड करता है आपके वेट्स पे। लेकिन अब ये मेरे को गारंटी है वो हमेशा ज़ीरो से छोटे ही आएंगे। ठीक है? और

फिर आ गया 0.294 लेट्स से मल्टीपल ऐसे आपके पास रिजल्ट्स आ गए वेरी सिंपल। और ये हो गया आपका फाइनल

आउटपुट। फिर आपने लॉस पॉस कैलकुलेट किया एंड देन यू मूव मूव टुवर्ड्स दी बैक प्रोपगेशन फज़। मतलब अब आप पीछे जाना

स्टार्ट कर रहे हो। नाउ अंडरस्टैंड वन थिंग। जब आप पीछे जाओगे तो बैक प्रोपगेशन में अपन एक चीज़ यूज़ करते हैं। एंड दैट इज़

चेन रूल ऑफ़ डेरिवेटिव्स। या फिर अपन बोल सकते हैं यू आर यूज़िंग डेरिवेटिव। लेकिन अब एक बहुत बड़ी प्रॉब्लम आती है। अगर आप

डेरिवेटिव निकालना चाह रहे हो किसी भी चीज का और अगर आप किसी पॉइंट वैल्यू का डेरिवेटिव निकालते हो तो हमेशा आपका जो

रिजल्ट है वो छोटा आएगा। या फिर आप बोल सकते हो 0.25 से लेके ज़ीरो के बीच में ही आएगा। लेट मी गिव यू अगेन एन एग्जांपल।

मान लो आपके पास एक नंबर है 100। 100 में अगर आप कुछ मल्टीप्लाई करते हो लेट्स से टू का मल्टीप्लाई करते हो तो क्या आएगा?

200 हो जाएगा। वन का करते हो क्या हो जाएगा? 100 हो जाएगा। लेकिन अगर यहीं पे आप 100 में किसी पॉइंट वैल्यू को

मल्टीप्लाई करते हो लेट से 0.5 का मल्टीप्लाई कर दिया। देख के ऐसा लग रहा होगा कि भैया बड़ी वैल्यू आएगी। वी आर

मल्टीपाइंग समथिंग। लेकिन इसकी वैल्यू कितनी आ जाती है? 50 आती है। फिर आप बोल सकते हो आपकी वैल्यू रिड्यूस हो जाती है

इफ यू आर मल्टीपाइंग समथिंग। और डेरिवेटिव्स तो बिल्कुल ही अलग खेलते हैं। इफ यू हैव लर्न कैलकुलस आपको पता होना

चाहिए कि अगर ज़ीरो और वन के बीच में किसी भी चीज का डेरिवेटिव निकालेंगे वो हमेशा 0.25 से नीचे वैल्यू प्रोवाइड करेगा या

फिर ज़ीरो और 0.25 के बीच में वैल्यू आएगी। एंड दिस इज़ व्हाट ग्रेनिशिंग ग्रेडियंट प्रॉब्लम इज़। लेट मी एक्सप्लेन यू। देखो

अब मान लो आई वांट टू अपडेट दिस वेट वन। मैं किसको अपडेट करना चाहता हूं? वेट वन को अपडेट करना चाहता हूं। सो फॉर अपडेटिंग

द वेट वन मेरे पास एक फार्मूला है। एंड द फार्मूला इज़ वेरी सिंपल। w न्यू = W ओल्ड माइनस सॉरी W हां सॉरी W ओल्ड माइनस

लर्निंग रेट * W नहीं सॉरी इंटू डेरिवेटिव ऑफ़ लॉस जो अपना कैलकुलेट

होगा यही यहां से अपन माइनस कर लेंगे हो जाएगा लॉस कैलकुलेट कोई सा भी यूज़ कर सकते हैं अपन log लॉस या फिर ऑब्वियसली जो भी

अपने पास रहता है डेरिवेटिव ऑफ़ लॉस डिवाइड बाय डे डेरिवेटिव ऑफ़ W होल्ड। सो दिस वाज़ द फ़ूला। और अगर मैं

सिर्फ इस सेक्शन की बात करता हूं इस पोर्शन की तो इसको मुझे सॉल्व करना पड़ेगा। और मुझे किसके लिए करना है? W1 के

लिए करना है। याद रखना वी वांट टू अपडेट W1 तो अगर मैं W1 को अपडेट करना चाहता हूं तो यहां पे कुछ ऐसा आएगा। डेरिवेटिव ऑफ़

लॉस डिवाइडेड बाय डेरिवेटिव ऑफ़ आउटपुट वन। सो दिस इज़ वन, दिस इज़ टू, दिस इज़ थ्री, दिस इज़ आउटपुट फोर। एंड इफ आई वांट टू डू

डेरिवेटिव ऑफ़ W1 ओल्ड तो इसका फार्मूला कुछ ऐसा बनेगा। डेरिवेटिव ऑफ़ लॉज़ डिवाइडेड बाय डेरिवेटिव ऑफ़ आउटपुट फोर इंटू

डेरिवेटिव ऑफ़ आउटपुट फोर बाय डेरिवेटिव ऑफ़ आउटपुट थ्री इंटू डेरिवेटिव ऑफ़ आउटपुट थ्री बाय डेरिवेटिव ऑफ़ आउटपुट टू। क्योंकि

देखो ना ये डिपेंडेंट है ना। आउटपुट फोर आउटपुट थ्री पे डिपेंडेंट है। आउटपुट थ्री आउटपुट टू पे डिपेंडेंट है। आउटपुट टू

आउटपुट वन पे डिपेंड है। दिस इज़ व्हाट चेन रूल इज़। और यहां पे डेरिवेटिव ऑफ़ आउटपुट वन डिवाइडेड बाय डेरिवेटिव ऑफ़ आउटपुट वन।

यहां पे टू हो जाएगा। इंटू डेरिवेटिव ऑफ़ आउटपुट वन इज़ डिपेंडेंट ऑन डेरिवेटिव ऑफ़ वेट। ठीक है? तो डेरिवेटिव ऑफ़ वेट हो गया।

इट्स वेरी सिंपल। वेट वन। इसी पे अपन को निकालना था। एंड दिस विल गिव अस द वैल्यू ऑफ़ दिस एंड आफ्टरवर्ड्स मेरे को मिल जाएगा

नया वेट। नाउ द मेन प्रॉब्लम अराइज़ज़ हियर ओनली। यू आर यूज़िंग डेरिवेटिव ऑफ़ आउटपुट वन। व्हाट वाज़ योर आउटपुट वन? बताओ क्या

था आपका आउटपुट वन? योर आउटपुट वन वाज़ 0.623। और यू कैन से योर आउटपुट वन वाज़ 0.623

बिकॉज़ ऑफ़ सिग्माइड एक्टिवेशन फंक्शन। एंड अगर अपन देखते हैं उस ग्राफ को इफ वी सी दिस ग्राफ अ लेट्स डू वन थिंग। मैं 4D में

बना देता हूं वो ग्राफ्स। क्योंकि अगर मैं अपने सिग्माइड एक्टिवेशन फंक्शन को देखता हूं तो उसका ग्राफ कुछ ऐसा बनता है। ठीक

है? दिस इज़ द ग्राफ। अ बहुत गंदा बनाया मैंने। लेट मी सी ये। हां, ठीक है। सो, दिस इज़ टेक्निकली द ग्राफ ऑफ़ सिग्माइड

एक्टिवेशन फंक्शन। स्क्वाश हो जाती है लाइनें। ठीक है? और स्क्वाश तो करते ही हैं। साथ में ये रहता है भैया ज़ीरो। ये

रहता है वन। और आपका जो मिड पॉइंट होता है वो क्या होता है? 0.5 रहता है। ठीक है? तो अब हमेशा आपको जब फर्स्ट टाइम लगाते हो तो

इन्हीं के बीच में वैल्यू रेंज करेगी। लेकिन अब जब आप डेरिवेटिव लगा दोगे 0.623 जैसी वैल्यू का तो अब उसकी वैल्यू रिड्यूस

हो के हमेशा 0.25 और 0 के बीच में ही आएगी। सो दैट मींस अब अपना यहां से शुरू होता है बैक प्रोपगेशन में वैनिशिंग

ग्रेडियंट प्रॉब्लम। मतलब ये जो 0.623 की वजह से आपका ने जो डेरिवेटिव लगाया उसकी वजह से वैल्यू छोटी आई। तो सारी

वैल्यू्यूज मल्टीप्लाई होती जा रही हैं। छोटी-छोटी छोटी छोटी छोटी-छोटी वैल्यू अगर आप मल्टीप्लाई करोगे तो क्या रिजल्ट होगा?

और छोटा होता जाएगा और वो श्रिंक हो के ज़ीरो तक पहुंच जाएगा। सो दैट मींस आपका जो रिजल्टेंट है वो हमेशा ज़ीरो के आसपास ही

आने लगेगा जितने आप इपॉक्स करोगे। और इपॉक्स क्या था? वन फॉरवर्ड वन बैकवर्ड। तो जैसे ही अपन लोगों ने वन फॉरवर्ड पढ़ा

था समझ आ गया था। लेकिन जब बैकवर्ड करते हैं उसमें अपने पास एक प्रॉब्लम आती है। एंड दैट इज़ वैनिशिंग ग्रेडियंट प्रॉब्लम।

और अब आप समझ रहे होगे मैंने क्यों ये वाला डायग्राम बनाया था जिसमें अपन डायग्राम्स बनाते जाते हैं उल्टे-उल्टे

उल्टे-उल्टे सामने वाला गलत बनाते जाता है और ऐसे ही भैया वेट वन वेट टू वेट थ्री वेट फोर जितना भी अपन सेट करेंगे वो

बार-बार सेट ही नहीं हो पाएंगे लेट मी एक्सप्लेन कैसे जब आपकी वैल्यू छोटी आती जा रही है नया वाला और ओल्ड वाले में

ज्यादा फर्क आ ही नहीं पाएगा और जब फर्क नहीं आएगा तो अपने वेट सेट होते नहीं है और एक्यूरेसी कम होती जाएगी। सो दैट्स

व्हाई वी हैव टू यूज़ एनी अदर एक्टिवेशन फंक्शन। क्योंकि अगर मैंने भैया यह वाला एक्टिवेशन फंक्शन यूज़ किया दैट इज़

सिग्मोइड तो उसमें अपने पास एक प्रॉब्लम आएगी एंड दैट इज़ वैनिशिंग ग्रेडियंट प्रॉब्लम। अब आपको एक चीज़ दिखाता हूं। इफ

यू सी इट अगेन अब आपको और अच्छे से समझ आएगा। द वैनिशिंग ग्रेडियंट प्रॉब्लम्स हैपेंस ड्यूरिंग बैक प्रोपगेशन। और देखो

बैक प्रोपगेशन में हो रही थी व्हेन ग्रेडियंट्स द स्मॉल अपडेट्स वी कैलकुलेट टू एडजस्ट वेट्स। जो अपन ग्रेडियंट्स

कैलकुलेट करते हैं बिकम सो टाइनी दैट द अर्लियर लेयर्स ऑफ़ डीप न्यूरल नेटवर्क स्टॉप लर्निंग। मतलब जो स्टार्टिंग लेयर्स

हैं वो लर्न करना बंद कर देती हैं। यही तो थी क्योंकि देखो यहां पे क्या निकाला अपन ने? डेरिवेटिव ऑफ़

लॉस डिवाइड बाय डेरिवेटिव ऑफ आउटपुट फोर। तो आउटपुट फोर तो वैसे ही छोटा है और छोटा कर देगा इसको। ठीक है? ये और छोटी हो

जाएगी। ये और छोटी हो जाएगा। ये और छोटा हो जाएगा। और ये और ज्यादा ही छोटा हो जाएगा। और जब वेट वन इतना ज्यादा छोटा हो

जाएगा तो ये लर्न करना बंद कर देगा। और जब वेट वन लर्न करना बंद करेगा तो इनपुट ही खराब, आउटपुट भी खराब। सब कुछ खराब हो

जाएगा। बस यह मान के चलो। ठीक है? तो यहां पे हुआ इन अदर वर्ड्स व्हेन ट्रेनिंग डीप नेटवर्क्स ग्रेडियंट्स आर मल्टीप्लाई लेयर

बाय लेयर इफ द ग्रेडियंट आर वेरी स्मॉल दैट इज़ लेस देन वन मल्टीपाइंग देम अक्रॉस मेनी लेयर्स मेक्स देम श्रिंक टुवर्ड्स

ज़ीरो छोटी होती जाती है वैल्यू और वो ज़ीरो की तरफ श्रिंक हो जाता है। दिस मींस द फर्स्ट फ्यू लेयर क्लोज टू द इनपुट नेवर

गेट्स अपडेटेड प्रॉपर्ली। जो स्टार्टिंग की लेयर्स हैं जैसे जो W1 हैं W2 हैं ये अच्छे से अपडेट नहीं हो पाते। सो द

नेटवर्क फेल्स टू लर्नेंट लो लेवल फीचर्स। आई होप आपको समझ आया होगा व्हाट एक्चुअली इज़ द ग्रेडियंट डिसेंट प्रॉब्लम।

ग्रेडियंट डिसेंट बोल रहा हूं। वैनिशिंग ग्रेडियंट प्रॉब्लम। आई एम नॉट सेइंग यू कैन नॉट यूज़ ग्रेडियंट डिसेंट। ग्रेडियंट

डिसेंट तो बहुत अच्छा होता है। उसको यूज़ कर सकते हैं। लेकिन यू कैन नॉट यूज़ सिग्माइड एक्टिवेशन फंक्शन। तो चलो ठीक है

भैया। आप बोल रहे हो सिग्माइड एक्टिवेशन फंक्शन नहीं यूज़ करना है। एग्जैक्टली फिर क्या यूज़ करें? रेलू यूज़ करो। tan यूज़

करो। देयर आर मेनी एक्टिवेशन फंक्शन। और इसीलिए तो यही टॉपिक लिखा था। द नेक्स्ट टॉपिक इज़ एक्टिवेशन फंक्शनंस। लेट्स सी सम

ऑफ़ द एक्टिवेशन फंक्शनंस जो अपन फॉरवर्ड एंड बैकवर्ड प्रोपगेशंस में यूज़ कर सकते हैं। लेट्स गो। अब आपको वैनिशिंग

ग्रेडियंट प्रॉब्लम के बारे में समझ आ गया होगा। और यह किसकी वजह से हो रही है भैया? जल्दी से बता दो। एक चीज की वजह से हो रही

है। एंड दैट इज वन ऑफ दी एक्टिवेशन फंक्शन या फिर आप बोल सकते हो स्पेसिफिकली सिग्मोइड एक्टिवेशन फंक्शन की वजह से हो

रही है। तो मतलब भैया मुझे ये समझ आ रहा है कि सिग्माइड एक्टिवेशन फंक्शन की जगह कोई सा और एक्टिवेशन फंक्शन यूज़ करना

पड़ेगा। एग्जैक्टली तो अब वही समझेंगे कि क्या एक्टिवेशन फंक्शनंस हैं। या फिर आप बोल सकते हो कितने एक्टिवेशन फंक्शनंस

हैं। ठीक है? नाउ दिस पोर्शन माइट फील अ लिट माइट माइट फील अ लिटिल बोरिंग। या फिर मैं तो यह बोल सकता हूं पूरी वीडियो आपको

थोड़ी सी बोरिंग लग रही होगी क्योंकि डीप लर्निंग में पहले आपको इंट्यूशन ही समझना पड़ता है हर एक चीज को और उसके बाद आपको

एक्शन लेना पड़ता है। एंड टेंशन मत लो। दिस विल बी द लास्ट थिंग। इसके बाद आई विल शो सम कोड या फिर मैं कोड में ये सब चीजें

करके दिखाऊंगा। ठीक है? नाउ लेट्स टॉक अबाउट द फर्स्ट एंड फॉरमोस्ट एक्टिवेशन फंक्शन। जो सबसे बेसिक था, सबसे पहले

डिस्कवर किया गया था। इवन जब ये परसेप्टों्स बने थे, उस वक्त पे यह डिस्कवर किया गया था। एंड दैट इज़ लीनियर

एक्टिवेशन फंक्शन। अब लीनियर एक्टिवेशन फ़ंक्शन क्या है भैया? लीनियर रिग्रेशन पढ़ा है। लीनियर रिग्रेशन में क्या आता है भैया

अपने पास? θ0 + θ1 x1 + θ2 x2 और भैया अगर अपन बात करते हैं डीप लर्निंग की। क्या है डीप लर्निंग में? डीप लर्निंग में है बायस

+ वेट 1 * x1 + वेट 2 * x2 या फिर + वेट 3 * x3 तो सेम ही फार्मूला था दोनों का। सही है? सेम चल रहा है। और इसी का जो रिजल्ट

आता है वही डायरेक्टली अपन पास कर देते हैं। दैट्स लीनियर एक्टिवेशन फंक्शन। मतलब कुछ भी स्क्वाश करने की जरूरत नहीं है।

कोई आपको सिग्माइड एक्टिवेशन फंक्शन नहीं लगाना। सिंपल जो रिजल्ट आ रहा है उसको आगे पास कर दो। एक तरीके से टेक्निकली अगर

परसेप्टन में इसको यूज़ करते हैं तो आप लीनियर रिग्रेशन ही यूज़ कर रहे हो। ठीक है? और ये वाला फार्मूला तो हर जगह ही

लगेगा। मतलब पूरी डीप लर्निंग आधे से ज्यादा इसी पे डिपेंडेंट है। इसलिए बोला था स्टार्टिंग में जब मैं मशीन लर्निंग

पढ़ा रहा था कि अगर लीनियर रिग्रेशन अच्छे से पढ़ लिया तो कहीं ना कहीं डीप लर्निंग में आपको बहुत हेल्प मिलेगी। ठीक है? तो

भैया यही सारी चीजें मेरे को पता है कि क्या थी लीनियर एक्टिवेशन फंक्शन? मतलब डायरेक्टली अ लीनियर एक्टिवेशन फंक्शन इज़

द सिंपलेस्ट टाइप ऑफ़ एक्टिवेशन फंक्शन। इट बेसिकली मींस आप सीधे डायरेक्ट वैल्यूज़ को पास कर दोगे। f ऑफ़ x मतलब जो अपन ने

एक्टिवेशन फंक्शन लगाया कुछ नहीं। वही x जो निकल रहा है वही वापस से प्रोवाइड कर दिया। सो द आउटपुट इज़ द सेम एज द इनपुट। द

न्यूरॉन डज़ंट ट्रांसफॉर्म द डेटा। इट जस्ट पाससेस इट फॉरवर्ड एज इट इज़। ठीक है? वेयर डू वी यूज़ इट? इन रिग्रेशन टास्क

ऑब्वियसली प्रेडिक्टिंग कंटीन्यूअस वैल्यूज़ लाइक सैलरी, हाउस प्राइसेस, टेंपरेचर एटसेट्रा। नाउ दिस वाज़ गुड विद

परसेप्टों्स या फिर आप बोल सकते हो जब एक सिंगल आपके पास एक इनपुट लेयर है, एक आउटपुट लेयर है। या फिर आप ये बोल सकते हो

जो लीनियर रिग्रेशन का मैं वर्क करता था वही सेम चीज किस में कर रहा हूं? अब न्यूरॉन्स का यूज़ कर रहा हूं। तो कुछ

डिफरेंस नहीं है। सेम ही आता। यूजुअली इन द आउटपुट लेयर ऑफ न्यूरल नेटवर्क। मतलब अपन इसको यूज़ कहां करते हैं? आउटपुट लेयर

में यूज़ करते हैं न्यूरल नेटवर्क के। बिकॉज़ वी डोंट वांट द आउटपुट टू बी रिस्ट्रिक्टेड बिटवीन ज़ीरो एंड वन।

एग्जांपल जैसे कि सैलरी। सैलरी 50 लाख, 80 लाख के ऊपर जाना चाहिए हाउस प्राइसेस को। तो, आपको एक आखिरी में ऐसा लगाना पड़ेगा

एक्टिवेशन फंक्शन जो ज़ीरो और वन के बीच में रिस्ट्रिक्ट ना करे। ठीक है? अ सिग्मॉयड फंक्शन वुड स्क्वीज़ एवरीथिंग

बिटवीन ज़ीरो एंड वन व्हिच वोंट मेक सेंस हियर। ठीक है? अब लिमिटेशंस क्या है? इफ यू यूज लीनियर एक्टिवेशन फंक्शन इन ऑल

लेयर्स द होल नेटवर्क बिकम जस्ट अ लीनियर मॉडल जो आप मशीन लर्निंग में बनाते थे वही आपने यहां पे बना दिया। तो मतलब जब आप डीप

लर्निंग यूज़ कर रहे हो तो उसमें जो आपकी हिडन लेयर्स होती हैं वहां पे आप इसको यूज़ नहीं करते हो। इसको कहां करते हो? आउटपुट

लेयर में यूज़ करते हो। ठीक है? मतलब मान लो ये है, ये है, ये है। तो ये है आपकी इनपुट, यह आपका आउटपुट, यह आपकी हिडन

लेयर। तो, हिडन लेयर में यू डोंट यूज़ लीनियर एक्टिवेशन फंक्शन। यू ऑलवेज यूज़ यूजज़ इट इन दी आउटपुट लेयर। ठीक है?

दैट मींस इट कैन नॉट कैप्चर कॉम्प्लेक्स नॉन लीनियर पैटर्न्स इन डेटा। दैट्स व्हाई हिडन लेयर यूज़ नॉन लीनियर एक्टिवेशन

फंक्शनंस लाइक रेलू, tan, सिग्मॉयड ये सब समझेंगे। ठीक है? बट द आउटपुट लेयर फॉर रिग्रेशन कैन बी लीनियर। कोई दिक्कत नहीं

है। अब सेकंड जो अपने को पता ही है दैट इज़ सिग्माइड एक्टिवेशन फंक्शन। इसी का यूज़ करके मैंने आपको स्टार्टिंग से एग्जांपल

बताया। सब कुछ समझ आया। ठीक है? द सिग्मॉयड फंक्शन इज़ एन s शेप्ड कर्व दैट स्क्वाशेस एनी रियल नंबर इंटू अ रेंज

बिटवीन ज़ीरो एंड वन। द फार्मूला इज़ वेरी सिंपल। f(x) = 1 / 1 + e ये पता है आपको। ठीक है? एंड व्हाट इज़ दिस z? ये z क्या

करता है? ये z कुछ नहीं है भैया। θ0 + θ1 x1 यही वाला पूरा फार्मूला है। ठीक है? या फिर आप बोल सकते हो कोई भी बड़ी सी बड़ी

वैल्यू को स्क्वाश कर देगा वन और ज़ीरो के बीच में। दैट्स सिग्मा एक्टिवेशन फंक्शन। लेकिन अब आपको पता है इन बाइनरी

क्लासिफिकेशन में यूज करते हैं प्रेडिक्टिंग यस नो डिजीज यूजुअली इन द आउटपुट लेयर व्हेन वी वांट द प्रोबेबिलिटी

ऑफ द आउटपुट। अब देखो अपन को क्या बोला गया? सिग्मॉयड एक्टिवेशन फंक्शन भी अपन यूजुअली आउटपुट लेयर में यूज़ करते हैं।