RAG क्या है? (What is RAG?)
RAG (Retrieval Augmented Generation) एक ऐसी तकनीक है जिसमें AI मॉडल फाइनल आंसर जनरेट करने से पहले बाहरी डेटा स्रोतों से प्रासंगिक जानकारी खोजता (retrieve) है, फिर उस जानकारी को यूज़र के सवाल के संदर्भ में जोड़कर (augment) एक सटीक जवाब जनरेट (generate) करता है। यह तकनीक Understanding Retrieval Augmented Generation (RAG) in AI Applications में विस्तार से समझाई गई है।
RAG के तीन भाग:
- Retrieval: प्रासंगिक जानकारी को फ़ेच करना
- Augmented: उस जानकारी को सवाल के संदर्भ में जोड़ना
- Generation: उस कॉन्टेक्स्ट का उपयोग करके फाइनल रिस्पांस जनरेट करना
RAG की आवश्यकता क्यों है?
GPT और Claude जैसे मॉडल दुनिया भर के सार्वजनिक डेटा पर ट्रेंड होते हैं, लेकिन प्राइवेट या स्पेसिफिक डेटा (जैसे कंपनी की इंटरनल पॉलिसी, कॉलेज नोट्स) पर सवाल पूछने पर सही जवाब नहीं दे पाते। इस समस्या को हल करने के दो तरीके हैं:
- मॉडल को फिर से ट्रेन करना - महंगा और मुश्किल, खासकर जब डेटा बार-बार बदलता हो
- RAG का उपयोग करना - ज़रूरत पड़ने पर डेटा से प्रासंगिक जानकारी फ़ेच करना
RAG के मुख्य लाभ:
- हेलुसिनेशन कम करना: सही और प्रासंगिक जानकारी प्रदान करने से गलत जवाब की संभावना कम होती है
- आसान अपडेट: बिना मॉडल को दोबारा ट्रेन किए स्रोत डेटा को अपडेट किया जा सकता है
RAG कैसे काम करता है? (स्टेप बाय स्टेप)
Stage 1: डेटा तैयार करना (इंजेक्शन स्टेज)
- डेटा लेना - PDF, डॉक्यूमेंट, वेबसाइट, डेटाबेस से डेटा
- चंकिंग (Chunking) - डेटा को छोटे-छोटे भागों (chunks) में बांटना। RAG एप्लीकेशंस के लिए टेक्स्ट स्प्लिटिंग तकनीकें और कोडिंग में चंकिंग रणनीतियों पर विस्तार से चर्चा की गई है।
- एंबेडिंग (Embedding) - टेक्स्ट को न्यूमेरिकल वैल्यू (वेक्टर) में बदलना जो उसका अर्थ भी कैप्चर करता है
- वेक्टर डेटाबेस - एंबेडिंग्स को स्टोर करना, जहां मीनिंग-बेस्ड सर्च (सेमेंटिक सर्च) संभव है
Stage 2: जवाब जनरेट करना
- यूज़र के सवाल को भी एंबेडिंग में बदलना
- वेक्टर डेटाबेस में सबसे प्रासंगिक चंक्स खोजना
- प्रासंगिक जानकारी + यूज़र के सवाल को मॉडल को देना
- मॉडल उस कॉन्टेक्स्ट के आधार पर फाइनल आंसर जनरेट करना
लॉन्ग कॉन्टेक्स्ट मॉडल के बावजूद RAG क्यों ज़रूरी है?
आज के मॉडल 10 लाख टोकन तक कॉन्टेक्स्ट हैंडल कर लेते हैं, फिर भी RAG ज़रूरी है:
- कॉस्ट: लॉन्ग कॉन्टेक्स्ट अप्रोच RAG से 8x से 82x तक महंगी हो सकती है
- स्पीड: बड़े कॉन्टेक्स्ट को प्रोसेस करने में ज़्यादा समय लगता है, जिससे यूज़र एक्सपीरियंस खराब होता है
- एक्यूरेसी: ज़्यादा जानकारी देने से एक्यूरेसी घट सकती है (कॉन्टेक्स्ट रोट प्रॉब्लम)
ICML 2025 में पब्लिश बेंचमार्क के अनुसार, लॉन्ग कॉन्टेक्स्ट मॉडल हर स्थिति में RAG से बेहतर नहीं है। RAG बेहतर है जहां:
- डेटा बार-बार बदलता हो
- डेटा सेट बहुत बड़ा हो
- जवाब के साथ सोर्स दिखाना ज़रूरी हो (जैसे मेडिकल, लीगल, फाइनेंस)
2026 में RAG का विकास
- एजेंटिक RAG: मॉडल खुद तय करता है कि जानकारी रिट्रीव करनी है या नहीं और कहां से
- हाइब्रिड सर्च: सिर्फ सेमेंटिक सर्च नहीं, बल्कि कीवर्ड-बेस्ड सर्च भी कंबाइन करना (जैसे प्रोडक्ट कोड, एरर मैसेज)
- रीरैंकिंग: मल्टीपल चंक्स में से टॉप चंक्स को चुनकर अनावश्यक जानकारी को हटाना
RAG के रियल-वर्ल्ड यूज़ केसेस
- कस्टमर सपोर्ट चैटबॉट: पॉलिसीज, वारंटी नियम, FAQ फीड करके
- लीगल टीम्स: कॉन्ट्रैक्ट से रेलेवेंट सेक्शन खोजना और कोट करना
- हेल्थकेयर: मरीज़ की मेडिकल हिस्ट्री खोजना
- इंटरनल कंपनी असिस्टेंट
- कोडिंग असिस्टेंट: कोड बेस से रेलेवेंट फाइल्स और स्निपेट्स खोजना
नोट: RAG हर स्थिति में ज़रूरी नहीं है। अगर डेटा सिर्फ 20-30 पेज का है, तो सीधा मॉडल के कॉन्टेक्स्ट में फीड करना बेहतर है।
RAG प्रोजेक्ट बनाने के लिए ज़रूरी कॉम्पोनेंट
- फ्रेमवर्क: LangChain या LlamaIndex। LangChain में गहरी रुचि के लिए Master Generative AI: From Basics to Advanced LangChain Applications देखें।
- एंबेडिंग मॉडल: OpenAI Embeddings या Sentence Transformers
- वेक्टर डेटाबेस: Chroma (शुरुआत के लिए), Pinecone या Qdrant (प्रोडक्शन के लिए)
- AI मॉडल: GPT, Claude, Gemini
प्रोजेक्ट बनाने के बाद रिट्रीवल क्वालिटी, चंकिंग स्ट्रैटेजी, एंबेडिंग, रीरैंकिंग और इवैल्यूएशन पर फोकस करें - यही एक बेसिक और प्रोडक्शन-लेवल RAG सिस्टम में फर्क है।
अगर आप एआई स्पेस को थोड़ा भी फॉलो कर रहे हो तो एक टर्म आपने बार-बार सुनी होगी। दैट इज रैग रिट्रीवल ऑगमेंटेड जनरेशन।
चाहे एआई एप्लीकेशनेशंस की बात हो, एलएलएम्स की बात हो, एआई एजेंट्स की बात हो, हर जगह रैग डिस्कस हो रहा है। अब मन
में सवाल ये आ सकता है कि रैग एक्चुअल में होता क्या है? एग्जैक्टली वही हम इस वीडियो में डिस्कस करने वाले हैं कि व्हाट
इज़ रैग? रैग काम कैसे करता है? एआई सिस्टम्स में रैग इंपॉर्टेंट क्यों है? और अगर लॉन्ग कॉन्टेक्स्ट मॉडल्स मार्केट में
एक्सिस्ट करते हैं तो रैग रिलेवेंट कैसे हुआ? 2026 में रैग कैसे इवॉल्व हो रहा है? ये सारे सवालों के जवाब आपको इस वीडियो के
माध्यम से मिलने वाले हैं। उसके लिए आपको ये वीडियो पूरी एंड तक देखनी होगी। तो शुरू करते हैं ये समझते हुए कि व्हाट इज
रैग? सो रैग स्टैंड्स फॉर रिट्रीवल ऑगमेंटेड जनरेशन। एक ऐसी टेक्निक जिसमें एi मॉडल फाइनल आंसर जनरेट करने से पहले
एक्सटर्नल डेटा सोर्स में से रेलेवेंट इंफॉर्मेशनेशन को सर्च करता है। फिर उस इंफॉर्मेशनेशन को यूजर के क्वेश्चन के
कॉन्टेक्स्ट में यूज़ करता है और उसके बेसिस पर आपको फाइनल आंसर या फाइनल रिस्पांस जनरेट करके देता है। अब अगर मुझे
रैक को इन डिटेल समझना है तो मुझे उसके तीनों पार्ट्स रिट्रीवल, ऑगमेंटेड जनरेशन इनको समझना होगा। रिट्रीवल का मतलब है
रेलेवेंट इनेशन को फेच करके देना। ऑगमेंटेड का मतलब है उस इंफॉर्मेशन को यूजर के क्वेश्चन के कॉन्टेक्स्ट में ऐड
करना एंड जनरेशन का मतलब है उस कॉन्टेक्स्ट को यूज़ करके फाइनल रिस्पांस आपको जनरेट करवा के देना। अब सवाल यहां पर
ये आता है कि रैक की नीड ही क्यों पड़ी? जीपीटी और क्लॉड जैसे मॉडल्स के पास आज के टाइम पर दुनिया भर का जनरल डेटा या इनेशन
अवेलेबल है। आप उनसे किसी भी टॉपिक पर जाकर सवाल कर सकते हैं। आपको आंसर मिल जाएगा। और ये इसीलिए होता है क्योंकि ये
सारे के सारे मॉडल्स पब्लिकली अवेलेबल डेटा के ऊपर अच्छे से ट्रेंड होते हैं। लेकिन यहां पर एक इशू है लेट्स से आपके
पास कोई एक स्पेसिफिक टाइप का डेटा है जो इन मॉडल्स के पास अवेलेबल नहीं है तो उस पे अगर आप सवाल करोगे तो हो सकता है कि जो
आंसर आप एक्सपेक्ट कर रहे हो वो आंसर आपको ना मिले। एग्जांपल लेट्स से आपके कुछ कॉलेज नोट्स हैं या कंपनी की इंटरनल
पॉलिसी है या कोई प्राइवेट डेटाबेस है जिसके ऊपर आप कोई सवाल कर रहे हैं। अब क्योंकि इस डेटा के ऊपर आपका मॉडल कभी
ट्रेन ही नहीं हुआ या इस डेटा को वो मॉडल यूज़ ही नहीं कर पा रहा। तो इसलिए आपको आंसर से आंसर कर नहीं पा रहा है। अब इस
पर्टिकुलर सिनेरियो को हैंडल करने के लिए भी आपके पास दो ऑप्शंस हैं या दो तरीके हैं। सबसे पहला तरीका कि आप उस मॉडल को ये
वाला डेटा प्रोवाइड कर दो। इस वाले डेटा के ऊपर उस मॉडल को ट्रेन कर दो और फिर आप उससे कोई सवाल करोगे इस डेटा के ऊपर तो
आपको अच्छे से वो आंसर कर पाएगा। पर यहां पर एक इशू ये है कि अगर ये डेटा फ्रीक्वेंटली चेंज हो रहा है तो वो मॉडल
को बार-बार है ना अप टू डेट रखना मेंटेन कर पाना शायद आपके लिए थोड़ा सा डिफिकल्ट हो सकता है। सेकंड अप्रोच आपके पास यहां
पर ये है कि मॉडल को जरूरत पड़ने पर अपने डेटा में से रेलेवेंट इंफॉर्मेशन फैच करने देना। लेट्स से कोई यूजर की क्वेरी आती
है, कोई क्वेश्चन आता है तो सिस्टम रेलेवेंट इंफॉर्मेशनेशन ढूंढता है। उस इंफॉर्मेशनेशन को कॉन्टेक्स्ट में
प्रोवाइड करता है और मॉडल उस इंफॉर्मेशनेशन के बेसिस पर आपको फाइनल आंसर जनरेट करके देता है। और इसी तरीके को
हम रैग भी कहते हैं। एंड इसी अप्रोच के दो मेजर बेनिफिट्स हैं। सबसे पहला हेलुसिनेशंस को रिड्यूस कर पाना।
हेलुसिनेशन तब होती है जब एआई के पास रिलायबल इनफार्मेशन नहीं होती। बट स्टिल वो कॉन्फिडेंटली आपको एक मेड अप एक
इनकरेक्ट आंसर प्रोवाइड कर रहा होता है। बट रैक के केस में आपके मॉडल को एक रेलेवेंट सोर्स इंफॉर्मेशनेशन प्रोवाइड की
जाती है जिससे उसका कॉन्टेक्स्ट काफी बेटर हो जाता है एंड इनकरेक्ट आंसर्स के चांसेस बहुत ही ज्यादा मिनिमल हो जाते हैं। दूसरा
बेनिफिट यहां पर होता है इंफॉर्मेशनेशन को इजीली अपडेट कर पाना। इसका मतलब अगर सोर्स का डेटा चेंज हो जाता है तो अपडेटेड इनेशन
को आप सोर्स के अंदर ऐड या रिप्लेस दोनों ही कर सकते हो। आपको दोबारा से मॉडल को उस डेटा के ऊपर ट्रेन करने की नीड नहीं है।
तो अब एक बार समझते हैं कि रैग एक्चुअल में अंदर से काम कैसे करता है। इसको हमने डिफरेंट स्टेजेस के अंदर डिवाइड किया है।
स्टेज नंबर वन यहां पर है प्रिपेयरिंग द डेटा जिसे हम इंजेक्शन वाला स्टेज भी कहते हैं। सबसे पहले आपका सिस्टम आपसे डेटा ले
लेगा। ये डेटा किसी भी फॉर्मेट में पीडीएफ, डॉक्यूमेंट, वेबसाइट, डेटाबेस किसी भी प्रकार का डेटा यह हो सकता है।
किसी भी फॉर्मेट में स्टोर्ड ये डेटा हो सकता है। और इस डेटा को छोटे-छोटे पार्ट्स में डिवाइड करेगा। इन छोटे पार्ट्स को हम
चंक्स भी कहते हैं। एग्जांपल के लिए कोई ऐसा सवाल यूजर ने किया जो कि रिफंड पॉलिसी से रिलेटेड है तो रिस्पांस में आपको कोई
300 पेज की फाइल नहीं मिलने वाली। वहां पे आपको जो भी रेलेवेंट इनेशन है सिर्फ उतना ही पार्ट चाहिए। तो चंकिंग काफी ज्यादा
इंपॉर्टेंट है। अब चंक्स बनाते हुए हो सकता है कि एक टॉपिक जो है बीच में से ही कट हो गया या सेंटेंस बीच में से ही कट हो
गया। तो हो सकता है कि कॉन्टेक्स्ट थोड़ा सा बेकार बने उस चीज की वजह से और अगर कॉन्टेक्स्ट बेकार बन गया तो रिस्पांस भी
बेकार आने के चांसेस बहुत ज्यादा हैं। तो चंकिंग करते हुए स्ट्रक्चरिंग के ऊपर ध्यान देना भी काफी ज्यादा इंपॉर्टेंट है।
अब जो आपके चंक्स रेडी हैं तो इन चंक्स को अगर मैं न्यूमेरिकल वैल्यूज़ में कन्वर्ट कर दूं तो वो क्या कहलाता है? वो आपकी
एंबेडिंग्स कहलाती है। अगर सिंपल भाषा में समझे तो एंबेडिंग्स बेसिकली टेक्स्ट के न्यूमेरिकल रिप्रेजेंटेशन को कहते हैं। और
उसी न्यूमेरिकल रिप्रेजेंटेशन के अंदर उसका मीनिंग भी कैप्चर हो जाता है। ये कैसे होता है? है उतनी डेप्थ में आपको
जाने की नीड नहीं है। बस अभी एक हायर लेवल पर चीजों को समझने की कोशिश कर रहे हैं। अब जब आपकी एंबेडिंग्स रेडी हो जाएंगे तो
उसको आप वेक्टर डेटाबेसिस के अंदर स्टोर करने वाले हो। एंड वेक्टर डेटाबेसिस की एक खासियत ये है कि ये सिर्फ एग्जैक्ट कीवर्ड
बेस्ड कंपैरिजन करके सर्च नहीं करता। अगर आप चाहें तो यहां पर इंफॉर्मेशनेशन के मीनिंग को भी कंपेयर कर सकते हैं। इसीलिए
अगर यूजर का क्वेश्चन एंड डॉक्यूमेंट डिफरेंट वर्ड्स में सेम चीज को एक्सप्लेन करने की कोशिश कर रहे हो तो उस केस में भी
वेक्टर सर्च रेलेवेंट इनेशन काफी इजीली आइडेंटिफाई कर सकता है। एंड इसे मीनिंग बेस्ड सर्च और सिमेंटिक सर्च भी कहते हैं।
सो स्टेज टू इज़ अबाउट व्हेन द क्वेश्चंस कम इन। जब भी यूजर आके सवाल पूछेगा उस सवाल को भी एंबेडिंग्स में कन्वर्ट किया
जाता है। अब वेक्टर डेटाबेस के अंदर सर्च किया जाता है कि कौन से चंक्स ऐसे हैं जो इस पर्टिकुलर एंबेडिंग से सबसे ज्यादा
रिलेट कर पाते हैं। रेलेवेंट इनेशन को फच कर लिया जाता है। इस रेलेवेंट इनेशन के साथ जो क्वेश्चन की इनेशन थी ये दोनों
प्रकार की इनेशन को आपके मॉडल को दे दिया जाता है। और मॉडल उस कॉन्टेक्स्ट का यूज़ करके आपको फाइनल आंसर जनरेट करके देता है।
एंड रैक की अगर बात करें तो यही रैक का रिट्रीवल एंड जनरेशन का एक्चुअल प्रोसेस कंप्लीट हो जाता है। अब यहां पर आपके मन
में एक सवाल हो सकता है कि आज के मॉडल्स 10 लाख टोकंस तक काफी ईजीली कॉन्टेक्स्ट हैंडल कर लेते हैं। तो अगर ये फंक्शनैलिटी
अवेलेबल है तो फिर मैं क्यों चिंकिंग, एंबेडिंग, वेक्टर डेटाबेसिस ये सारी चीजें पढ़ रहा हूं। मैं सीधा जाके अपने डेटा को
अपने मॉडल को प्रोवाइड कर दूंगा। वो मुझे आंसर दे देगा। मैं क्यों रिट्रीवल के बारे में पढूं? मैं क्यों जनरेशन के बारे में
पढ़ूं? मैंने कहा कि जो रियल वर्ल्ड एप्लीकेशनेशंस हैं जो रियल वर्ल्ड सिनेरियो है वो आपकी थ्योरी से काफी
डिफरेंट है और इसको हम तीन चैलेंजेस के माध्यम से काफी इजीली समझ सकते हैं। सबसे पहला चैलेंज इज़ कॉस्ट पैसा। अगर आप हर
क्वेरी में 10 लाख टोकंस का यूज कर रहे हैं तो ऑब्वियसली वो काफी एक्सपेंसिव आपके लिए होने वाला है। एक रिसर्च की अगर बात
करें तो लॉन्ग कॉन्टेक्स्ट अप्रोच को अगर हम रैग अप्रोच से कंपेयर कर रहे हैं तो 8x से लेकर 82x तक हमें ज्यादा पे करना पड़
रहा है। इतना पैसा देना पड़ेगा तो फिर अच्छी बात थोड़ी है। सेकंड चैलेंज की बात करें तो वो है स्पीड। एंड अगर इतना बड़ा
कॉन्टेक्स्ट तुम प्रोसेस करने वाले हो तो ऑब्वियस सी बात है। एंड यह ऑब्वियस है कि इतना बड़ा कॉन्टेक्स्ट प्रोसेस करने में
काफी ज्यादा टाइम लग सकता है। और जब थाउजेंड्स ऑफ यूजर एक साथ सिस्टम को यूज़ कर रहे हो तो हर एक क्वेरी में एक्स्ट्रा
प्रोसेसिंग टाइम डायरेक्टली यूजर एक्सपीरियंस को और इंफ्रास्ट्रक्चर कॉस्ट को अफेक्ट करता ही करता है। और तीसरा
पॉइंट सबसे इंटरेस्टिंग पॉइंट है कि कभी-कभी आपको ऐसा लगता है कि ज्यादा इंफॉर्मेशन अगर मैं अपने मॉडल को दे दूंगा
तो शायद वो मुझे ज्यादा बेटर आंसर या ज्यादा बेटर रिजल्ट प्रोवाइड कर दे। बट कभी-कभी इन केसेस के अंदर आपकी एक्यूरेसी
एक्चुअल में ड्रॉप भी कर जाती है। और इसी इशू को हम कहते हैं कॉन्टेक्स्ट रोट प्रॉब्लम। एग्जांपल के रूप में आपके पास
एक बड़ी सी किताब है जिसके अंदर 500 पेजेस हैं और इन्हीं 500 पेजेस में से किसी एक पेज में एक लाइन के अंदर आपका आंसर छुपा
हुआ है। तो अगर वो आंसर ढूंढना हो तो आपको काफी मेहनत करनी पड़ जाएगी। सेम ही प्रॉब्लम की यहां पर हम बात कर रहे हैं।
अब शायद सुनने में आपको लगे कि नहीं यार ये तो बोलने वाली बातें हैं। तो हो जाता होगा। तो ये सिर्फ थ्योरी नहीं है। ये
टेस्ट भी किया जा चुका है। 2025 के आईसीएमएल दैट इज़ इंटरनेशनल कॉन्फ्रेंस ऑन मशीन लर्निंग में पब्लिश हुए एक बेंचमार्क
में 11 मॉडल्स और 2336 केसेस टेस्ट किए गए। एंड ये फाइंडिंग निकली कि लॉन्ग कॉन्टेक्स्ट मॉडल हर सिचुएशन में रैग से
बेटर नहीं है। एंड रैग हर सिचुएशन में लॉन्ग कॉन्टेक्स्ट मॉडल से बेटर नहीं है। दोनों के अपने कुछ यूज़ केसेस हैं जहां पर
वो अच्छा परफॉर्म करते हैं। दूसरे वाले से अच्छा परफॉर्म करते हैं। जैसे अगर मैं रैग की स्पेसिफिकली बात करूं तो वो वहां पर
बेटर है जहां पर डेटा फ्रीक्वेंटली चेंज हो रहा हो जहां पर डेटा सेट लार्ज हो या फिर आंसर के साथ सोर्स दिखाना भी जरूरी
हो। एग्जांपल के लिए मेडिकल, लीगल और फाइनेंस इन सभी एरियाज में अपने सोर्स को भी साथ में बताना पड़ता है कि आपने जो भी
फाइंडिंग्स निकाली है वो इस पर्टिकुलर सोर्स के बेसिस पर निकाली है। तो वहां पर आपका रैग वाला यूज़ केस काफी ज्यादा वेटेज
कैरी करता है। तो अब बात करते हैं कि रैग 2026 में एक्चुअली चेंज कैसे हो रहा है? इवॉल्व कैसे हो रहा है? पहले रैग एक
फिक्स्ड पाइपलाइन की तरह काम करता था कि एक क्वेश्चन आया। इनेशन रिट्रीव हुई और फिर एक आंसर जनरेट हो के आपको प्रोवाइड कर
दिया गया। बट अब रैग काफी स्मार्ट बन चुका है। सो नाउ वी हैव कांसेप्ट्स लाइक एजेंटिक रैग जहां पर आपका मॉडल ये डिसाइड
करता है कि इंफॉर्मेशनेशन को रिट्रीव करना भी है या नहीं। अगर करना है तो कहां से रिट्रीव करना है और अगर पुरानी वाली सर्च
का जो आउटपुट है वो उतना यूज़फुल नहीं है। तो एक बार क्वेरी को रिफाइन करके दोबारा से एक बार सर्च करते हैं और देखते हैं कुछ
अच्छा आउटपुट ला पाते हैं या नहीं। इसको आप ऐसे समझ सकते हैं कि मान लेते हैं आप रिसर्च कर रहे हो और उस रिसर्च के आउटपुट
से आप सेटिस्फाई नहीं हो। तो आपने कीवर्ड्स को एक बार दोबारा से चेंज किया। दोबारा से अपनी सर्च को स्टार्ट करने के
लिए। एंड सेकंड इंप्रूवमेंट इज़ इन रिट्रीवल कि जहां पर अब आप सिर्फ सिमेंटिक सर्च पर उतना डिपेंड नहीं करते। अगर आप
चाहो तो एग्जैक्ट कीवर्ड बेस्ड सर्च को कंबाइन भी कर सकते हो। क्योंकि कभी-कभी किसी-किसी केस के अंदर एग्जैक्ट कीवर्ड
सर्च करना काफी इंपॉर्टेंट हो जाता है। जैसे कि प्रोडक्ट कोड हो गया, एरर मैसेज हो गया या फिर किसी डॉक्यूमेंट का सेक्शन
नंबर हो गया। एंड थर्ड इंप्रूवमेंट इज़ अबाउट रीरैंकिंग। जहां पर आपने मल्टीपल चंक्स को पहले रिट्रीव कर लिया अपनी
पर्टिकुलर क्वेरी के लिए। उन चंक्स में से जो भी टॉप थ्री हैं लेट्स से एग्जांपल के लिए आपने उनको सेलेक्ट कर लिया और वही एज
कॉन्टेक्स्ट आपने अपने मॉडल को प्रोवाइड कर दिया। अब आपके मॉडल के पास अननेसेसरी इंफॉर्मेशन नहीं है। तो जो भी इंफॉर्मेशन
है उससे काफी एक अच्छा कॉन्टेक्स्ट बिल्ड हो पा रहा है। तो एट द एंड जो अब आपको रिजल्ट मिलेगा वो काफी ज्यादा अच्छी
क्वालिटी का मिलने वाला है। तो अब देखते हैं कि रियल वर्ल्ड में रैग वाला कांसेप्ट किस प्रकार से यूज़ हो रहा है। सबसे कॉमन
यूज़ केस है कस्टमर सपोर्ट। जहां पे आपने अपने डॉक्यूमेंट्स, वारंटी रूल्स, पॉलिसीज, फ्रीक्वेंटली आस्क क्वेश्चंस को
एक चैट बॉट में फीड कर दिया रैग वाले कॉन्सेप्ट के माध्यम से। और कोई भी कस्टमर आके आपके चैट बॉट से इंटरेक्ट कर सकता है
और जो भी उसकी क्वेरी है उसको आंसर करवा सकता है। सेकंड इज़ लीगल टीम्स। मतलब 100्स ऑफ पेजेस का मान लो कोई कॉन्ट्रैक्ट है और
वहां पे आप कुछ सर्च करना चाहते हैं। कोई रेलेवेंट सेक्शन को रिट्रीव करवाना चाहते हैं तो वो रैक के माध्यम से पॉसिबल है। आप
सोर्स को कोट करवाना चाहते हैं तो वो भी रैक के माध्यम से पॉसिबल है। हेल्थ केयर डोमेन में आप इसको यूज़ कर सकते हैं। एक
पर्सन की कोई लॉन्ग मेडिकल हिस्ट्री है उसके अंदर लेट से आप कुछ सर्च करना चाहते हैं। या फिर इंटरनल कंपनी असिस्टेंट की
फॉर्म में अगर आप रैग वाले कॉन्सेप्ट को इंप्लीमेंट करना चाहें तो वो भी कर सकते हैं। और डेवलपर के लिए भी कोडिंग
असिस्टेंट एक काफी रेलेवेंट एग्जांपल है। जब एआई को पूरे कोड बेस का कॉन्टेक्स्ट चाहिए होता है तब रिट्रीवल सिस्टम
रेलेवेंट फाइल्स और कोड स्नपर्स को आइडेंटिफाई करके मॉडल को प्रोवाइड कर सकता है। तो रूल बहुत सिंपल सा है। जब भी आपके
पास एक लार्ज अमाउंट ऑफ इंफॉर्मेशनेशन हो और उसमें से रेलेवेंट इंफॉर्मेशनेशन रिट्रीव करके आपको एक रिस्पांस जनरेट करना
हो तो उस केस में आपका रैग काफी यूज़फुल हो जाता है। अब कुछ लोगों को यह लगता है कि रैग को हर सिचुएशन में यूज़ करना
चाहिए। ऐसा बिल्कुल भी नहीं है। अगर आपका डाटा सिर्फ 2030 पेज के आसपास का है तो उस केस में वेक्टर डेटाबेस सेट सेटअप करना
कोई सेंस बनाता नहीं है। आप सीधा अपने डेटा को डायरेक्टली अपने मॉडल के कॉन्टेक्स्ट में फीड कर दो और जो भी आपको
सवाल करना है सीधा उससे वहीं पर सवाल कर लो। वो एक ज्यादा बेटर ऑप्शन रहने वाला है। अब अगर आप रैग को इन डेप्थ सीखना
चाहते हो तो सिर्फ ट्यूटोरियल्स देखने से कुछ नहीं होने वाला है। आपको खुद से एक स्टेप लेना पड़ेगा और खुद से कुछ क्रिएट
करना पड़ेगा। उसके बाद ही आपको रैग इन डेप्थ समझ में आने वाला है। तो एग्जांपल लेते हैं। लेट्स से हम एक प्रोजेक्ट बनाना
चाहते हैं। तो इस प्रोजेक्ट से आप स्टार्ट कर सकते हो। आपके पास जो भी नोट्स हैं या पीडीएफ हैं या जो भी पब्लिक डॉक्यूमेंट्स
हैं उनका यूज़ करके अपन एक चैटबॉट बनाएंगे और उस डेटा के ऊपर अपन कोई सवाल करेंगे और हमें हमें मेक श्योर करना है कि वो चैट
बॉट सही आंसर दे उस पर्टिकुलर सवाल के लिए। ठीक है? अब इस प्रोजेक्ट में आप रैक के पूरे वर्क फ्लो को प्रैक्टिकली देख
लोगे। डॉक्यूमेंट्स को चंक्स में ब्रेक करना, चंक्स को एंबेडिटल्डिंग्स में कन्वर्ट करना, एंबेडिंग्स को वेक्टर
डेटाबेस के अंदर स्टोर करना, रेलेवेंट इनेशन को रिट्रीव करवाना एंड फाइनली अपने मॉडल से आउटपुट जनरेट करवाना। ये पूरी की
पूरी एक्सरसाइज आप इस प्रोजेक्ट के माध्यम से करने वाले हो। सो अब ये भी बात कर लेते हैं कि इस प्रोजेक्ट को बनाने के लिए आपको
क्या-क्या सीखना पड़ेगा। एक रैग सिस्टम बनाने के लिए आपको चार मेन कॉम्पोनेंट्स आने चाहिए। नंबर वन इज़ एक ऐसा फ्रेमवर्क
जो कि एंटायर वर्क फ्लो को कनेक्ट करने का काम करे। जहां पर लंग चेन एक काफी पॉपुलर ऑप्शन है। चाहो तो लामा इंडेक्स भी यूज़ कर
सकते हो। स्पेशली अगर डॉक्यूमेंट हैवी एप्लीकेशनेशंस आप बना रहे हो तो। दूसरा एक एंबेडिंग मॉडल जो कि टेक्स्ट को
न्यूमेरिकल रिप्रेजेंटेशंस में कन्वर्ट करने का काम करता है। चाहो तो यहां पर ओपन एक एंबेडिंग मॉडल आप यूज़ कर सकते हो या
फिर ओपन सोर्स मॉडल्स लाइक सेंटेंस ट्रांसफॉर्मर्स का ऑप्शन भी आपके पास है। थर्ड वेक्टर डेटाबेस जहां पर ये सारी की
सारी एंबेडिंग स्टोर होती है। शुरुआत के लिए आप क्रोमा का यूज़ कर सकते हो। उसको पढ़ सकते हो। उसको लर्न कर सकते हो। एंड
प्रोडक्शन में जब आप शिफ्ट करोगे तो आप पाइन कोन या फिर क्वाड्रेंट वाले ऑप्शन भी एक्सप्लोर कर सकते हो। एंड फोर्थ एक एआई
मॉडल की आपको नीड पड़ेगी जो कि आपके रिट्रीव्ड इंफॉर्मेशनेशन के आधार पर आपको एक फाइनल आंसर जनरेट करके दे। वहां पर आप
जीपीटी, क्लॉड, जेमिनाई जो आपको मन करे वो मॉडल यूज़ कर सकते हो। लेकिन यहां पर एक इंपॉर्टेंट बात समझना बहुत जरूरी है कि
सिर्फ चार्ट बॉट बनाना ही इनफ नहीं है। आपको एक बार चेक भी करना पड़ेगा कि जो आपने पूरा यह वर्क फ्लो बनाया है क्या ये
रेलेवेंट इनेशन रिट्रीव कर भी पा रहा है या नहीं। क्योंकि मान लो अगर आपने रॉन्ग चंक्स को रिट्रीव कर दिया तो चाहे आपका एi
मॉडल कितना ही पावरफुल क्यों ना हो वो आपको सही आंसर बेटर आंसर अच्छा आंसर ला के नहीं देने वाला है। तो जैसे ही आप ये वाले
सारे स्टेप्स कंप्लीट कर लेते हैं उसके बाद हम एक स्टेप आगे बढ़ते हैं जहां पे हम फोकस करते हैं रिट्रीवल क्वालिटी पे
चंकिंग स्ट्रेटजीस पे एंबेडिंग्स पे रीरैंकिंग पे, इवैल्यूएशन पे और यही वो सारे के सारे फैक्टर्स हैं या टर्म्स हैं
जो कि वो डिफरेंस बताते हैं बिटवीन अ बेसिक रैग प्रोजेक्ट एंड अ प्रोडक्शन लेवल रैग सिस्टम। तो अगर आप वह बेसिक वाली जगह
पे फंसना नहीं चाहते और वह प्रोडक्शन वाली सिस्टम क्रिएट करना चाहते हैं तो आपको इन सभी टर्म्स पर इन सभी कांसेप्ट्स पर काम
भी करना पड़ेगा कि सिर्फ थ्योरी थ्योरी से काम मत चलाना। चाहे कोई भी कांसेप्ट हो यू हैव टू मेक श्योर कि अगर उसके ऊपर
प्रोजेक्ट बनाना पॉसिबल है तो भले ही छोटा बट हम एक स्मॉल प्रोजेक्ट क्रिएट जरूर करते हुए चलेंगे। क्योंकि जितना
प्रैक्टिकली चीजों को इंप्लीमेंट करते जाओगे उतनी ज्यादा क्लेरिटी आपको मिलती चली जाएगी। ठीक है? सिर्फ थ्योरी के ऊपर
डिपेंडेंट मत रहना। तो यार ये था आपका रैग। हमने इन डिटेल समझा कि रैग होता क्या है? एi सिस्टम्स में कैसे रेलेवेंट है?
कैसे इंपॉर्टेंट है? कैसे रैग काम करता है? कैसे ये आज के टाइम पर इवॉल्व होता जा रहा है? तो इन सारी डायमेंशंस को हमने कवर
किया इस पर्टिकुलर वीडियो के अंदर। अगर आपको वीडियो अच्छी लगी है तो लाइक करने में शर्माना मत। कमेंट में आपका हमेशा वेट
करता मैं रहता हूं। कुछ प्यारा सा अच्छा सा टाइप जरूर करके जाना। और लेट्स से आपके दिमाग में कोई और आईडिया है जो हम आगे आने
वाली वीडियोस में कवर कर सकते हैं तो वो भी बता देना। हमने रिसेंटली कोड हेल्प के ऊपर ये लॉन्ग फॉर्म वीडियोस क्रिएट करनी
शुरू की है। तो अगर आपको ये अच्छा लग रहा है तो सब्सक्राइब बटन पे क्लिक भी कर देना। बहुत ज्यादा अच्छा लग रहा है तो
अपने दोस्तों के साथ शेयर भी कर देना। बहुत बहुत ज्यादा अच्छा लग रहा है तो भैया कमेंट कर देना और नेक्स्ट वीडियो का
आईडिया बता देना। इस वीडियो में इतना ही दोस्तों मिलता हूं मैं आपसे आपके नेक्स्ट वीडियो में। तब तक के लिए लव यू ऑल। बाय
गुड नाईट।
RAG (Retrieval Augmented Generation) एक ऐसी तकनीक है जहां AI मॉडल पहले बाहरी डेटा स्रोतों (जैसे PDF, डेटाबेस) से प्रासंगिक जानकारी खोजता है, फिर उसे यूज़र के सवाल के साथ जोड़कर जवाब जनरेट करता है। यह मॉडल को सिर्फ अपने ट्रेनिंग डेटा पर निर्भर नहीं रहने देता, बल्कि उसे निजी या विशिष्ट डेटा (जैसे कंपनी पॉलिसी) तक पहुंच प्रदान करता है।
RAG के मुख्य लाभ हैं: हेलुसिनेशन को कम करना (क्योंकि यह सही और प्रासंगिक बाहरी जानकारी का उपयोग करता है) और आसान अपडेट (बिना मॉडल को दोबारा ट्रेन किए स्रोत डेटा को अपडेट किया जा सकता है)। खासकर मेडिकल, लीगल, फाइनेंस जैसे क्षेत्रों में जहां सटीकता और स्रोतों का उल्लेख ज़रूरी है, RAG बेहतर परिणाम देता है।
बड़े कॉन्टेक्स्ट मॉडल के बावजूद RAG ज़रूरी है क्योंकि: (1) लॉन्ग कॉन्टेक्स्ट अप्रोच RAG से 8x से 82x तक महंगी हो सकती है, (2) बड़े कॉन्टेक्स्ट को प्रोसेस करने में ज़्यादा समय लगता है जिससे यूज़र एक्सपीरियंस खराब होता है, और (3) ज़्यादा जानकारी देने से एक्यूरेसी घट सकती है (कॉन्टेक्स्ट रोट प्रॉब्लम)। RAG खासकर तब बेहतर है जब डेटा बार-बार बदलता हो या डेटा सेट बहुत बड़ा हो।
RAG प्रोजेक्ट बनाने के लिए चार मुख्य कॉम्पोनेंट चाहिए: (1) फ्रेमवर्क जैसे LangChain या LlamaIndex, (2) एंबेडिंग मॉडल जैसे OpenAI Embeddings या Sentence Transformers, (3) वेक्टर डेटाबेस जैसे Chroma (शुरुआत के लिए) या Pinecone (प्रोडक्शन के लिए), और (4) AI मॉडल जैसे GPT, Claude, या Gemini। प्रोजेक्ट बनाने के बाद रिट्रीवल क्वालिटी, चंकिंग स्ट्रैटेजी, और रीरैंकिंग पर फोकस करना बेसिक और प्रोडक्शन-लेवल RAG में फर्क पैदा करता है।
RAG की प्रक्रिया दो स्टेज में विभाजित है: (1) डेटा तैयार करना (इंजेक्शन स्टेज) - पहले PDF या डॉक्यूमेंट से डेटा लेकर छोटे चंक्स में बांटा जाता है, फिर टेक्स्ट को एंबेडिंग (न्यूमेरिकल वैल्यू) में बदलकर वेक्टर डेटाबेस में स्टोर किया जाता है। (2) जवाब जनरेट करना - यूज़र के सवाल को एंबेडिंग में बदलकर वेक्टर डेटाबेस में प्रासंगिक चंक्स खोजे जाते हैं, फिर उन्हें मॉडल को देकर फाइनल आंसर जनरेट किया जाता है।
2026 में RAG में तीन प्रमुख विकास हुए हैं: (1) एजेंटिक RAG - जहां मॉडल खुद तय करता है कि जानकारी रिट्रीव करनी है या नहीं और कहां से, (2) हाइब्रिड सर्च - जो सेमेंटिक सर्च के साथ-साथ कीवर्ड-बेस्ड सर्च भी कंबाइन करता है (जैसे प्रोडक्ट कोड, एरर मैसेज), और (3) रीरैंकिंग - जो मल्टीपल चंक्स में से टॉप चंक्स को चुनकर अनावश्यक जानकारी को हटाता है। ये विकास RAG को और अधिक सटीक और कुशल बनाते हैं।
RAG के मुख्य रियल-वर्ल्ड उपयोग में शामिल हैं: कस्टमर सपोर्ट चैटबॉट (पॉलिसीज, वारंटी नियम फीड करके), लीगल टीम्स (कॉन्ट्रैक्ट से प्रासंगिक सेक्शन खोजना), हेल्थकेयर (मरीज़ की मेडिकल हिस्ट्री खोजना), इंटरनल कंपनी असिस्टेंट, और कोडिंग असिस्टेंट (कोड बेस से प्रासंगिक फाइल्स और स्निपेट्स खोजना)। हालांकि, अगर डेटा सिर्फ 20-30 पेज का है तो सीधा मॉडल के कॉन्टेक्स्ट में फीड करना बेहतर है।
Keep this summary
Save it to LunaNotes and it becomes a real note in your library — editable, searchable, and ready to turn into flashcards or a diagram. Free to start.
Save to LunaNotesOr summarise for another video.
This summary and transcript were automatically generated using AI with the Free YouTube Transcript Summary Tool by LunaNotes.
Related summaries
2026 में डेव्स के लिए AI युग की सबसे ज़रूरी स्किल्स और करियर रोडमैप
वीडियो में बताया गया है कि AI के बढ़ते उपयोग के बावजूद, 84% डेवलपर्स इसका उपयोग करते हैं लेकिन केवल 29% इस पर भरोसा करते हैं। कोड की गुणवत्ता गिर रही है और 'कोड चर्न' (7.1%) दोगुना हो गया है। सफलता के लिए 10 कोर स्किल्स (जैसे डीबगिंग, वर्जन कंट्रोल, सिक्योरिटी) और एक स्पष्ट 12-महीने का रोडमैप (पहले बेसिक्स, फिर फ्रेमवर्क्स, फिर प्रोजेक्ट्स) आवश्यक है।
मल्टीडायमेंशनल और 2D अर्रे: कोडिंग, इनपुट और मैट्रिक्स मल्टिप्लिकेशन
इस वीडियो में मल्टीडायमेंशनल अर्रे, विशेषकर 2D अर्रे की परिभाषा, कोडिंग, इनपुट लेना और मैट्रिक्स मल्टिप्लिकेशन की प्रक्रिया विस्तार से समझाई गई है। साथ ही, ट्रांसपोज़ मैट्रिक्स और इंडेक्सिंग के महत्वपूर्ण कॉन्सेप्ट्स को भी उदाहरणों के साथ समझाया गया है।
EBAY क्रैश कोर्स: ड्रॉपशिपिंग, हंटिंग, लिस्टिंग और अकाउंट सेटअप की पूरी गाइड
यह एक व्यापक ईबे क्रैश कोर्स है जो ड्रॉपशिपिंग, प्रोडक्ट हंटिंग, प्रोफिटेबल लिस्टिंग और अकाउंट क्रिएशन को शुरू से अंत तक, प्रैक्टिकल प्रदर्शन के साथ सिखाता है। इस वीडियो में आप जानेंगे कि कैसे डॉलर्स में कमाई शुरू करें, फेक गुरुओं से बचें, और एक लॉन्ग-टर्म ऑनलाइन स्किल और बिजनेस विकसित करें।
RAG एप्लीकेशंस के लिए टेक्स्ट स्प्लिटिंग तकनीकें और कोडिंग
इस वीडियो में हम RAG आधारित एप्लीकेशंस के लिए टेक्स्ट स्प्लिटिंग के महत्व और विभिन्न तकनीकों को विस्तार से समझते हैं। साथ ही LangChain लाइब्रेरी का उपयोग करके टेक्स्ट स्प्लिटिंग के कोड उदाहरण भी देखेंगे।
HTML बेसिक्स से प्रोफेशनल तक: पूरी वेब डेवलपमेंट गाइड
यह विस्तृत वीडियो ट्यूटोरियल HTML की पूरी समझ देता है, जो शुरुआत से लेकर एडवांस लेवल तक आपकी वेब डेवलपमेंट स्किल्स को मजबूत करता है। इसमें HTML टैग्स, एट्रिब्यूट्स, लेआउट, फॉर्म्स, टेबल्स, और SEO फ्रेंडली सिमेंटिक टैग्स सहित महत्वपूर्ण कॉन्सेप्ट्स को आसान भाषा में समझाया गया है।
Most viewed summaries
A Comprehensive Guide to Using Stable Diffusion Forge UI
Explore the Stable Diffusion Forge UI, customizable settings, models, and more to enhance your image generation experience.
Kolonyalismo at Imperyalismo: Ang Kasaysayan ng Pagsakop sa Pilipinas
Tuklasin ang kasaysayan ng kolonyalismo at imperyalismo sa Pilipinas sa pamamagitan ni Ferdinand Magellan.
Mastering Inpainting with Stable Diffusion: Fix Mistakes and Enhance Your Images
Learn to fix mistakes and enhance images with Stable Diffusion's inpainting features effectively.
Pamamaraan at Patakarang Kolonyal ng mga Espanyol sa Pilipinas
Tuklasin ang mga pamamaraan at patakaran ng mga Espanyol sa Pilipinas, at ang epekto nito sa mga Pilipino.
How to Install and Configure Forge: A New Stable Diffusion Web UI
Learn to install and configure the new Forge web UI for Stable Diffusion, with tips on models and settings.
Found this summary useful?
Take it with you. One click puts it in your own LunaNotes library.
Save to LunaNotes