Introduction to LangChain Models Component
LangChain's model component is a crucial interface that allows seamless interaction with various AI models, including language models and embedding models. It provides a unified way to connect with different AI providers, simplifying development.
Types of Models in LangChain
-
Language Models (LLMs and Chat Models):
- LLMs take text input and return text output, suitable for general NLP tasks like text generation, summarization, and code generation.
- Chat Models specialize in multi-turn conversations, supporting chatbots, virtual assistants, and customer support applications.
- Chat models support conversation history and role awareness, unlike LLMs.
-
Embedding Models:
- Convert text input into numeric vectors (embeddings) representing semantic meaning.
- Used for semantic search and retrieval-augmented generation (RAG) applications.
Coding with Language Models
- Setup a Python environment and install required libraries.
- Use OpenAI's GPT-3.5 Turbo and GPT-4 models via LangChain's OpenAI integration.
- Load API keys securely using environment variables.
- Use the
invoke
method to send prompts and receive responses. - Adjust parameters like
temperature
for creativity andmax_tokens
for response length.
Working with Chat Models
- Chat models use a consistent interface similar to LLMs but handle sequences of messages.
- Examples include OpenAI ChatGPT, Anthropic Claude, and Google Gemini.
- LangChain supports all with minimal code changes.
Open Source Models with Hugging Face
- Open source models offer freedom to download, modify, and deploy locally without API costs.
- Popular models include LLaMA, Mistral, and Bloom.
- Use Hugging Face's API or download models locally.
- Local deployment requires strong hardware (GPU recommended).
- LangChain integrates with Hugging Face for both API and local usage.
Embedding Models and Semantic Search
- Generate embeddings for single or multiple documents.
- Use OpenAI or Hugging Face embedding models.
- Embeddings are vectors capturing contextual meaning.
- Larger dimension vectors capture more context but cost more.
Building a Document Similarity Application
- Store embeddings of documents.
- Generate embedding for user query.
- Calculate cosine similarity between query and document embeddings.
- Retrieve the most relevant document based on similarity score.
- Use libraries like scikit-learn and numpy for similarity calculations.
Summary
This tutorial covers:
- Understanding LangChain's model component.
- Differences between LLMs and chat models.
- Coding examples with OpenAI, Anthropic, Google Gemini.
- Using open source models via Hugging Face.
- Generating embeddings and building semantic search apps.
By following this guide, developers can effectively leverage LangChain to build powerful AI applications with diverse models and APIs.
हाय गाइ माय नेम इज नितेश एंड यू वेलकम टू माय फ कंपोनेंट डिस्कस करने वाले हैं जो कि है
मॉडल कंपोनेंट सो जितने भी टाइप के मॉडल्स आप यूज कर सकते हो लैंग चन में वह सब के सब आज हम लोग सीखेंगे एंड नॉट ओनली दैट हम
सबको कोड भी करेंगे सो ऑन द होल आपको बहुत मजा आने वाला है बिकॉज कुछ बिल्ड करोगे चीजों से इंटरेक्ट करोगे तो कुछ होते हुए
देखना इज अ गुड फीलिंग ठीक है सो या विद दैट लेट्स स्टार्ट द वीडियो सो गाइ वीडियो को शुरू करने के पहले एक बार क्विक रीकैप
ले लेते हैं कि अभी तक इस प्लेलिस्ट में हमने क्या-क्या कवर किया है अभी तक इस प्लेलिस्ट में मैंने दो वीडियोस डाले हैं
जो फर्स्ट वीडियो था वहां पे मैंने बहुत डिटेल में आपको एक इंट्रोडक्शन दिया था लैंग चन का मैंने वहां पे आपको बताया था
कि लैंग चन एगजैक्टली है क्या और लैंग चन की जरूरत क्यों है फिर मैंने आपको ये भी बताया था कि लैंग चन की हेल्प से आप किस
तरह के एप्लीकेशंस बिल्ड कर सकते हो और लैंग चन के क्या-क्या अल्टरनेटिव्स हैं उसके बाद जो सेकंड वीडियो था वहां पे हमने
एक बहुत इंपॉर्टेंट टॉपिक कवर किया कि लैंग चन में कौन-कौन से कंपोनेंट्स एजिस्ट करते हैं हमने अलग-अलग कंपोनेंट्स देखे
जैसे कि मॉडल्स हुए प्रॉम्स हुए एजेंट्स चेनस एक्सेट्रा और हर कंपोनेंट को लेकर के मैंने आपको बहुत इन डेप्थ समझाने का कोशिश
किया कि उस कंपोनेंट की जरूरत क्या है और साथ ही साथ मैंने आपको रिलेवेंट एग्जांपल्स दिए सो दैट आपको आईडिया लगे कि
अलग-अलग कंपोनेंट्स कहां यूज होते हैं अब आज का जो वीडियो है वह उन्हीं में से एक कंपोनेंट के ऊपर है इनफैक्ट जो फर्स्ट
कंपोनेंट हमने पढ़ा था मॉडल्स आज का वीडियो कंप्लीट मॉडल्स के ऊपर है सो इस वीडियो को अगर आप एंड टू एंड देखोगे तो
यहां पर हम मॉडल्स को एकदम इन डेप्थ कवर करेंगे और हर टाइप का मॉडल कैसे यूज कर सकते हो आप लैंग चन में वो मैं आपको डिटेल
में बताऊंगा बट पूरा का पूरा प्लान ऑफ एक्शन डिस्कस करने के पहले एक बार मैं आपको क्विकली बताना चाहता हूं कि मॉडल्स
क्या होते हैं हालांकि मैंने आपको लास्ट वीडियो में भी बताया था बट एक बार फिर से इस चीज को हम लोग रिवाइज कर सकते हैं सो
यहां पे देखो लिखा हुआ है द मॉडल कंपोनेंट इन लैंग चन इज अ क्रुशल पार्ट ऑफ़ द फ्रेमवर्क डिजाइंड टू फैसिलिटेट
इंटरेक्शंस विद वेरियस लैंग्वेज मॉडल्स एंड एंबेडिंग मॉडल्स एकदम सिंपल शब्दों में अगर बोला जाए तो अभी दुनिया में
अलग-अलग टाइप के एआई मॉडल्स एजिस्ट करते हैं ठीक है और प्रॉब्लम यह होती है कि आप अलग-अलग एआई मॉडल्स के साथ जब इंटरेक्ट
करने जाते हो एज इन अपना कोड उनके ऊपर लिखने की कोशिश करते हो तो अलग-अलग कंपनीज के एआई मॉडल्स अलग-अलग तरीके से बिहेव
करते हैं तो लैंग चन का जो मॉडल कंपोनेंट है वह काइंड ऑफ आपको एक कॉमन इंटरफेस प्रोवाइड करता है जिसकी हेल्प से आप किसी
भी तरह के एआई मॉडल के साथ बहुत आसानी से कनेक्ट कर सकते हो तो इन शॉर्ट मॉडल कंपोनेंट इन लैंग चन इज नथिंग बट एन
इंटरफेस व्हिच हेल्प्स यू टू कनेक्ट विद डिफरेंट काइंड ऑफ एआई मॉडल्स कौन-कौन से काइंड लैंग्वेज मॉडल्स एंड एंबेडिंग
मॉडल्स ठीक है तो यह एक चीज बहुत इंपॉर्टेंट है और यह डायग्राम बहुत इंपॉर्टेंट है आपको याद रखना पड़ेगा कि
लैंग चन में दो तरह के मॉडल्स होते हैं एक होते हैं लैंग्वेज मॉडल्स और दूसरे होते हैं एंबेडिंग
मॉडल्स मैं आपको जल्दी दोनों के बारे में बताता हूं सो लैंग्वेज मॉडल्स ऐसे मॉडल्स होते हैं जहां पर आप इस मॉडल को कुछ
टेक्स्ट इनपुट में देते हो जैसे कि व्हाट इज द कैपिटल ऑफ इंडिया और यह मॉडल उस टेक्स्ट को समझता है प्रोसेस करता है और
पलट के आपको एक टेक्स्ट रिटर्न में देता है जैसे कि उसने दिया न्यू डे तो इस तरह के जो मॉडल्स है इस तरह के जो
एआई मॉडल्स है इनको हम लैंग्वेज मॉडल्स बोलते हैं तो लैंग चन में इन मॉडल्स के साथ काम करने का बहुत स्ट्रांग सपोर्ट है
और सेकंड टाइप का जो मॉडल है जिनके साथ हम काम करेंगे और लैंग चन बहुत अच्छे से काम कर पाता है वह है एंबेडिंग मॉडल्स सो
एंबेडिंग मॉडल्स में क्या होता है कि आप एक टेक्स्ट देते हो एज इनपुट यहां से आपने एक टेक्स्ट दिया मान लो आपका टेक्स्ट फिर
से वही था व्हाट इज द कैपिटल ऑफ इंडिया अब इस बार क्या होगा कि यह मॉडल समझने की कोशिश करेगा कि आपका टेक्स्ट क्या है बट
इस बार वह रिटर्न में आपको टेक्स्ट ना दे करके बल्कि सीरीज ऑफ नंबर्स देगा और इन नंबर्स को ही हम एंबेडिंग्स बुलाते हैं
हमने काफी डिटेल में इसके बारे में बात भी की है एंबेडिंग्स आर नथिंग बट वेक्टर्स सेट ऑफ नंबर्स और यह नंबर्स
काइंड ऑफ इस टेक्स्ट को रिप्रेजेंट करते हैं या इस टेक्स्ट का कंटेक्सचर्स करते हैं ठीक है तो ये दो टाइप के मॉडल्स आपको
लैंग चन में मिलेंगे अलग-अलग मॉडल्स हैं तो अलग-अलग इनका काम भी है यह जो लैंग्वेज मॉडल्स हैं इनकी हेल्प से आप बनाते हो चैट
बॉट जैसे एप्लीकेशंस बिकॉज आप यहां पे टेक्स्ट भेज रहे हो वो टेक्स्ट को समझ रहा है पलट के
रिप्लाई कर रहा है टेक्स्ट के फॉर्मेट में तो यह चैट बॉट एप्लीकेशंस बनाने में आपको हेल्प करता है एंबेडिंग टेक एंबेडिंग मॉडल
जो होते हैं यह आपको हेल्प करते हैं सेमांटिक सर्च में मैंने काफी डिटेल में पिछले दो वीडियोस में इस टॉपिक के बारे
में बात किया है तो सिमटिक सर्च कंडक्ट करने में आपको हेल्प करते हैं एंड दैट इज व्हाय इनकी हेल्प से आप रैग बेस्ड
एप्लीकेशंस बना सकते हो ठीक है अब रैग के बारे में हमने बात नहीं की है बट बात नहीं की है उससे कोई फर्क नहीं पड़ता मैंने
आपको इसका एक बहुत अच्छा एग्जांपल दिया था वीडियो नंबर वन में जहां पर मैंने आपको बताया था कि कैसे आप एक एलएलएम की हेल्प
से अपने डॉक्यूमेंट के ऊपर चैटिंग करवा सकते हो ठीक है तो वो एक रैग बेस्ड एप्लीकेशन ही था ठीक है और वहां पर आपको
सिमटिक सर्च की जरूरत पड़ती है और व सिमटिक सर्च आप किसकी हेल्प से करते हो इन एंबेडिंग मॉडल्स की हेल्प से ठीक है तो
अगर हम अपने डिस्कशन को समरा इज करें तो लैंग चन में एक कंपोनेंट होता है मॉडल्स कंपोनेंट जो कि बेसिकली एक इंटरफेस है
जिसकी हेल्प से आप अलग-अलग टाइप के एआई मॉडल्स के साथ इंटरेक्ट कर सकते हो कॉमन इंटरफेस है अब कितने टाइप के आई मॉडल्स के
साथ आप इंटरेक्ट कर सकते हो दो टाइप के आई मॉडल के साथ वन इज लैंग्वेज सेकंड इज एंबेडिंग लैंग्वेज ऐसे मॉडल्स हैं जहां पर
आप टेक्स्ट भेजते हो टेक्स्ट आउटपुट में मिलता है एंबेडिंग ऐसे मॉडल्स हैं जहां पे आप टेक्स्ट इनपुट में भेजते हो और पलट के
आपको नंबर्स मिलते हैं जिनकी हेल्प से आप सिमटिक सर्च करवा पाते हो ठीक है तो आई होप आपको सबसे पहले यह समझ में आ गया कि
मॉडल्स कंपोनेंट होता क्या है लैंग चेन में अब अगर आपको यह समझ में आ गया तो मैं आपको बताता हूं कि हमारा प्लान ऑफ एक्शन
क्या रहने वाला है इस वीडियो में सो मेरा प्लान ऑफ एक्शन बहुत सिंपल है आज का वीडियो एकदम कोडिंग बेस्ड है हम एक्चुअली
कोड लिखेंगे और इन मॉडल्स के साथ इंटरेक्ट करेंगे तो इन द फर्स्ट पार्ट ऑफ द वीडियो मैं आपको लैंग्वेज मॉडल्स के साथ काम करना
सिखाऊंगा ठीक है और मैं आपको अलग-अलग टाइप के लैंग्वेज मॉडल के साथ काम करना सिखाऊंगा
सो मैं आपको क्लोज सोर्स मॉडल्स के साथ काम करना सिखाऊंगा क्लोज सोर्स मॉडल्स मतलब ऐसे मॉडल्स जो
पेड है इसमें हम ओपन एआई के जीपीडी मॉडल्स के साथ इंटरेक्ट करेंगे फिर हम एंथ्रोपिक के क्लाउड मॉडल के साथ इंटरेक्ट करेंगे और
googlegroups.com एप्लीकेशन भी बनाएंगे ठीक है एक बार जब लैंग्वेज मॉडल्स अच्छे से कवर हो जाते हैं
फिर हम लोग मूव करेंगे एंबेडिंग मॉडल्स की तरफ और एंबेडिंग मॉडल्स में भी मैं आपको दोनों टाइप के एंबेडिंग मॉडल्स के साथ काम
करना सिखाऊंगा क्लोज सोर्स जहां पे हम ओपन एआई के एंबेडिंग मॉडल के साथ काम करेंगे और फिर हम ओपन सोर्स एंबेडिंग मॉडल के साथ
भी काम करेंगे जहां पे हम फिर से हगिंग फेस में जाकर के कोई एंबेडिंग मॉडल खोजें और उसको अपने मशीन पे डाउनलोड करके
एंबेडिंग्स जनरेट कराएंगे ठीक है और लास्ट में मैं आपको छोटा सा एक डॉक्यूमेंट सिमिलरिटी एप्लीकेशन बना के दिखाऊंगा जहां
पे हम अ दो डॉक्यूमेंट के बीच की सिमिलरिटी निकाल के अ बेसिकली एक स्कोर जनरेट करेंगे कि कौन से डॉक्यूमेंट सबसे
ज्यादा सिमिलर है ठीक है तो रफल दिस इज गोइंग टू बी द प्लान ऑफ एक्शन फॉर दिस वीडियो सो आई रियली होप आपको मैं पूरा
कॉन्टेक्स्ट दे पाया वीडियो का अब हम लोग डीप डाइव शुरू करते हैं और हम शुरू करेंगे हमारे फर्स्ट टॉपिक से दैट
लैंग्वेज मॉडल्स सो अब हम लोग अपना फोकस शिफ्ट करेंगे टुवर्ड्स लैंग्वेज मॉडल्स सो जैसा मैंने थोड़ी देर पहले बताया कि
लैंग्वेज मॉडल्स ऐसे एआई मॉडल्स होते हैं जहां पर आप इनपुट में एक टेक्स्ट देते हो यह लैंग्वेज मॉडल्स उस टेक्स्ट को समझते
हैं प्रोसेस करते हैं और पलट के आपको एक टेक्स्ट आउटपुट में देते हैं ठीक है अब समझने वाली बात यह है कि लैंग्वेज मॉडल्स
में भी दो टाइप के मॉडल्स होते हैं एक जिनको हम एलएलएम बुलाते हैं और दूसरा जिनको हम चैट मॉडल्स बुलाते हैं अब अगर
मैं आपको इन दोनों के बीच का डिस्टिंक्शन बताऊं तो एक बहुत सिंपल सा डिस्टिंक्शन है इनके बीच में एलएलएम जो होते हैं
यह जनरल पर्पस मॉडल्स होते हैं वच मींस कि इनको आप
किसी भी तरह के एनएलपी एप्लीकेशन में यूज कर सकते हो आप इनकी हेल्प से टेक्स्ट जनरेशन भी कर सकते हो टेक्स्ट समरा इजेशन
भी कर सकते हो आप इनकी हेल्प से कोड जनरेशन भी कर सकते हो आप इनकी हेल्प से क्वेश्चन आंसरिंग भी कर सकते हो दीज आर
जनरल पर्पस अ लैंग्वेज मॉडल्स और इनकी खासियत क्या होती है कि आप एलएल एम्स को एक स्ट्रिंग देते हो प्लेन टेक्स्ट में
और यह पलट के आपको फिर से एक स्ट्रिंग देते हैं प्लेन टेक्स्ट में ठीक है अब मजे की बात क्या है कि एलएल एम्स आपको ज्यादा
पढ़ने की जरूरत नहीं है बिकॉज ये काइंड ऑफ पुराने हो गए और लैंग चन में भी अब धीरे-धीरे
आप नोटिस करोगे कि इनका सपोर्ट खत्म होता जा रहा है और जो नया वर्जन है लंग चन का उसमें आपको बोला जा रहा है कि आप अगर नया
कोड बेस के ऊपर काम कर रहे हो नया प्रोजेक्ट स्टार्ट कर रहे हो तो प्लीज एलएलएम के ऊपर काम मत करो ठीक है बिकॉज
एलएलएम को रिप्लेस कौन कर रहा है अब चैट मॉडल्स अब मैं आपको समझाता हूं कि चैट मॉडल्स क्या होते हैं सो चैट मॉडल्स आर दज
लैंग्वेज मॉडल्स जो कन्वर्सेशन टास्क के लिए यूज होते हैं मतलब अगर आप एक चैट बॉड बनाना चाहते हो तो उस पर्पस के लिए चैट
मॉडल्स आर ग्रेट ठीक है यहां पर देखो लिखा हुआ है लैंग्वेज मॉडल्स दैट आर स्पेशलाइज्ड फॉर कन्वर्सेशन टास्क दे टेक
अ सीक्वेंस ऑफ मैसेजेस एज इनपुट्स एंड रिटर्न चैट मैसेजेस एज आउटपुट सो यहां पर क्या होता है कि आपका जो चैट मॉडल होता है
उसमें आप मल्टीपल मैसेजेस एक साथ इन पुट में भेज सकते हो और आपका जो चैट मॉडल है इस पूरे के पूरे कन्वर्सेशन को समझ सकता
है और फिर पलट करके आपको सीरीज ऑफ मैसेजेस में रिप्लाई भी कर सकता है सो द मोस्ट इंपॉर्टेंट डिफरेंस बिटवीन अल एलएलएम एंड
द चैट मॉडल इज कि एलम्स काइंड ऑफ एक जनरल पर्पस मॉडल है जो किसी भी तरह के एनएलपी एप्लीकेशन में आप यूज़ कर सकते हो चैट
मॉडल्स आर स्पेशलाइज्ड मॉडल जो कन्वर्सेशन टास्क में ज्यादा यूज़ होते हैं सो अगर आप चैट बॉट्स बनाना चाहते हो एजेंट्स बनाना
चाहते हो कोडिंग असिस्टेंट बनाना चाहते हो तो इस तरह की चीजों के लिए चैट मॉडल्स ज्यादा यूज़ होते हैं तो आज की डेट में
अगर आप बात करो तो लैंग चन में बोला जा रहा है कि आपको ज्यादा काम जो करना है वह चैट मॉडल्स के साथ करना है और एलएलएम का
जो सपोर्ट है वह धीरे-धीरे खत्म होता जा रहा है यहां पर यह जो टेबल है यह ब्यूटीफुली रिप्रेजेंट करता है दोनों टाइप
के मॉडल्स के बीच का डिफरेंस अगर आप बात करो किस परपस से बनाया गया था एलएलएम को तो एलएलएम का पर था फ्री फॉर्म टेक्स्ट
जनरेशन कुछ भी करवा लो क्वेश्चन आंसरिंग करवा लो टेक्स्ट सराइज करवा लो ट्रांसलेशन करवा लो चलेगा वेयर एज चार्ट मॉडल्स को
बनाने का पर्पस था कि आप मल्टी टर्न कन्वर्सेशन करा पाओ बिटवीन द यूजर एंड द एआई ठीक है अगर आप बात करो कि ट्रेनिंग
कैसे हुई है इन दोनों मॉडल्स की तो एलएल एम्स की जो ट्रेनिंग हुई है वो बहुत जनरल टाइप की ट्रेनिंग हुई है जहां पर आपने खूब
सारा टेक्स्ट उठा कर के उसके ऊपर अपने मॉडल को ट्रेन कर दिया जैसे कि बुक्स आर्टिकल विकपीडिया टेक्स्ट एक्सेट्रा वेयर
एज चार्ट मॉडल्स को बनाने के प्रोसेस में क्या हुआ है कि नॉट ओनली यह खूब सारा टेक्स्ट के ऊपर ट्रेनिंग हुआ है बट एक बार
जब यह ट्रेनिंग हो गई उसके बाद इसको फाइन ट्यून किया गया ऑन चैट डेटा सेट्स जहां पर हमने ऐसा डेटा सेट फीड कराया इस मॉडल में
जहां पे मल्टीपल लोगों के बीच में कन्वर्सेशन चल रहा था जैसे कि करवा दी गई ठीक है फिर अगर आप बात करो
मेमोरी की तो एलएलएम वाले मॉडल्स में कोई मेमोरी का कांसेप्ट नहीं होता है मतलब आप उससे जब बात करोगे तो उसको पिछली बात याद
नहीं रहती है वेर एस जो चैट मॉडल्स हैं वह कन्वर्सेशन हिस्ट्री सपोर्ट करते हैं मतलब वहां पर थोड़ा सा आपको यह फीचर मिलेगा कि
आपके पूरे के पूरे कन्वर्सेशन में क्या बात हो रही है वह आपके एआई मॉडल को याद रहेगा उसके बाद बात आती है रोल अवेयरनेस
की आप चाहो तो ट मॉडल्स को एक रोल असाइन कर सकते हो आपने शायद देखा भी होगा अ इस तरह से बहुत लोग प्रोमट डिजाइन करते हैं
कि यू आर अ वेरी नॉलेजेबल डॉक्टर नाउ टेल मी अबाउट दिस पर्टिकुलर डिजीज एंड इट्स सिम्टम्स तो यहां पे जब आप बोल रहे हो कि
तुम एक बहुत क्वालिफाइड डॉक्टर हो तो आप एक मैसेज दे रहे हो सिस्टम लेवल मैसेज जहां पे आप अपने एआई को एक रोल असाइन कर
रहे हो तो यह सब करने का फीचर आपको मिलता है चार्ट मॉडल में वर्सेस एलएलएम में आप को इस तरह का कोई भी फीचर नहीं मिलता वहां
पे आप रोल्स असाइन नहीं कर सकते चैट मॉडल्स के पास यह फीचर होता है कि दे कैन अंडरस्टैंड कि वह खुद क्या है यूजर कौन है
और एआई कौन है यह पूरी चीज उसको पता होती है ठीक है अगर आप एग्जांपल मॉडल्स की बात करो तो दीज आर द एग्जांपल मॉडल्स जो
एलएलएम की कैटेगरी में आएंगे और ये रहे वो मॉडल्स जो आप चैट मॉडल्स की कैटेगरी में डालोगे ठीक है एंड लास्टली किस टाइम आपको
कौन सा मॉडल यूज करना चाहिए अगर आप टेक्स्ट जनरेशन बेस्ड कुछ करना चाहते हो या समरा इजर बनाना चाहते हो या ट्रांसलेशन
के लिए यूज करना चाहते हो या कोड जनरेशन के लिए कुछ यूज करना चाहते हो तो आप मे बी एलएलएम यूज कर सकते हो बट अगर आप
कन्वर्सेशन एआई चैट बॉट्स वर्चुअल असिस्टेंट या फिर कस्टमर सपोर्ट चैट बॉट या फिर एआई ट्यूटर्स इनमें से कुछ भी
बनाना चाहते हो तो आप चैट मॉडल्स यूज करते हो और आप खुद नोटिस करोगे कि मोस्टली जो एआई एप्लीकेशंस आज की डेट में बन रहे हैं
वह इस कैटेगरी में आते हैं दैट इज व्हाई धीरे-धीरे अब पूरी की पूरी यह जो जेन एआई इंडस्ट्री है वह चैट मॉडल्स की तरफ शिफ्ट
कर रही है और एलएलए के लिए जो सपोर्ट है वह धीरे-धीरे खत्म हो रहा है ऐसा नहीं है आप अभी भी एलएलएम को यूज़ करके एप्लीकेशंस
बना सकते हो बट इट इज़ नॉट रिकमेंडेटरी सेंट वर्जंस ऑफ़ लैंग चन सो आप नोटिस करोगे इस पर्टिकुलर ट्यूटोरियल में इस
पर्टिकुलर वीडियो में हमारा ज्यादा फोकस चाट मॉडल्स के ऊपर रहने वाला है बट इट डज नॉट मीन कि मैं आपको एलएलएम के ऊपर काम
करना नहीं सिखाऊंगा इनफैक्ट पहले मैं आपको एलएलएम के ऊपर ही काम करना दिखाऊंगा और फिर जब आपको यह थोड़ा समझ में आ जाएगा फिर
हम लोग चार्ट मॉडल्स के ऊपर डिस्कशन करेंगे और फिर गोइंग फॉरवर्ड पूरे वीडियो में हम चार्ट मॉडल्स के बारे में ही बात
करेंगे तो आई रियली होप आपको समझ में आ गया लैंग्वेज मॉडल्स क्या होते हैं और उनके जो दो टाइप्स हैं एलएल एम्स एंड चैट
मॉडल्स वो भी आपको समझ में आ गए सो अब वी आर रेडी टू डाइव इन टू द कोडिंग पार्ट सो गाइ कोड को स्टार्ट करने के पहले एक सेटअप
हम लोग क्रिएट कर लेंगे जो इस पूरे वीडियो में आपको हेल्प करेगा सारे कोड्स परफेक्टली स्मूथली रन करने में
सो मैंने एक सीरीज ऑफ स्टेप्स लिखे हैं हम वह फॉलो करेंगे तो सबसे पहले हमें क्या करना है हमें एक फोल्डर बनाना है सो मैं
अपने डेस्कटॉप पर एक फोल्डर बना रहा हूं लेट्स कॉल इट लैंग चन मॉडल्स अब मैं क्या कर रहा हूं मैं वीएस कोड ओपन कर रहा
हूं और वीएस कोड में मैं इस फोल्डर को ओपन कर लूंगा सो फिलहाल यह फोल्डर खाली है अब यहां पर
हम लोग अपना पूरा का पूरा कोड लिखेंगे सो सबसे पहले हम क्या करेंगे कि हम यहां पर एक नया वर्चुअल इन्वायरमेंट
बना लेंगे और फिर हम उस वर्चुअल इन्वायरमेंट के अंदर ही सारी लाइब्रेरीज इंस्टॉल करेंगे सो उसके लिए आपको कुछ नहीं
करना है आपको आपने जो फोल्डर ओपन किया है वीएस कोड में वहां पर जाना है और एक नया टर्मिनल स्टार्ट कर देना है और यहां पर
आपको यह कमांड रन करना है पाइथन - m v एनवी आपके वर्चुअल एनवायरमेंट का नाम फिलहाल हम उसको व एनवी बुला रहे हैं एज यू
कैन सी हमारा वर्चुअल एनवायरमेंट बन गया है अब हम इसको एक्टिवेट करेंगे सो उसके लिए हमारा कमांड होता है v एनवी
स्ल स्क्रिप्ट स्ल एक्टिवेट एंड यू कैन सी हमारा वर्चुअल एनवायरमेंट एक्टिवेट हो गया है अब हमें
क्या करना है हमें कुछ लाइ इसके अंदर इंस्टॉल करनी है अब आपको मैनुअली जाकर के चीजें खोजनी ना पड़े इसके लिए मैंने सारी
की सारी लाइब्रेरीज को इनफैक्ट उनके नाम को एक जगह लिख के रख लिया है इस पर्टिकुलर लेक्चर के लिए हमें यह सारी लाइब्रेरी की
जरूरत पड़ेगी सो व्ट आई विल डू इ मैं इन सब को कॉपी कर रहा हूं और हम अपने फोल्डर के अंदर एक नई फाइल बना रहे
हैं एंड वी आर कॉलिंग दिस फाइल यमें एकटी और इस फाइल के अंदर मैं ये सारी की सारी लाइब्रेरीज का नाम पेस्ट कर दे रहा हूं सो
आपको मैं रिकमेंड करूंगा एक बार जाकर के आप देखना कौन-कौन सी लाइब्रेरीज हैं चार जीपीटी प जाके आप उसके बारे में सर्च भी
कर सकते हो अ बट जब भी हम इस लेक्चर में जो भी लाइब्रेरी को यूज करेंगे मैं वहां पे आपको एक्सप्लेन कर दूंगा ठीक है अब
आपको क्या करना है इन सारी लाइब्रेरीज को इंस्टॉल करना है सो उसके लिए आपके पास यह सिंपल सा कमांड होता है पिप इंस्टॉल - r
requirement.txt आप इसको रन कर दोगे और एकएक करके यह सारी लाइब्रेरीज आपके वर्चुअल एनवायरमेंट में इंस्टॉल हो
जाएंगे एंड यू कैन सी इंस्टॉलेशन प्रोसेस स्टार्ट हो गया सिंस यह थोड़ा टाइम लेगा मैं वीडियो को पॉज कर रहा हूं और जब यह हो
जाएगा फिर मैं आपको दिखाता हूं कि यह पूरा सेटअप काम कर रहा है कि नहीं एंड यू कैन सी गाइस हमारे सारे पैकेजेस इंस्टॉल हो गए
हैं एक बार चेक कर लेते हैं कि लैंग चन सही से इंस्टॉल हुआ कि नहीं सो वल क्रिएट अ न्यू टेस्ट फाइल लेट्स कॉल इट टेस्ट ड
पवा इसमें हम लोग इंपोर्ट करेंगे लैंग चन यू कैन सी सजेशन आ रहा है एंड वी विल प्रिंट लंग चन
डॉट वर्जन जस्ट टू प्रिंट आउट द वर्जन अगर यह कोड सही से आउटपुट देगा मतलब लैंग चन
इंस्टॉल हो गया है सो वी विल रन पाइथन टेड पवा एंड यू कैन सी दिस इज द आउटपुट 3 ये सब रिसेंट वर्जन है लंग चन का
और व हमने हमारे सिस्टम पर इंस्टॉल कर लिया है अब हम लोग कोडिंग स्टार्ट कर सकते हैं तो सबसे पहले मैं क्या कर रहा हूं मैं
यहां पर तीन फोल्डर्स बना ले रहा हूं मेरा पहला फोल्डर है एलम्स मेरा दूसरा फोल्डर हो
जाएगा चैट मॉडल्स और मेरा तीसरा फोल्डर हो जाएगा एंबेडेड
मॉडल्स और इन तीन फोल्डर्स के अंदर हम लोग सारा काम करेंगे सो नाउ लेट्स स्टार्ट विद एलएलएम सो गाइस हमारा सेटअप तो रेडी है अब
हम लोग हमारा फर्स्ट डेमो देखेंगे मेरा प्लान यह है कि पहले मैं आपको एलएलएम दिखाऊंगा और एलम्स में मैं आपको
सिर्फ ओपन एआई के एआई मॉडल्स यूज करके दिखाऊंगा बिकॉज एलएलएम ज्यादा आपको पढ़ने की जरूरत नहीं
है बट इसके बाद में आपको चैट मॉडल्स पढ़ाऊंगा जहां पर हम सारे मेजर जो आपके एपीआई प्रोवाइडर्स हैं उन
सबको टच करेंगे सो ओपन एआई एंथ्रोपिक ग और फिर हगिंग फेस के साथ भी हम काम करेंगे ठीक है तो सबसे पहले लेट्स डिस्कस कि एलएल
एम्स कैसे काम करते हैं अलोंग साइड लैंग चेन देर इज ओनली वन प्रॉब्लम सिंस हम ओपन एआई के एपीआई को यूज करने वाले हैं एलएल
एम्स चलाने के लिए तो हमें सबसे पहले ओपन एआई के एपीआई कीज चाहिए
होंगे सो इसके लिए क्या करना पड़ेगा कि आपको सबसे पहले इस यूआरएल पर जाना पड़ेगा प्लेटफॉर्म
open.com और यहां पर आपको एक अकाउंट बनाना पड़ेगा अगर आपने ऑलरेडी अकाउंट नहीं बना रखा अब प्रॉब्लम बस यह है कि ओपन एआई की
जो एपीआई कीज है वह आप तभी एक्सेस कर सकते हो जब आपके पास आपके अकाउंट में कुछ क्रेडिट अवेलेबल हो एंड इट शुड बी अ
मिनिमम ऑफ $ अनफॉर्चूनेटली आपको यह रिचार्ज कराना पड़ेगा एक साल पहले तक भी ओपन एआई फ्री
क्रेडिट्स देते थे न्यू यूजर्स को बट अब जितना मुझे पता है वह कुछ भी फ्री क्रेडिट्स नहीं देते व्हिच मींस आपको पैसे
दे कर के क्रेडिट्स खरीदने पड़ेंगे सो अगर आप ट्राई कर सकते हो तो बहुत बढ़िया अदर वाइज आप दो तीन लोग मिलके भी कंट्रीब्यूट
कर सकते हो इफ यू आर अ स्टूडेंट सो व्हाट यू हैव टू डू इज यू हैव टू गो एंड रिचार्ज योर अकाउंट मैंने ऑलरेडी अपने अकाउंट में
फ ल का रिचार्ज कराया है और ट्रस्ट मी $5 इज मोर देन सफिशिएंट फॉर $5 में आप काफी कुछ कर लोगे ठीक है अ मैं क्यों आपको बोल
रहा हूं रिचार्ज कराने के लिए और एक पेड यूजर बनने के लिए उसका रीजन यह है कि अभी भी मोस्ट ऑफ द कंपनीज में ओपन एआई के
एपीआई यूज किए जाते हैं एलएलएम एप्लीकेशंस बनाने के लिए तो भले मैं आपको थोड़ी देर बाद फ्री वाला चीज भी दिखाने वाला हूं
हगिंग फेस यूज करके बट देयर इज अ चांस कि व आपको यूज करने ना मिले जब आप एज अ एआई इंजीनियर काम करो किसी कंपनी में वहां पर
देर इज अ चांस कि आपको ओपन एआई पे ही काम करना पड़े दैट इज वाई अगर आप उस सेंस में थोड़ा प्रैक्टिस चाहते हो तो आई वुड
रिकमेंड कि आप $ का इन्वेस्टमेंट कर सकते हो ठीक है एक बार आपने जैसे ही यह टॉप अप करा लिया अपने अकाउंट में अब आप क्या कर
सकते हो कि आप इस सेटिंग्स बटन में जा सकते हो और यहां से आप एपीआई कीज में जा सकते हो यहां पर आपके ऑलरेडी अवेलेबल
एपीआई कीज दिखाई देंगे मेरे पास फिलहाल एक की है अ नाउ व्हाट आई कैन डू इज इफ आई वांट आई कैन क्रिएट अ न्यू सीक्रेट की
यहां पे मैं इसको एक नाम दे सकता हूं अ लेट्स गिव इट अ नेम माय टेस्ट कीटू ठीक है यहां से आप प्रोजेक्ट बना करके उसको
सेलेक्ट कर सकते हो अगर आप किसी पर्टिकुलर प्रोजेक्ट प काम कर रहे हो फिलहाल मेरा ऐसा कोई प्लान नहीं है तो मैं कोई डिफॉल्ट
प्रोजेक्ट यूज कर रहा हूं और यहां से आप परमिश भी सेट कर सकते हो अ और अब मैं क्रिएट सीक्रेट की पे क्लिक कर रहा हूं और
यह रहा मेरा सीक्रेट की ठीक है इसको मैं कॉपी कर लेता हूं और इसे हमें अपने प्रोजेक्ट में यूज करना है सो आप क्या
करोगे यह सीक्रेट की जो आपका है इसको आप डायरेक्टली अपने कोड में ना लिख करके अलग से एक डॉट इनवी फाइल में सेव करोगे सो आप
क्या करोगे अपने प्रोजेक्ट में एक डॉट नवी फाइल बनाओगे डबी फाइल एक ऐसी फाइल होती है जहां पर आप अपने एनवायरमेंट वेरिएबल
सीक्रेट कीज वगैरह को रखते हो ठीक है तो यहीं पर हम अपने इस ओपन एआई एपीआई की को रखेंगे और रखते कैसे हैं बहुत सिंपल है आप
एक वेरिएबल बना लोगे उसका नाम होगा ओपन एआई ओपन एआई एपीआई की ठीक है और आप इसको एक स्ट्रिंग के अंदर
स्टोर कर लोगे एंड यू वुड सेव इट ठीक है अब गोइंग फॉरवर्ड कभी भी मुझे ओपन एआई के एपीआई यूज करने हैं मैं इस की को यूज कर
सकता हूं ओबवियसली कहने की जरूरत नहीं है आपको यह की सभी से छुपा के रखना है मैं भी इस वीडियो को लॉन्च करने के बाद
और वहां पर मैं एक नई फाइल बनाऊंगा और इस फाइल का नाम रख देते हैं एलएलएम डेमो डॉट पवा ठीक है और अब यहां पर हमें
कोड लिखना है तो कोड बहुत सिंपल है भले ही कुछ पार्ट्स ऐसे होंगे जो आपने पहले नहीं देखे होंगे बट मैं आपको समझाता चलूंगा तो
सबसे पहले आपको एक पैकेज इंपोर्ट करना है जिसका नाम है लैंग चन ओपन एआई तो ये इंटीग्रेशन पैकेज है
बिटवीन लैंग चन एंड ओपन एआई यहीं पर वो कोड लिखा हुआ है जिससे लैंग चन को ये समझ में आता है कि ओपन एआई के एपीआई से बात
कैसे करनी है यहां से हम इंपोर्ट करेंगे ओपन एआई को ठीक है
और अगली चीज आपको जो इंपोर्ट करनी है वह है डॉट एनवी लाइब्रेरी यह भी हमने इंस्टॉल किया था जब हम रिक्वायरमेंट t एक्सटी के
ऊपर काम कर रहे थे यू कैन सी यहां पर अगर आप नीचे जाओ तो यह जो पैकेज हमने इंस्टॉल किया है यह हम यहां पर लोड कर रहे हैं डॉट
एनवी का काम क्या होता है कि यह आपके एनवायरमेंट फाइल से आप आपके सीक्रेट कीज को लोड करता है आपके करंट फाइल में ठीक है
तो इसलिए हम इसको यहां पर यूज कर रहे हैं तो फ्रॉम डॉट एवी इंपोर्ट लोड ड एनवी एक फंक्शन होता है जो हमें वो एनवायरमेंट
वेरिएबल लोड करके देगा ठीक है तो सबसे पहले हम इस फंक्शन को इवोक कर लेंगे लाइक दिस अब हमारा जो ओपन एआई की है है वह
हमारे पास आ चुका है एक बार आपने अपना एपीआई की यहां पर लोड कर लिया अब यहां से मेन काम शुरू होता है अब आप क्या करोगे आप
ओपन एआई का एक ऑब्जेक्ट बनाओगे एंड उस ऑब्जेक्ट को फिलहाल हम एक वेरिएबल में डाल रहे हैं वी आर कॉलिंग इट एलएलएम और यहां
पर आप बताओगे कि आप ओपन एआई के कौन से मॉडल के साथ कम्युनिकेट करना चाहते हो सो हम जिस मॉडल के साथ कम्युनिकेट करना चाहते
हैं उसका नाम है जीपीटी 3.5 टर्बो
इंस्ट्रक्ट थोड़ी देर बाद में आपको दिखाऊंगा कि ओपन नहीं आ कि कौन-कौन से मॉडल्स अवेलेबल है और उनके क्या फीचर्स है
बट फॉर नाउ हम यह मॉडल यूज करने वाले हैं एक बार जैसे ही आप यह ऑब्जेक्ट बना लेते हो अब आप क्या कर सकते हो इस ऑब्जेक्ट की
हेल्प से एक बहुत इंपॉर्टेंट फंक्शन को कॉल कर सकते हो जिसका नाम होता है इवोक इवोक इवोक आई एम सॉरी इज अ वेरी
इंपोर्टेंट फंक्शन इन लैंग चेन और ये आपको आगे चलके पता चले आप मॉडल्स की बात करो आप चेंस की बात करो
आप प्रॉम्स की बात करो जो कोर कंपोनेंट्स हैं सभी के पास यह इवोक मेथड होता है और हम इस इवोक मेथड की हेल्प से कम्युनिकेट
करेंगे इस पर्टिकुलर मॉडल के साथ जीपीटी 3.5 के साथ सो आपको कुछ नहीं करना है आपको इवोक के अंदर बस एक प्रॉमेस्से
इंडिया ठीक है सो होगा क्या बिहाइंड द सीनस यह इवोक मेथड जाकर के इस मॉडल पर हिट करेगा और उसको यह प्रोमट देगा यह मॉडल इस
प्रोमट को प्रोसेस करेगा रिप्लाई जनरेट करेगा और वह रिप्लाई हमें वापस मिल जाएगा और उसको हम एक वेरिएबल में स्टोर कर लेंगे
लेट्स कॉल दैट वेरिएबल रिजल्ट और अब हम क्या करेंगे उस रिजल्ट को प्रिंट कर लेंगे एंड ट्स इट यू कैन सी पूरा फ्लो कितना
सिंपल है यहां पर हमने लाइब्रेरीज को इंपोर्ट किया यहां पर हमने अपने ओपन एआई के एपीआई की को लोड किया यहां पर हमने एक
ऑब्जेक्ट बनाया ओपन एआई का और उस ऑब्जेक्ट की हेल्प से हमने इवोक फंक्शन को कॉल किया जिसके अंदर हमने अपना प्रोमट भेजा हमें
पलट के हमारा रिस्पांस मिला जिसको हमने रिजल्ट में स्टोर किया और अब हम रिजल्ट को प्रिंट कर रहे हैं ट्स इट अब एक काम करते
हैं इस कोड को रन करते हैं सो हम रन कर रहे हैं फोल्डर के अंदर हमारी फाइल का नाम एंटर
मारा एंड यू कैन सी गाइस दिस इज द आउटपुट द कैपिटल ऑफ इंडिया इज न्यू दिल्ली हमारे मॉडल ने हमें रिप्लाई दे दिया एंड
दैट्ची आपको फोर्स करता है कि कि आप एलएलएम के बदले चैट मॉडल्स यूज़ करो यह जो कोड आप देख रहे हो यह शायद आपको कुछ
पुराने youtube0 मॉडल्स वो अभी सबसे इंपॉर्टेंट और सबसे रिलेवेंट पीस ऑफ कोड होंगे ठीक है
तो नाउ लेट्स शिफ्ट आवर अटेंशन टू चैट मॉडल्स अच्छा यहां मैं एक चीज आपको बताना भूल गया कि अगर आपको याद होगा थोड़ी देर
पहले हमने जो डिस्कशन किया था एलएलएम के बारे में वहां पर मैंने आपको बताया था कि जो आपके एलएलएम होते हैं व एक स्ट्रिंग
लेते हैं एज इनपुट प्लेन टेक्स्ट और एक स्ट्रिंग ही देते हैं एज आउटपुट सो यहां पर भी आप नोटिस करो कि इस एलएलएम को हमने
एक स्ट्रिंग भेजा है और उसने पलट के हमें जो भेजा है वह भी एक स्ट्रिंग है ठीक है तो इससे यह समझ में आ रहा है कि ये एक
एलएलएम है ठीक है अब बात करते हैं चार्ट मॉडल इंटरफेस की ठीक है तो व्हाट वी विल डू इज फर्स्ट ऑफ ऑल हम ये सेकंड फोल्डर
में जाएंगे चार्ट मॉडल्स वाले में और यहां पर हम एक नई फाइल बना लेते हैं लेट्स कॉल इट
अ चैट मॉडल ओपन एआई डॉट
पवा ठीक है अब अच्छी बात क्या है लैंग चन की कि इसका जो पूरा इंटरफेस है वह काफी कंसिस्टेंट है आपको प्रीवियस कोड में बहुत
कम चेंजेज करने हैं और आपका कोड मॉडिफाई हो जाएगा चैट मॉडल के लिए सो द फर्स्ट थिंग दैट यू हैव टू डू इज फिर से आप
इंपोर्ट करोगे सो आप फिर से लैंग चन अंडर ओपन एआई से इंपोर्ट करोगे इस बार ओपन एआई के बदले आप चैट ओपन एआई करोगे ठीक है यह
बहुत बड़ा डिफरेंस है सो दोनों में क्या डिफरेंस है एक बार मैं आपको बता देता हूं अगर आप ओपन एआई पे जाओ कंट्रोल प्रेस करो
और क्लिक करो तो यहां पर आपको सोर्स कोड दिखाई देगा इस क्लास का यहां पर आप नोटिस करोगे कि यह बेस ओपन एआई क्लास से
इन्हेरिटेंस चैट ओपन एआई क्लास से इन्हेरिटेंस है वह बेस चाट मॉडल से इन्हेरिटेंस
के लिए आगे आगे हम जब google2 मॉडल से इन्हेरिटेंस अगर आप ओपन इसकी बात करो और फिर इसको भी
क्लिक करो तो यह बेस एलएलएम क्लास इन्हेरिटेंस इज द मेन डिफरेंस बिटवीन अ एलएलएम एंड चाट मॉडल इन लैंग चेन कि आपके
सारे के सारे एलएलएम बेस एलएलएम क्लास को इन्हेरिटेंस आपके सारे के सारे चाट मॉडल्स बेस चट मॉडल क्लास को इरेट करते हैं ठीक
है अगेन यह थोड़ा टेक्निकल है यह अगर आपको नहीं भी पता और चलता है कोई बात नहीं बस दिखाना चाहता था मैं आपको कि कोड अंदर
कैसे लिखा हुआ है ठीक है जो भी है हमने सबसे पहले इंपोर्ट किया फ्रॉम लैंग चन ओपन एई इंपोर्ट चैट ओपन ए आई और यहां पर भी आप
डॉट इनवी से इंपोर्ट करोगे लोड ड एनवी फंक्शन को सबसे पहले लोड ड एवी को कॉल कर लेते हैं और हमारी ओपन
एआई की को यहां पे ले आते हैं अब हम क्या करेंगे हम चैट ओपन एआई का ऑब्जेक्ट बनाएंगे और यहां पे हम अपना मॉडल प्रोवाइड
करेंगे ठीक है तो मैंने आपको बोला था मैं आपको दिखाऊंगा कौन-कौन से मॉडल्स अवेलेबल है अगर आपको यह चेक करना है तो आपको जाना
पड़ेगा ओपन एआई के वेबसाइट पे वहां पर आपको मॉडल सेक्शन में जो भी मॉडल्स अवेलेबल है व सब दिखाई देंगे तो हमें
फिलहाल जीपीडी मॉडल्स पर जाना है एंड यू कैन सी दीज आर द मॉडल्स दैट आर अवेलेबल नॉट ओनली मॉडल का नाम आपको दिया हुआ है बट
आपको कॉन्टेक्स्ट विंडो भी दिया हुआ है और आपको मैक्स आउटपुट टोकन भी दिया हुआ है तो इसके हिसाब से आप डिसीजन ले सकते हो कि
आपको कौन सा यूज करना है ठीक है अगेन ये डिस्कशन हम लोग आगे करेंगे फिलहाल वी आर जस्ट यूजिंग दिस तो एक बार मैं क्या करता
हूं जीपीटी 4 को यूज करता हूं सो हम जो मॉडल यूज करने जा रहे हैं उसका नाम है जीपीटी 4 ओके और
यह जो ऑब्जेक्ट हम बना रहे हैं इसको हम लोग एक वेरिएबल में स्टोर कर लेते हैं लेट्स कॉल इट मॉडल थोड़ी देर पहले हम इसको
एलएलएम बुला रहे थे उस कोड में यहां पर हम इसको मॉडल बुला रहे हैं बिकॉज इट इज अ चैट मॉडल अब आपके पास इस मॉडल ऑब्जेक्ट के पास
एक मेथड है वही इवोक मेथड जैसा कि मैंने बोला लैंग चन में आपको कई जगह दिखाई देगा बिकॉज इट
इज वेरी इंपोर्टेंट बट इसकी पीछे की कहानी हम थोड़ा आगे देखेंगे जब हम रनेबल इंटरफेस पढ़ेंगे फ्यूचर में बट फिहाल जस्ट इस
फंक्शन को हम कॉल करेंगे और यहां पे हम भेजेंगे व्हाट इज द कैपिटल ऑफ
इंडिया सेम क्वेश्चन ठीक है और जो भी वहां से रिजल्ट आ रहा है उसको हम लोग फिर से एक वेरिएबल में स्टोर कर लेंगे लेट्स कॉल इट
रिजल्ट एंड नाउ लेट्स प्रिंट व्हाट एवर इज इनसाइड रिजल्ट सेव किया और एक बार यहां पे हम चेंज कर लेते हैं हम
है चैट मॉडल्स फोल्डर के अंदर और इस फाइल का नाम है चैट मॉडल ओपन एआई लेट्स रन दिस
कोड एंड इट सेज इट कांट ओपन दिस फाइल अच्छा उसका रीजन यह है कि यहां पे ू डॉट चट मॉडल
होगा लेट्स रन दिस फाइल एंड यू कैन सी दिस इज द रिजल्ट अब एक चीज आप नोटिस करोगे कि पिछले बार की तरह यहां पर जो रिजल्ट है वह
सिंपल प्लेन टेक्स्ट नहीं है यहां पर आपको काफी कुछ दिखाई दे रहा है सो सबसे पहले आपको कंटेंट बोल कर के की दिखाई दे रहा है
जिसके अंदर आपका एक्चुअल आंसर छुपा हुआ है बट उसके साथ और बहुत सारे एडिशनल कीवर्ड आर्गुमेंट हैं जो काइंड ऑफ मेटा डाटा है
जैसे कि कंप्लीशन टोकन कितने थे प्रोमट में कितने टोकन थे ट कितने टोकेंस हुए और उसके अलावा और भी बहुत सारा इंफॉर्मेशन है
ठीक है तो यू कैन क्लीयरली सी फर्स्ट ऑफ ऑल कि चैट मॉडल्स थोड़ा डिफरेंटली बिहेव कर रहे हैं इन टर्म्स ऑफ आउटपुट
प्रोवाइडेड बाय देम अब जनरली आप क्या करते हो कि अगर आपको सिर्फ आंसर देखना है तो आप राद देन प्रिंटिंग रिजल्ट आप रिजल्ट के
अंदर से कंटेंट को फेच करते हो ठीक है इस कंटेंट को आप फेच करते हो और यह क्या करता है यह आपको आपका आंसर निकाल
के देता है सो आपको ये कोड फिर से रन करना पड़ेगा टू सी द आंसर एंड यू कैन सी दिस इज द आउटपुट इट सेज द कैपिटल ऑफ इंडिया इज
न्यू दिल्ली ठीक है तो आई होप आपको थोड़ा आईडिया लग रहा है चार्ट मॉडल्स और एलएलएम के बीच का जो डिफरेंस है अ बहुत ज्यादा
अभी मे बी समझ नहीं आ रहा होगा कि क्या डिफरेंस है बट धीरे-धीरे समझ में आने लग जाएगा फिलहाल हमने क्या किया हमने अपना
फर्स्ट पीस ऑफ कोड लिखा जहां पे हमने चैट मॉडल इंटरफेस यूज़ किया और ओपन एआई के जीप pt4 मॉडल के साथ बात की अब मैं आपको दो और
अलग अ लैंग्वेज मॉडल से बात करके दिखाऊंगा नेक्स्ट विल बी अ एंट्रोपिक का क्ड मॉडल और उसके बाद में आपके आपको
चट ओपन एआई का तो आप यहां पर कुछ और पैरामीटर्स सेट कर सकते हो जैसे कि एक बहुत इंटरेस्टिंग पैरामीटर होता है
टेंपरेचर बोलके और टेंपरेचर की जो वैल्यू है वो जीरो से लेकर ट के आसपास तक वेरी करती है और यह एकदम सिंपल शब्दों में अगर
बोला जाए तो यह क्रिएटिविटी पैरामीटर है आप बता सकते हो कि आपको कितना क्रिएटिव रिस्पांस चाहिए अपने लैंग्वेज मॉडल से
इनफैक्ट मैंने यहां पे लिख भी रखा है एक फॉर्मल डेफिनेशन अ सो टेंपरे इज अ पैरामीटर दैट कंट्रोल्स द रैंडम ऑफ अ
लैंग्वेज मॉडल्स आउटपुट इट अफेक्ट्स हाउ क्रिएटिव और डिटरमिनिस्टिक द रिस्पांसस आर अगर आप लोअर रेंज में वैल्यू सेट करते हो
मान लो 0 से 0.3 के आसपास तो आपके जो रिस्पांसस आएंगे आपके लैंग्वेज मॉडल से वो ज्यादा डिटरमिनिस्टिक एंड प्रिडिक्टेबल
होंगे वेयर एज अगर आप हायर वैल्यू सेट करते हो लेट्स से 1.5 के आसपास तो वो बहुत रैंडम और क्रिएटिव और डावर्स होते हैं ठीक
है इनफैक्ट यहां पर एक टेबल सा मैंने बना र रखा है जो आपको हेल्प करेगा सही टेंपरेचर वैल्यू सेट करने में अगर आप
फैक्चर आंसर्स खोज रहे हो अपने लैंग्वेज मॉडल से जैसे कि आप मैथ्स के साथ काम कर रहे हो कोड्स के साथ काम कर रहे हो तो 0
से लेके 0.3 इज अ गुड रेंज अगर आप जनरल क्वेश्चन आंसर एक्सप्लेनेशन खोज रहे हो तो 5 से 7 थोड़ा क्रिएटिव काम कर रहे हो जैसे
कि राइटिंग स्टोरी टेलिंग जोक्स एक्सट्रा तो 9 से 1.2 और अगर कुछ बहुत ही ज्यादा रैमस और क्रिएटिव आपको चाहिए तो 1.5 से
ऊपर की वैल्यू आप ट्राई कर सकते हो अ ब्रेनस्टॉर्मिंग एक्सेट के टाइम पे सो मैं एक काम करता हूं मैं आपको दिखाता हूं कि
किस तरह के आउटपुट्स आते हैं अगर आप अलग-अलग टेंपरेचर वैल्यूज यूज करते हो मान लो मैंने सेट किया जीरो और नाउ व्हाट आई
विल डू इज मैं अपना प्रोमट चेंज कर रहा हूं और मैं यहां पर लिख रहा हूं सजेस्ट मी फाइव इंडियन मेल नेम्स जस्ट टू सी किस तरह
के नाम सजेस्ट हो रहे हैं यहां पे और इस कोड को मैं रन करता हूं विथ अ टेंपरेचर वैल्यू ऑफ जीरो एंड यू कैन सी
अर्जुन रवि संजय अनिल प्रकाश काफी रेगुलर टाइप के ही नाम है और एक काम करते हैं अब यहां पर वन पॉइंट 8 कर देते
हैं और अब इसको रन करते हैं एंड मुझे तो कोई खास बहुत अंतर नहीं दिख रहा फिर भी अर्णव कार्तिक
मे बी आई डोंट नो मे बी सही प्रोमट नहीं है इस चीज को समझने के लिए राइट अ फाइव
लाइन पोयम ऑन क्रिकेट वी कैन ट्राई दिस वन ठीक है लेट्स स्टार्ट विथ
जीरो क्रिकेट अ गेम ऑफ बैट एंड बॉल अंडर द सन स्टैंडिंग टॉल चीयर्स एकको एस विकेट्स फॉल इन द स्पोर्ट लव बाय ऑल अ सिक्सर्स
फ्लाइट कैप्ट वेट्स अस ऑल ठीक है मतलब ठीक ठाक लग रहा है लेट्स मेक इट 1.5 एंड लेट्स रन दिस कोड वन मोर
टाइम इन द फील्ड अंडर द सनस फरी पिकेट बॉयज एंड गर्ल्स विद लव फॉर क्रिकेट द बॉल टॉस अ मूमेंट प्लेस
टिक विक्ट्री ियर और संक विकेट प्रू विंग लाइफ इज डिफाइंड बिटवीन एनी पिच एंड विकेट अ पता नहीं मैं सही से जज नहीं कर पा रहा
हूं आप ही जज करो बट जो भी है यह एक पैरामीटर होता है जिसको आप यूज करते हो सिंपल शब्दों में अगर मैं समरा इज करूं तो
अगर आपको डिटरमिनिस्टिक टास्क करने हैं जैसे कोड वड जनरेट कराना है जीरो की साइड पर रहो थोड़े ज्यादा क्रिएटिव टास्क करने
हैं स्टोरी राइटिंग पोयम राइटिंग जोक्स राइटिंग एक्सेट्रा तो फिर आप थोड़ा 1.5 की साइड पर रहो यह एडवाइज है ठीक है एक और
बहुत इंपॉर्टेंट पैरामीटर होता है मैक्स कंप्लीशन टोकेंस इसकी हेल्प से आप यह बताते हो कि आपको
आउटपुट में कितने टोकेंस चाहिए टोकेंस को फिलहाल आप रफल वर्ड्स मान सकते हो सो मुझे पलट करके लैंग्वेज मॉडल से कुछ रिस्पांस
मिलेगा मैं चाहूं तो वहां पर रिस्ट्रिक्टर सकता हूं कि मुझे मेरे रिस्पांस में 10 वर्ड्स चाहिए 50 वर्ड्स चाहिए या फिर 100
वर्ड्स चाहिए ठीक है क्यों यह हेल्पफुल है बिकॉज आप जब किसी पेड लैंग्वेज मॉडल से बात कर रहे हो तो
वहां पर आपको पैसे देने बढ़ते हैं पर टोकन बेसिस पे सो अगर आप यहां पर जाओ ओपन एआई की वेबसाइट पे वहां पर अगर आप प्राइसिंग
सेक्शन में जाओ तो जो भी प्राइसिंग आपको यहां पर दिखाई दे रही है ढा लर र जो भी है वो पर न मिलियन टोकेंस है तो इसका यह मतलब
है कि जितने वर्ड्स या टोकन आप मंगाओ ग उसके बेसिस पर आपको पैसे पे करने पड़ रहे हैं तो कभी-कभी ऐसा हो सकता है कि एज अ
डेवलपर आप रिस्ट्रिक्टर चाहो कि इससे ज्यादा नंबर ऑफ टोकन मुझे आउटपुट में नहीं दिखाने जैसे कि व्ट आई कैन डू इज मैं यहां
पर 10 दे सकता हूं अब क्या होगा कि जब मेरा रिस्पांस आएगा मॉडल से तो उसमें मैक्सिमम 10 टोकन ही होंगे जैसे कि मैं
आपको दिखाता हूं इस कोड को मैं दोबारा रन करता हूं जो मैंने अभी जस्ट रन किया था और इस बार आप नोटिस करोगे कि हमें सिर्फ 10
टोकन आउटपुट में दिखाई देंगे यू कैन सी दज आर द टोकन ठीक है टोकन रफ ली आप बोल सकते हो
वर्ड्स होते हैं बट एगजैक्टली वर्ड्स नहीं होते उसमें और बहुत सारी चीजें कंसीडर की जाती हैं टोकेनाइजेशन इन इट सेल्फ इज अ
बिग टॉपिक सो वो हम आगे कभी पढ़ेंगे फिलहाल रफल आप मान लो कि टोकेंस आर इक्वल टू वर्ड्स ठीक है सो या ये दो इंपॉर्टेंट
पैरामीटर्स मैं आपको दिखाना चाहता था नाउ दैट यू अंडरस्टैंड दीज पैरामीटर्स नाउ लेट्स मूव ऑन टू द नेक्स्ट चैट मॉडल अ दैट
इज क्ड सो अगर क्ड की बात की जाए तो यह भी एक बहुत पॉपुलर लैंग्वेज मॉडल है इनफैक्ट आपको कई जगह यह सुनने को मिलेगा कि क्ड ने
परफॉर्मेंस लेवल पर अगर बात की जाए तो जीपीटी मॉडल्स को भी बीट कर रखा है सो इसलिए क्ड भी कई जगहों पर यूज होता है
मतलब देयर इज अ चांस कि आप जिस कंपनी के लिए फ्यूचर में काम करो वो ओपन एआई के एपीआई के बदले क्ड के एपीआई यूज कर रहे
हैं ठीक है तो इट्स पॉसिबल अ क्ड बाय द वे एक कंपनी की तरफ से आता है जिसका नाम है एंथ्रोपिक मे बी आपने नाम सुना होगा अब हम
क्या करेंगे हम एक कोड लिखेंगे जिसमें हम लैंग चन की हेल्प से क्ड के एपीआई को हिट करेंगे और रिस्पांस लेकर आएंगे ठीक है
प्रोसेस बिल्कुल सेम है हमें फिर से एक नई फाइल बनानी पड़ेगी और इस फाइल का हम नाम रख देते हैं चैट मॉडल अंडर
एंथ्रोपिक ड पवा ठीक है अब जैसा मैंने बोला प्रोसेस सेम है तो यहां पर भी आपको एक ओ एक एपीआई की की जरूरत पड़ेगी जैसे
आपको ओपन एआई के केस में जरूरत थी अब प्रॉब्लम वही है कि जस्ट लाइक ओपन एई एंथ्रोपिक भी एक पेड सर्विस प्रोवाइड करता
है व्हिच मींस आपको इनका एपीआई यूज करने के लिए पेमेंट करना पड़ेगा अब अगेन यह आपके ऊपर है अगर आप चाहो तो पेमेंट कर
सकते हो अदर वाइज आई वुड सजेस्ट आप स्किप करो और जस्ट वीडियो देखो आपको कुछ नहीं करना है यू हैव टू गो टू दिस वेबसाइट
टॉप अप रिचार्ज करा सकते हो मैंने फिलहाल $ का करा रखा है जस्ट सो दैट मैं वीडियो बना पाऊं यहां पर आपको जाना है गेट एपीआई
कीज के ऊपर ऑलरेडी मेरे पास एक की है सो व्हाट आई विल डू इज मैं क्रिएट की पे क्लिक
करूंगा एंड आई विल क्रिएट अ न्यू की अगेन यहां पे आप एक वर्कस्पेस या प्रोजेक्ट बना सकते
हो यहां पे मैं एक की बना रहा हूं बाय द नेम ऑफ माय सीक्रेट की ट ऐड पर क्लिक
किया और यह रहा मेरा की इसको मैंने कॉपी कर लिया नाउ आई विल गो बैक टू माय एनवायरमेंट
फाइल और यहां पर हमें एक नया वेरिएबल बनाना है एंट्रोपिक
एपीआई की एक चीज मैं आपको बताना भूल गया यहां पे आपको एगजैक्टली यही नाम लिखना है जो मैंने लिखा है जैसे ओपन एई अंडर एपीआई
अंडरस्कोर की लिखा है तो यही नाम आपको लिखना है आप इसको चेंज नहीं कर सकते ठीक है अगर आप इसको चेंज करोगे आपका जो
लोड नवी वाला फंक्शन है वो सही से लोकेट नहीं कर पाएगा की को और आपका कोड काम नहीं करेगा ठीक है सिमिलरली एंट्रोपिक वाले के
लिए आपको एगजैक्टली यही नाम लिखना है नाउ यू विल पेस्ट द की एंड दैट्ची अब आप मेन फायदा देखो लैंग चन यूज
करने का बिल्कुल सेम कंसिस्टेंट फॉर्मेट में हम कोड लिखेंगे जैसा हमने अभी तक ओपन एआई के लिए लिखा और आप नोटिस करोगे कि
एंट्रोपिक के लिए भी सेम कोड काम कर रहा है तो सबसे पहले आप फ्रॉम लैंग चन अंडरस्कोर एंट्रोपिक से इंपोर्ट
करोगे चैट एंट्रोपिक जैसे वहां पर चैट ओपन ए आई था यहां पर चाट एंट्रोपिक है फिर आप डॉट नवी से इंपोर्ट
करोगे डडवी डड एवी को आप कॉल कर लोगे अब यहां पे आपके पास एंट्रोपिक वाली की आ चुकी है अब
फिर से यहां पर आप एक मॉडल क्रिएट करोगे और यह एक इंस्टेंस होगा चैट एंट्रोपिक का और यहां पे जो मॉडल हम यूज
करेंगे उसका नाम है अ थोड़ा बड़ा नाम है तो एक काम करते हैं हम फिर से कसोल एपिक कॉ पर जाते हैं
और एक्सप्लोर डॉक्यूमेंटेशन पर क्लिक करते हैं यूजर गाइड्स यहां पर हमें मॉडल्स दिखाई दे रहे
हैं तो यहां पर भी मल्टीपल मॉडल्स है अभी सबसे रिसेंट क्लट 3.5 आया हुआ है हम उसका यह पर्टिकुलर मॉडल यूज कर रहे
हैं ठीक है यहां पर भी आप टेंपरेचर सेट कर सकते हो मैक्स टोकन वगैरह सेट कर सकते हो ठीक है फिलहाल मैं वो नहीं र और फिर से आप
मॉडल डॉट इवोक को कॉल करके यू कैन आस्क योर क्वेश्चन व्हाट इज
द कैपिटल ऑफ इंडिया और जो भी रिजल्ट आ रहा है हम उसको रिजल्ट में स्टोर कर रहे हैं एंड देन वी आर प्रिंटिंग आउट रिजल्ट डॉट
कंटेंट जैसा हमने थोड़ी देर पहले किया था नाउ वी आर गोइंग टू रन दिस कोड लेट्स
रन एंड इट सेज चट मॉडल्स ओ दिस इज द सेकंड फाइल एंड यू कैन सी दिस इज द आउटपुट न्यू दिल्ली इ द कैपिटल ऑफ
इंडिया और थोड़ा सा और यहां पर आपको एक्स्ट्रा आउटपुट दिखाई दे रहा है बट अगेन व मॉडल टू मॉडल वेरी करता है ठीक है बट
दिस इज द मेन पावर ऑफ लैंग चन यू कैन सी यह कोड है क्ड की एपीआई से बात करने का और यह कोड
है ओपन एआई के एपीआई से बात करने का एंड यू कैन सी एकदम मिनिमल डिफरेंस है बहुत ही कंसिस्टेंट आपका कोड का स्ट्रक्चरिंग है
ठीक है और इसी से आपको काफी हेल्प मिलता है अलग-अलग टाइप के एपीआई से बात करने में ठीक है तो यह दो मॉडल्स तो हमने देख लिए
एक और देखते हैं उसमें बहुत सारी जो कैपेबिलिटीज है वो google.de पे यहां पर आपको जमना के एपीआई
डॉक्यूमेंटेशन मिलेगा और यहां पे आप क्लिक कर सकते हो ऑन दिस बटन गेट अ जेमना ए एपीआई
की एंड फ्रॉम हेयर यू कैन क्रिएट अ एपीआई की उसके लिए पहले आपको एक फाइल और वहां पर आई विल क्रिएट अ न्यू
वेरिएबल बाय द नेम ऑफ googlegroups.com सेम कोड हम लिखना स्टार्ट करेंगे फ्रॉम लैंग
चन google.in लोवी को कॉल कर देंगे हमारे पास हमारी ओपन एआई की अ हमारे पास हमारी एपीआई
की आ गई और अब हम एक मॉडल बनाएंगे जो कि एक इंस्टेंस होगा चट ग
जनरेट एआई का यहां पर हमें मॉडल नेम प्रोवाइड करना है हम जो मॉडल यूज कर रहे हैं उसका नाम
है जेमिना 1.5 प्रो और अब हम मॉडल डॉट इवोक को कॉल
करेंगे और यहां पर हम पूछेंगे व्हाट इज द कैपिटल ऑफ इंडिया जो भी रिजल्ट आएगा उसको इस वेरिएबल
में स्टोर कर देंगे और फिर प्रिंट कर देंगे रिजल्ट डॉट कंटेंट को
सेव लेट्स रन दिस एंड यू कैन सी दिस इज द आउटपुट फ्रॉम आवर जेमिना मॉडल ठीक है तो जस्ट लाइक दैट हमने तीन अलग अलग एपीआई को
कॉल करके प्रोमट भेज के रिजल्ट जनरेट कराया और इस प्रोसेस में आपने जो तीन सबसे इंपॉर्टेंट क्लोज सोर्स
लैंग्वेज मॉडल्स हैं सबसे फेमस वाले उनके साथ बात करना सीखा अब आई नो आपके दिमाग में आ रहा होगा कि यह सब तो ठीक है बट द
बिगेस्ट प्रॉब्लम विद दीज मॉडल्स इज कि यह सारे के सारे पेड है और हमें ओपन सोर्स मॉडल के साथ काम करना है तो नेक्स्ट हम
वही करने वाले हैं हम एक ओपन सोर्स मॉडल के साथ यह सेम चीज रिपीट करके देखेंगे अब गाइस ओपन सोर्स मॉडल्स के साथ काम करने के
पहले मैं आपको थोड़ा ओपन सोर्स मॉडल्स के बारे में बताना चाहता हूं इससे आपको थोड़ा पर्सपेक्टिव मिलेगा यहां पर मैंने एक लाइन
ऐड कर रखी है एक बार इसको गो थ्रू करते हैं ओपन सोर्स मॉडल्स आर फ्रीली अवेलेबल एआई मॉडल्स दैट कैन बी डाउनलोडेड मॉडिफाइड
फाइन ट्यूड एंड डिप्लॉयड विदाउट रिस्ट्रिक्शंस फ्रॉम अ सेंट्रल प्रोवाइडर अनलाइक क्लोज सोर्स मॉडल सच एज जीपीटी क्ड
एंड जेमना ओपन सोर्स मॉडल्स अलाउ फुल कंट्रोल एंड कस्टमाइजेशन सो बेसिक फंडा क्या है कि अभी तक हमने तीन मॉडल्स के साथ
काम किया और वो तीनों क्लोज सोर्स मॉडल्स थे प्रोपराइटरी मॉडल्स थे किसी कंपनी के सो इस तरह के सेटअप में क्या होता है कि
जो एआई मॉडल होता है वह कंपनी के सर्वर पर पड़ा होता है और फिर इस मॉडल से बात करने के लिए कंपनी एक एपीआई क्रिएट कर देती है
अब पूरी दुनिया इस एपीआई के थ्रू इस मॉडल से बात कर सकती है बट इस पूरे प्रोसेस में दो फ्लॉस है पहला फ्लॉय है कि आपको इस
एपीआई को यूज करने के पैसे देने पड़ते हैं राइट एंड सेकंड फ्लज कि सिंस ये मॉडल किसी दूसरे के सर्वर पर रखा हुआ है और हम सिर्फ
एपीआई के थ्रू उससे बात कर सकते हैं तो हमारे पास कंट्रोल नहीं है चीजें चेंज करने का तो ये दो बहुत मेजर फ्लज हैं और
इन्हीं फ्लॉस को सॉल्व कौन करता है ओपन सोर्स मॉडल्स सो ओपन सोर्स मॉडल्स में क्या फंडा होता है कि एक एआई मॉडल होता है
जिसको कोई कंपनी या फिर कोई ऑर्गेनाइजेशन प्रॉपर्ली ट्रेन करके इंटरनेट पे कहीं पे छोड़ देती
है राइट अब आप एज अ यूजर क्या कर सकते हो इस मॉडल को इस ट्रेंड मॉडल को डाउनलोड कर सकते हो अपने मशीन पे ठीक है और फिर आप
उसके साथ जो भी करना चाहो आपके पास वो फ्रीडम है सो बेसिकली फर्स्ट ऑफ ऑल जो कॉस्ट लगता था एपीआई को यूज करने का वो
नहीं लग रहा बिकॉज आपने डाउनलोड कर लिया इसको अपनी मशीन पे तो एपीआई यूज नहीं करनी पैसे नहीं देने सेकंड सिंस ये आपकी मशीन
पे आ गया है तो आप इसको फाइन ट्यून कर सकते हो मॉडिफाई कर सकते हो एंड इवन इफ यू वांट आप इसको
डिप्लॉयडोकस है तो यही सबसे बड़ा सेलिंग पॉइंट होता है ओपन सोर्स एआई मॉडल्स का मैं आपको एक साइड बाय साइड कंपैरिजन देता
हूं यहां पे पहला पॉइंट कॉस्ट अ ओपन सोर्स मॉडल्स में आपको ओपन सोर्स मॉडल्स को यूज करने के लिए कोई पैसे नहीं देने आप लोकली
उनको अपने मशीन पर चला सकते हो विदाउट यूजिंग एन एपीआई क्लोज सोर्स मॉडल में आपको पैसे देने पड़ते हैं एपीआई को यूज
करने के कंट्रोल की बात की जाए तो सिंस ओपन सोर्स मॉडल आपके मशीन पे आ गए हैं आपके लैपटॉप पे आ चुके हैं तो उनको को
फाइन ट्यून करना या फिर अपनी मर्जी की जगह पर डिप्लॉयड सोर्स मॉडल में आप सिर्फ
प्रोवाइडर का इंफ्रास्ट्रक्चर यूज कर सकते हो आपके पास जीरो कंट्रोल होता है अगर हम बात करें डाटा
प्रवेसींचंडी के साथ या फिर ओपन एआई के जीपीटी मॉडल के साथ यूज नहीं कर पाओगे बिकॉज़ इन दैट केस
आपको अपना डाटा उनके सर्वर्स पे भेजना पड़ रहा है राइट दिस इज अ प्रॉब्लम बट ओपन सोर्स के केस में आप क्या कर रहे हो कि आप
मॉडल को अपने मशीन प डाउनलोड कर रहे हो और आप अपने ही मशीन पे सारा का सारा प्रोसेसिंग कर रहे हो तो यहां पर फिर ये
प्रॉब्लम सॉल्व हो जाती है आप अपने कॉन्फिडेंशियल डॉक्यूमेंट के साथ भी अ एलएलएम को इंटीग्रेट कर सकते हो तो ये एक
बहुत बड़ा अ सेलिंग पॉइंट होता है ओपन सोर्स मॉडल्स का उसके बाद कस्टमाइजेशन मैंने बता ही दिया फाइन ट्यून कर सकते हो
अपने डेटा सेट्स के ऊपर इफ यू वांट अ क्लोज सोर्स मॉडल में कुछ प्रोवाइडर्स आपको यह फीचर देते हैं बट वो बहुत लिमिटेड
होता है और फाइनली बात की जाए डिप्लॉयड की तो आप अपने सर्वर्स पे या फिर क्लाउड पे ओपन सोर्स मॉडल्स को
डिप्लॉयड सोर्स में ऐसा कोई सीन नहीं है ठीक है तो यह बहुत इंपॉर्टेंट है यह पूरी चीज समझना कि ओपन सोर्स मॉडल्स क्यों
यूजफुल होते हैं अब अगर बात करो कि कौन-कौन से ओपन सोर्स मॉडल्स आज की डेट में बहुत फेमस है तो सबसे जो फेमस ओपन
सोर्स मॉडल है लैंग्वेज मॉडल वो तो लामा है इसके अलावा आपका मिस्टल होगा फैकन है और
कुछ बहुत डोमेन स्पेसिफिक मॉडल्स भी है जैसे कि ब्लूम सो ये आपके कुछ फेमस मॉडल्स हैं आज की डेट में जो आपको हर जगह दिखाई
देंगे अगर आप ओपन सोर्स लैंग्वेज मॉडल्स को खोजो ग ठीक है अ अगला क्वेश्चन आपके दिमाग में आ सकता है कि ठीक है अ मुझे सही
लग रहा है ओपन सोर्स लैंग्वेज मॉडल्स कहां मिलेंगे मुझे ये मॉडल्स कहां से मैं इनको डाउनलोड कर सकता हूं तो इसका आंसर है
हगिंग फेस सो अगर आपने हगिंग फेस के बारे में नहीं सुना है तो हगिंग फेस इज द लार्जेस्ट रिपोजिटरी ऑफ ओपन सोर्स एलएलएम
इनकी वेबसाइट पे आपको जाना है और आपको हजारों मॉडल्स एक जगह पे मिलेंगे दिस इज़ द वेबसाइट ऑफ़ हगिंग फेस यहां पे आपको
सिंपली मॉडल्स पे क्लिक करना है एंड यू वुड फाइंड कि देयर आर थाउजेंड्स ऑफ एआई मॉडल्स होस्टेड ऑन दिस प्लेटफॉर्म अलग-अलग
टाइप के मॉडल्स हैं मल्टीमॉडल मॉडल्स हैं जहां पे आप हर तरह का इनपुट भेज सकते हो ऑडियो इनपुट वीडियो इनपुट टेक्स्ट इनपुट
स्पीच इनपुट कुछ भी भेज सकते हो कंप्यूटर विजन स्पेसिफिक मॉडल्स हैं जो आपके इमेज क्लासिफिकेशन ऑब्जेक्ट डिटेक्शन टाइप के
टास्क को परफॉर्म करते हैं और फिर एनएलपी बेस्ड एप्लीकेशंस भी हैं मॉडल्स भी हैं जहां पे हम फिलहाल जिस पे काम करेंगे वो
है टेक्स्ट जनरेशन और अगर आप टेक्स्ट जनरेशन में जाओ तो यहां पे आपको बहुत फेमस कुछ नाम दिखाई देंगे जैसे कि डीप सीक हुआ
नीचे जाओगे तो आपको लामा दिखाई देगा और फिर और थोड़ा आप एक्सप्लोर करोगे तो आपको यह क्वेन भी अभी जो नया आया है चाइना की
तरफ से तो यू विल फाइंड ल दीज ओपन सोर्स मॉडल्स एट वन प्लेस एंड दैट इज हगिंग फेस इनफैक्ट हम भी अभी जब एक ओपन सोर्स मॉडल
के साथ काम करेंगे हम हगिंग फेस लाइब्रेरी ही यूज करेंगे ठीक है तो आई होप आपका यह क्वेश्चन आंसर हो गया कि हमें ह ओपन सोर्स
एलएलएम मिलेंगे कहां अब अगला क्वेश्चन है कि व्हाट आर द वेरियस वेज इन व्हिच यू कैन यूज ओपन सोर्स मॉडल्स एक तरीका तो मैंने
बताया कि आप सिंपली उनको अपनी मशीन पर डाउनलोड कर लेते हो हगिंग फेस से आपने ने डाउनलोड किया और अपनी ही मशीन पे चलाया
दिस इज द मोस्ट पॉपुलर वे बट देयर इज वन मोर वे और वो है कि आप हगिंग फेस का इनफर मेंस एपीआई यूज करो तो जस्ट लाइक ओपन एआई
जस्ट लाइक एक लिमिट के बाद फिर आपको पैसे देने पड़ते हैं बट अगेन एज स्टूडेंट्स या फिर आप अगर
छोटे-मोटे प्रोजेक्ट बना रहे हो तो उतना फर्क नहीं पड़ेगा आप इनका एपीआई यूज करके भी बना पाओगे द बेस्ट पार्ट इज कि इनके
एपीआई के थ्रू आप 1000 ऑफ मॉडल्स को यूज कर सकते हो बहुत ज्यादा ऑप्शंस रहते हैं आपके पास तो दैट इज द बेस्ट पार्ट अबाउट अ
हगिंग फेस ठीक है तो आई होप आपको समझ में आ गया हम यह दोनों तरीके देखेंगे हम पहले एपीआई के थ्रू ओपन सोर्स मॉडल रन करके
देखेंगे और फिर हम डाउनलोड करेंगे अपने मशीन पे और अपने मशीन पर चला के भी देखेंगे दोनों तरीकों से हम ओपन सोर्स
मॉडल चला के देखेंगे लास्टली अ सब कुछ अच्छा ही नहीं है कुछ-कुछ बुराइयां भी हैं तो अगर हम डिसएडवांटेजेस की बात करें अ
ओपन सोर्स मॉडल्स की तो कुछ बड़े डिसएडवांटेजेस भी हैं जैसे कि पहला डिसएडवांटेज है कि अगर आप अपने मशीन पे
ओपन सोर्स मॉडल को चलाना चाहते हो तो इट वुड रिक्वायर सॉलिड हार्डवेयर इनफैक्ट मैं अभी आपको थोड़ी देर में अपने मशीन प चला
के दिखाऊंगा एक छोटा ही मॉडल बहुत बड़ा मॉडल भी नहीं छोटा मॉडल और आप देखोगे कि मेरी मेरा मशीन रोने लगेगा क्योंकि मेरे
मशीन का हार्डवेयर स्पेसिफिकेशन उतने स्ट्रांग नहीं है तो आपको बड़े मॉडल्स को चलाने के लिए अ बहुत एक्सपेंसिव जीपीयू
चाहिए होते हैं जो जनरली किसी इंडिविजुअल के पास नहीं होते उसके बाद सेटअप की कॉम्प्लेक्टेड करनी पड़ेगी आप जब मॉडल को
लेके आओगे उसको अपनी मशीन पर चलाओगे तो आपको चीजें थोड़ा प्रिपेयर करके रखना पड़ेगा और वो थोड़ा सा हेक्टिक काम है
उसके बाद थर्ड चीज आप नोटिस करोगे ओपन सोर्स मॉडल्स के बारे में कि उनके अंदर रिफाइन मेंट थोड़ा सा कम होता है उसका एक
टेक्निकल रीजन है कि यहां पर जब ओपन सोर्स मॉडल्स बनते हैं तो वहां पे उतनी फाइन ट्यूनिंग नहीं की जाती है ह्यूमन फीडबैक
के ऊपर इस चीज को आर एल एचएफ बोलते हैं आगे हम इसके बारे में पढ़ाई करेंगे बट अभी आप ऐसे समझो कि थोड़ा सा आपको ऐसा लगेगा
कि क्लोज सोर्स मॉडल्स के कंपैरिजन में ओपन सोर्स मॉडल्स का जो रिस्पांस है वो थोड़ा सा कम रिफाइंड है ठीक है इनफैक्ट
मैं आपको दिखाऊंगा अभी हम जो मॉडल यूज़ करेंगे वहां पे आपको ऐसा लगेगा कि जो आंसर्स मुझे मिल हैं वो उतने अच्छे नहीं
है जितने मुझे ओपन एआई से मिलते हैं बट अगेन आप इसको फिगर आउट कर सकते हो बिकॉज़ आपके पास फाइन ट्यूनिंग का ऑप्शन रहता है
एंड लास्टली अ मोस्टली आपको लिमिटेड मल्टीमॉडल एबिलिटीज मिलेंगी एटलीस्ट इस पॉइंट ऑफ टाइम पे आप मोस्टली टेक्स्ट के
साथ ही काम कर पाओगे अगर आप इमेजेस ऑडियो के साथ काम करना चाहते हो तो मे बी अभी आपको ऐसे मॉडल्स थोड़े कम ही मिलेंगे ठीक
है तो नाउ दैट आपको थोड़ा आईडिया हो गया ओपन सोर्स मॉडल्स के बारे में अब हम इनके साथ काम करना स्टार्ट करते हैं पहले मैं
आपको हगिंग फेस का इफ फरेंस एपीआई यूज करके दिखाऊंगा और फिर मैं आपको एक मॉडल लोकली अपने मशीन पर डाउनलोड करके दिखाऊंगा
तो गाइस अब हम लोग काम करेंगे एक ओपन सोर्स मॉडल के साथ और फर्स्ट हम लोग यह अप्रोच यूज करेंगे जहां पर हम उस मॉडल को
यूज करेंगे विद द हेल्प ऑफ हगिंग फेस इरें एपीआई ठीक है हम मॉडल को अभी लोकली डाउनलोड नहीं कर रहे यह पर्टिकुलर मॉडल
हगिंग फेस के सर्वर्स पे पड़ा हुआ है और हगिंग फेस की एपीआई है अ उसकी हेल्प से हम बेसिकली पूरा का पूरा फ्लो इंप्लीमेंट
करेंगे सो सिंस अगेन हमें एक एपीआई से इंटरेक्ट करना है तो उसके लिए हमें एपीआई की चाहिए
होगी और एपीआई की हमें मिलेगी हगिंग फेस की वेबसाइट से सो यह रही हगिंग फेस की वेबसाइट यहां पर आपको अकाउंट बनाना पड़ेगा
अकाउंट बनाने के बाद लॉग इन करने के बाद आप अपने अकाउंट में जाओगे वहां से एक्सेस टोकन में जाओगे एंड यू कैन सी ऑलरेडी
मैंने एक एक्सेस टोकन बना रखा है मैं एक और बनाता हूं जस्ट टू शो यू यह पूरी चीज कैसे काम करती यहां पर क्रिएट न्यू टोकन
बटन है इस पर क्लिक करेंगे यहां पर हमारे पास ऑप्शंस है फाइन ग्रेड रीड राइट हम फिलहाल रीड कर रहे हैं
तो हम रीड के लिए टोकन बना रहे हैं लेट्स कॉल दिस टोकन लैंग चन अंडरस्कोर टोकन
अंडरकोट क्रिएट टोकन और इसको मैं कॉपी कर लूंगा नाउ आ विल गो टू माय प्रोजेक्ट और यहां पर
एनवायरनमेंट वाली फाइल में जाऊंगा मैं और यहां पर आई क्रिएट न्यू वेबसाइट न्यू वेरिएबल हगिंग
फेस हब अंडरस्कोर एक्सेस टोकन दिस इज द नेम ट यू हैव टू
कीप और यहां पर हम पेस्ट कर देंगे हमारे एक्सेस टोकन को ठीक है अब हमें क्या करना है
हमें हमारे चाट मॉडल वाले फोल्डर में एक नई फाइल बनानी है आई विल कॉल दिस फाइल 4 अंड चैट मॉडल
अंडरस्कोर हगिंग फेस अंडरस्कोर एपीआई ड पवा अब यहां पे फ्लो रफ सेम रहेगा बस थोड़ा सा एक दो चीज आपको डिफरेंट दिखाई
देगा बट इट्स ओके बहुत ज्यादा कुछ डिफरेंट नहीं है आपको सबसे पहले इंपोर्ट करना है फ्रॉम लैंग चन अंड हगिंग
फेस दो क्लासेस आपको इंपोर्ट करनी है एक है चाट हगिंग फेस जैसे चाट ओपन ए आई होता है एंड सेकंड यू हैव टू इंपोर्ट हगिंग
फेस एंड पॉइंट यह आपको यूज करना होता है जब आप एपीआई यूज करना चाहते हो हगिंग फेस का ठीक
है और सेकंड हमें फिर से फ्रॉम डॉट नवी इंपोर्ट करना है लोड ड एवी
को उसके बाद हम लोड डॉट नबी फंक्शन को कॉल कर लेंगे यह सब अभी तक सिमिलर चल रहा है अब यहां से मेन
चीज शुरू होती है यहां पर भी आपको क्या करना होता है आपको एक मॉडल बनाना होता है जो कि चैट हगिंग
फेस का ऑब्जेक्ट होगा बट यहां पर आपको एक एलएलएम बोल के पैरामीटर होता है इसकी वैल्यू प्रोवाइड करनी होती है यहां पर
आपको एक एलएलएम कंफिल करके भेजना होता है और वो एलएलएम आप बनाओगे कैसे सो वो एलएलएम बनाने के लिए आप यूज करोगे हगिंग फेस एंड
पॉइंट वाली क्लास ठीक है यहां पर आपको ज्यादा कुछ नहीं दो चीजें बतानी है फिलहाल फर्स्ट आपको बताना है रेपो आईडी मतलब आप
हगिंग फेस में कौन सा मॉडल यूज करना चाहते हो हगिंग फेस में हजारों मॉडल्स है आप कौन सा मॉडल यूज करना चाहते हो तो पहले मैं
आपको दिखाता हूं कि मैं कौन सा मॉडल यूज करने वाला हूं सो आई विल गो टू हगिंग फेस वहां पे मॉडल्स में अगर आप टेक्स्ट
जनरेशन में जाते हो अ ये रहा टेक्स्ट जनरेशन तो हम यूज करने जा रहे हैं अ ये
सारे मॉडल्स थोड़े बड़े हैं इन मॉडल्स को हम यूज कर सकते हैं मतलब ऐसी कोई प्रॉब्लम नहीं है बट मैं आपको एक छोटा मॉडल यूज
करके दिखाना चाहता हूं हम जो मॉडल यूज कर रहे हैं उसका नाम है टाइनी लामा अ या दिस वन यह एक छोटा मॉडल है 1.1 बिलियन
पैरामीटर्स है इसमें और यह लामा जो फ का मॉडल है उसके ऊपर काइंड ऑफ एक फाइन ट्यून मॉडल है ठीक है विथ लेस नंबर ऑफ
पैरामीटर्स हम यह पर्टिकुलर मॉडल यूज करना चाहते हैं सो मैं इसको कॉपी कर लूंगा यह जो आपको दिखाई दे रहा है यह पाथ यह आपका
काइंड ऑफ रेपो आईडी है इस पर्टिकुलर मॉडल का तो हमें इसको ले जा कर के यहां पे पेस्ट कर देना है सेकंड आपको यहां पे
बताना है कि आप इस मॉडल से कौन सा टास्क परफॉर्म करवाना चाहते हो हम जो टास्क परफॉर्म करवाना चाहते हैं वो है टेक्स्ट
जनरेशन ठीक है एंड दैट्ची हु इज या व्हाट इज व्हाट इज द कैपिटल ऑफ इंडिया ठीक है जो
भी रिस्पांस आएगा उसको हम रिजल्ट में स्टोर करेंगे और रिजल्ट
को प्रिंट कर देंगे प्रिंट रिजल्ट डॉ कंटेंट एंड ट्स इट गाइस इतना ही सिंपल है हम इस कोड को रन करते
हैं सो अब हम चला रहे हैं फोर्थ फाइल को चार्ट मॉडल अंडरस्कोर हगिंग फेस
अंडरस्कोर एपीआई लेट्स रन दिस वन एंड यू कैन सी गाइस दिस इज द रिजल्ट ट वी आर गेटिंग फ्रॉम आवर
टाइनी लामा मॉडल एक बार मैं आपको फिर से बताना चाहूंगा कि यह जो मॉडल है यह फिलहाल हगिंग
फेस के सर्वर्स पर है और हम एक एपीआई के थ्रू उससे बात कर रहे हैं हमने इस मॉडल को अपने मशीन पर डाउनलोड नहीं किया है ठीक है
अब मैं आपको सेकंड अप्रोच दिखाता हूं जहां पर मैं इस मॉडल को अपने मशीन पर डाउनलोड करूंगा और हम अपने मशीन पर पड़े हुए मॉडल
के साथ इंटरेक्ट करेंगे ठीक है तो वो ट्रूली आपको फ्लेवर देगा कि ओपन सोर्स मॉडल के साथ काम कैसे करना है सो गाइस अब
हम लोग कोड लिखेंगे जिससे हम इस टाइनी लामा मॉडल को अपने मशीन पर लोकली डाउनलोड करेंगे और फिर चलाएंगे सो इसके लिए मैं एक
नई फाइल बना रहा हूं और इस फाइल का नाम है चैट मॉडल अंडर हगिंग फस अ लोकल ड पवा ठीक है अब यह
कोड भी काइंड ऑफ सिमिलर ही है बस एक छोटा सा डिफरेंस होगा मैं आपको बता दूंगा सबसे पहले आपको फिर से फ्रॉम लैंग चन अंडर
हगिंग फेस से दो क्लासेस इंपोर्ट करनी है फर्स्ट इज चैट हगिंग फेस जो हमने अभी थोड़ी देर पहले देखा और सेकंड है हगिंग
फेस पाइपलाइन ठीक है यह डिफरेंट है पिछली बार हमने हगिंग फेस एंड पॉइंट यूज किया था अब हम लोग हगिंग फेस पाइपलाइन यूज कर रहे
हैं अब नेक्स्ट हमें क्या करना है कि हमें एक मॉडल बनाना है और मॉडल जो होगा वह चैट हगिंग फेस का ऑब्जेक्ट होगा और यहां पे
हमें एक एलएलएम प्रोवाइड करना है तो फिर से पहले की तरह हम एक एलएलएम कंफिल करेंगे तो इसके लिए हम यूज करेंगे हगिंग फेस
पाइपलाइन को सो हगिंग फेस पाइपलाइन डॉट यहां पर एक फंक्शन होता है फ्रॉम मॉडल अंडरस्कोर आईडी इसको आपको कॉल
करना है और इसमें आप मॉडल का आईडी बताओगे मॉडल का आईडी फिर से वही होगा जो टाइनी लामा का रेपो आईडी था सो आई
विल कॉपी दिस यूआरएल नॉट यूआरएल रेपो आईडी और उसको मैं यहां पर पेस्ट कर दूंगा और यहां
पर भी आपको क्या करना है आपको टास्क बताना है और टास्क है टेक्स्ट जनरेशन का इसके अलावा आपके पास
कुछ कीवर्ड आर्गुमेंट भेजने का ऑप्शन होता है यहां पे यहां पर एक पैरामीटर है पाइपलाइन अंडरस्कोर कीवर्ड आर्गुमेंट और
यहां पर आप अलग-अलग चीजें भेज सकते हो जैसे कि अगर आप चाहो तो यहीं पर आप टेंपरेचर सेट कर सकते
हो मान लो मैंने ने फ सेट कर दिया यहीं पे आप मैक्स टोकन सेट कर सकते हो सो मैक्स न्यू टोकेंस
इज इक्वल टू लेट्स से मैंने 100 कर दिया तो 100 टोकेंस ही हमें दिखाई देंगे ठीक है एंड
या नेक्स्ट व्हाट वी कैन डू इज अ यहां पे एक एरर आ रहा है अच्छा इट्स बिकॉज़ दिस इज अ डिक्शनरी माय बैड या हमने इस तरीके से
डिक्शनरी डिफाइन कर ली अ बट या ये हमने यहां पे डिक्शनरी डिफाइन कर ली और जो है ये हमारा एलएलएम कंफिल हो गया इसी एलएलएम
को हम यहां पे भेज देंगे ठीक है एंड ट्स इट गाइस एक बार आपने यह कर लिया उसके बाद आपको सिंपली
करना है मॉडल डॉट इवोक और यहां पर आप अपना क्वेश्चन भेजोगे व्हाट इज द कैपिटल
ऑफ इंडिया जो भी आएगा इसको हम एक वेरिएबल में स्टोर कर लेंगे और हम प्रिंट कर देंगे रिल्ट डॉट कंटेंट ठीक है सो जैसे ही
आप इस कोड को रन कराओ होगा क्या कि जो भी आपका यह मॉडल है टाइनी लामा और इसके आसपास जो और कन्फेशन फाइल्स हैं टोकना इजर्स हैं
यह सब कुछ साथ में डाउनलोड होगा आपकी मशीन पे अराउंड 500 एबी की ये सारी फाइल्स है इफ आई रिमेंबर करेक्टली 500 नहीं तो 300
400 टाइप की एबी की फाइल्स है फिर व सब कुछ लोड होगा आपके रम में और आपकी मशीन पर सब कुछ चलेगा इट हेल्प्स अगर आपके मशीन
में जीपीयू है थोड़ा फास्टर इरें होगा अगर आप सीपीयू प चलाओगे तो इंफर स्लो होगा और अभी आप देखोगे मेरे मशीन में थोड़ा सा
प्रोसेसिंग स्लो होगा बिकॉज मेरा मशीन का कॉन्फिन उतना स्ट्रांग नहीं है ठीक है तो एक काम करते हैं इसको रन करते हैं इसको रन
करने के पहले बस मैं एक कोड यहां पर ऐड करना चाहता हूं और ये आपको ऐड करने की जरूरत नहीं है ये मेरे मशीन की लिमिटेशन
है सो होता क्या है कि बाय डिफॉल्ट जो भी सारी फाइल्स होती हैं वो डाउनलोड होके आपके मशीन के सी ड्राइव में इफ यू आर
यूजिंग विंडो सी ड्राइव में आके स्टोर हो जाती है बट मेरा सी ड्राइव पूरा भरा हुआ है तो मैं एक्सप्लीसिटली एक कमांड देना
चाहता हूं कि मुझे सी ड्राइव में वो फाइल स्टोर ना करके डी ड्राइव में स्टोर करना है बिकॉज़ मेरे मशीन पे डी ड्राइव में
स्टोरेज अवेलेबल है सो हमें ओस मॉड्यूल को इंपोर्ट करना है वहां से हमें एक एनवायरमेंट वेरिएबल सेट करना
एचएफ अंडरस्कोर होम बोल के और इसका वैल्यू हो जाएगा
डी स्लश हगिंग फेस
अंडरस्कोर कैश यहां पर मेरा पूरा का पूरा फोल्डर आ करके डाउनलोड हो जाएगा ठीक है यह आपको करने की जरूरत नहीं है आपकी केस में
डिफॉल्ट लोकेशन पर सब कुछ डाउनलोड हो होगा अब एक काम करते हैं इस कोड को हम लोग रन करते हैं यह है हमारा फिफ्थ
कोड और एपीआई के बदले यहां पे आ जाएगा लोकल जैसे आप इसको रन करोगे अभी आपको दिखाई देगा कि कुछ फाइल्स
आपके सिस्टम में डाउनलोड हो रही है एंड यू कैन सी गाइस दिस इज द आउटपुट दैट वी आर गेटिंग ठीक है बहुत अच्छे से फॉर्मेट करके
पूरा आउटपुट प्रिंट हो रहा है पहले वो यूजर का जो क्वेश्चन है वो भी दिखा रहा है और फिर एआई अस असिस्टेंट ने क्या आंसर
दिया वह भी दिखा रहा है सोर्स भी बता रहा है उसने जहां से यह आंसर उठाया है ठीक है तो यह बहुत अच्छे से फाइन ट्यून मॉडल है
टाइनी लामा दैट इज व्हाई आपको इस तरह का रिस्पांस मिल रहा है आल्सो आई वुड लाइक टू टेल यू अ भले वीडियो में आपको लग रहा होगा
कि मैंने बस कोड रन किया और मुझे रिस्पांस मिल गया बट ऐसा नहीं है यह कोड रन होने में अराउंड 10 मिनट्स लगे मेरे मशीन पे
बहुत ही स्लो था मेरा पूरा मशीन बैठ गया मैं और कुछ भी नहीं कर पा रहा था आई हैड टू शट डाउन रीस्टार्ट और फिर मैं यह
वीडियो शूट कर रहा हूं सो जस्ट आपको यह बताना चाहता हूं कि इतने बड़े मॉडल्स का इफ्रें छोटी मशीनस के ऊपर बहुत हैवी पड़ता
है स्पेशली अगर आपकी मशीन मेरे जैसी है जहां पर 8gb रम है और एसएसडी भी कम है तो फिर सब कुछ बहुत प्रॉब्लेम िक है ठीक है
आपको अच्छा कॉन्फिन चाहिए लोकली इन मॉडल्स को अपने मशीन पर चलाने के लिए आल्सो आई वुड लाइक टू टेल यू जिस तरीके से हमने यह
पर्टिकुलर मॉडल को रन किया इसी तरीके से आप हगिंग फेस से जाकर करके कोई भी मॉडल उठा सकते हो और उसको इस तरीके से अपने
मशीन पर डाउनलोड करके यूज कर सकते हो ठीक है इन द कमिंग लेक्चरर्स हम यह काम करेंगे बट अभी फिलहाल मुझे बस आपको दिखाना था कि
कैसे आप ओपन सोर्स मॉडल्स को डाउनलोड करते हो अपनी मशीन पे और चलाते हो आई होप आपको यह बात समझ में आ गई आल्सो एक चीज मैं
यहां पे क्लेरिफाई करना चाहूंगा मैंने आपको बोला था कि यहां पे पहले आपको मॉडल डाउनलोड होता हुआ दिखाई देगा और फिर आपको
आउटपुट दिखाई देगा अ सो अ ऐसा हुआ था बट फर्स्ट टाइम मेरा मशीन हैंग कर गया और मुझे बंद करना पड़ा और फिर मैंने दोबारा
इस कोड को रन किया तो दूसरी बार मॉडल डाउनलोड नहीं हुआ बिकॉज वो ऑलरेडी मेरे मशीन में डाउनलोडेड था इस फोल्डर के अंदर
तो वहां से कैशिंग हो गई दैट इज वई दूसरी बार जब मैंने इस कोड को चलाया तो आपको व आउटपुट नहीं दिखाई दे रहा है कि कैसे पूरी
चीज डाउनलोड हुई हमारे मशीन प आप जब अपने मशीन पर यह कोड चलाओगे तो आपके मशीन पर सब कुछ दिखाई देगा फर्स्ट टाइम प ठीक है सो
अब अगर हम अपना अभी तक का प्रोग्रेस समरा इज करें तो हमने लैंग्वेज मॉडल के साथ काम करना सीख लिया है और लैंग्वेज मॉडल्स में
हमने दोनों तरह के मॉडल्स एलएलएम के साथ भी काम करना सीख लिया है और आपके चाट मॉडल्स के साथ भी काम करना सीख लिया है और
चाट मॉडल्स में हमने दोनों टाइप के चार्ट मॉडल्स के साथ काम किया क्लोज सोर्स एस इन प्रोपराइटी मॉडल्स एंड ओपन सोर्स य दोनों
ही टाइप के मॉडल्स के साथ हमने काम कर लिया सो अब हम मूव करेंगे सेकंड पार्ट ऑफ द लेक्चर की तरफ जहां पर मैं आपको
दिखाऊंगा कि कैसे आप एंबेडिंग मॉडल के साथ काम करते हो इसमें भी फर्स्ट हम ओपन एआई के एंबेडिंग मॉडल के साथ काम
करेंगे और फिर मैं आपको हगिंग फेस से एक एंबेडिंग मॉडल अपनी मशीन पर डाउनलोड करके चला के दिखाऊंगा ठीक है सो या लेट्स
स्टार्ट अब एंबेडिंग मॉडल से इंटरेक्ट करने के पहले आपको फिर से मैं याद दिलाना चाहूंगा कि एंबेडिंग मॉडल्स का इस्तेमाल
हम कर एक टेक्स्ट को वेक्टर में कन्वर्ट करने के लिए सो दैट उस वेक्टर के अंदर उस
पर्टिकुलर टेक्स्ट का कंटेक्सुअल अंडरस्टैंडिंग आ जाए ठीक है तो हम सबसे पहले क्या करेंगे हम अपने थर्ड
वाले फोल्डर में जाएंगे और इस थर्ड फोल्डर में ल क्रिएट न्यू फाइल लेट्स कॉल दिस एंबेडिंग अंडरस्कोर ओपन ए आई अंडरस्कोर
[संगीत] क्वेरी डॉट पवाई सो सबसे पहले आपको क्या करना है आपको
लैंग चन अंडरस्कोर ओपन ए आई से एक क्लास को इंपोर्ट करना है जिसका नाम होता है ओपन
एआई एंबेडिंग्स सेकंड आपको डॉट नवी से इंपोर्ट करना है लोड ड एनवी को और फिर लोड एनवी को आप
कॉल कर दोगे ठीक है यह सब पहले से आप देख चुके हो अब हमें क्या करना है हमें ओपन एआई एंबेडिंग क्लास का एक ऑब्जेक्ट बनाना
है और यहां पे हमें बताना है कि हमें कौन सा एंबेडिंग मॉडल यूज करना है ठीक है तो मल्टीपल एंबेडिंग मॉडल्स अवेलेबल है अगर
आप ओपन एआई की वेबसाइट प जाते हो तो इस पेज पे आपको दिखाई देगा कि दीज आर द मॉडल्स दैट आर अवेलेबल सो हम लेट्स से यह
वाला यूज करते हैं टेक्स्ट एंबेडिंग थ्री लार्ज यहां पर उसके बाद आपको यह बताना होता है
कि आप जो वेक्टर आउटपुट चाह रहे हो पलट करके उसमें कितने डायमेंशन चाहिए ठीक है तो यहां पर आप 200 300 500 कुछ भी लिख
सकते हो फिलहाल मैं 32 डायमेंशन वेक्टर एक्सपेक्ट कर रहा हूं अगर ज्यादा बड़ा वेक्टर लोगे तो और ज्यादा कॉन्टेक्स्ट
कैप्चर होगा छोटे वेक्टर में कम कांटेक्ट कैप्चर होगा फायदा यह है छोटा वेक्टर यूज करने का
कि आपको कॉस्ट कम लगेगा ठीक है कॉस्ट की बात थोड़ी देर बाद में आपको फिर से करके बताता हूं फिलहाल जो भी है यह ऑब्जेक्ट बन
गया और इसको मैं एंबेडिंग बुला लेता हूं ठीक है अब आप इसकी हेल्प से क्या कर सकते हो एंबेडिंग का ऑपरेशन परफॉर्म कर सकते हो
सो आपको क्या करना है एंबेडिंग को कॉल करना है और यहां पे आपके पास एक फंक्शन होता है जिसको हम बुलाते हैं एंबेड क्वेरी
और इस एंबेड क्वेरी में आप एक सिंगल सेंटेंस भेज सकते हो जैसे कि आपने यह भेज दिया दिल्ली इज द कैपिटल
ऑफ इंडिया ठीक है और अब क्या होगा यह क्वेरी जाएगी हमारे एंबेडिंग मॉडल के पास वहां पर प्रोसेसिंग होगी एक वेक्टर जनरेट
होगा 32 डायमेंशन का और वह वापस मेरे पास आएगा उसको मैं एक वेरिएबल में स्टोर कर ले रहा हूं और अब मैं उसको प्रिंट कर रहा हूं
और प्रिंट करने के लिए मैं बस उसको स्ट्रिंग में कन्वर्ट कर ले रहा हूं सो दैट वह हमें सही से दिखाई दे और अब हम इस
कोड को रन करेंगे लेट्स रन दिस कोड एंड यू कैन सी गाइस यह रहा हमारा आउटपुट यह रहा वह 32 डायमेंशन वेक्टर जो
इस पर्टिकुलर सेंटेंस का कंटेक्सचर्स [संगीत]
आपका मैक्स अ यहां पे कहीं तो लिखा होगा कि आपका मैक्सिमम डायमेंशन कितना है यह हां यहां पे देखो लिखा हुआ है बाय डिफॉल्ट
द लेंथ ऑफ द एंबेडिंग वेक्टर विल बी 1536 फॉर स्मॉल मॉडल एंड 3072 फॉर द लार्ज मॉडल तो काफी बड़ा वेक्टर आप वापस मंगा सकते हो
ठीक है फिर से जितना बड़ा वेक्टर होगा उतना ज्यादा कंटेक्सुअल मीनिंग कैप्चर करेगा जितना छोटा मॉडल होगा जितना छोटा
वेक्टर होगा उतना कम कंटेक्सुअल मीनिंग कैप्चर करेगा ठीक है तो ये हमने अभी कोड रन किया जो एक सिंगल क्वेरी का एंबेडिंग
जनरेट करता है अब मैं आपको दिखाता हूं कि कैसे आप एक साथ मल्टीपल क्वेरीज का एंबेडिंग जनरेट कर सकते हो बेसिकली
मल्टीपल डॉक्यूमेंट का एक साथ आप कैसे एंबेडिंग जनरेट कर सकते हो सो व्ट आई विल डू इज आई विल क्रिएट वन मोर
फाइल लेट्स कॉल इट एंबेडिंग अंडरस्कोर ओपन ए आई अंडरस्कोर डॉक्स
p और आपको क्या करना है यह पूरा कोड एज इट इज कॉपी कर देना है बस थोड़े से आपको चेंजेज करने हैं यह एंबेडिंग बिल्कुल सेम
रहेगा यहां पे आप क्या करोगे आप एक डॉक्यूमेंट बना लोगे या एक लिस्ट बना लोगे लेट्स कॉल इट डॉक्यूमेंट और इस लिस्ट के
अंदर वी विल हैव मल्टीपल अ स्टेटमेंट्स या टेक्स्ट सो दिल्ली इज द कैपिटल ऑफ इंडिया कोलकाता इज द कैपिटल
ऑफ वेस्ट बंगाल पेरिस इज द कैपिटल ऑफ फ्रांस मान लो यह तीन हमारे डॉक्यूमेंट हैं और इन तीनों
के ऊपर हमें साथ में प्रोसेसिंग करनी है और तीनों का एंबेडिंग वेक्टर जनरेट करना है तो अब इस केस में आप क्या करोगे आप
एंबेड क्वेरी के बदले एक दूसरा फंक्शन होता है यहां पे एंबेड डॉक्यूमेंट बोलके उसको कॉल करोगे इस फंक्शन के अंदर
कैपेबिलिटी है एक साथ मल्टीपल डॉक्यूमेंट का एंबेडिंग जनरेट करने का यहां पर हम डॉक्यूमेंट पास कर देंगे और यह रहा रिजल्ट
और उस रिजल्ट को हम प्रिंट कर रहे हैं ठीक है सब कुछ सेम है अब इस कोड को हम रन करते हैं
सो क्वेरी के बदले आ जाएगा डॉक्स और वन के बदले आ जाएगा टू लेट्स रन दिस कोड एंड यू कैन सी इस केस में हमारे पास अ
सब कुछ स्ट्रिंग में कन्वर्ट हो गया बट अगर आप ध्यान से देखोगे तो आपके पास एक 2d लिस्ट है और उस लिस्ट के अंदर तीन लिस्ट
है हर लिस्ट एक डॉक्यूमेंट का एंबेडिंग वेक्टर है ठीक है सो दिस इज हाउ यू जनरेट एंबेडिंग्स फॉर एनी डॉक्यूमेंट ठीक है यह
तो बहुत छोटे-छोटे सेंटेंसेस मैंने लिखे हैं आप प्रॉपर पैराग्राफ्स की एंबेडिंग जनरेट कर सकते हो और व हम करेंगे आगे जब
हम रैक बेस्ड एप्लीकेशंस बनाएंगे सो फिलहाल हमने एक प्रोप्रानोलोल सोर्स मॉडल के साथ काम करके
एंबेडिंग्स जनरेट करना सीखा अब हम क्या करेंगे कि हम एक ओपन सोर्स मॉडल यूज करेंगे टू जनरेट एंबेडिंग्स सो जो ओपन
सोर्स मॉडल हम लोग यूज करने वाले हैं उसका नाम है सेंटेंस ट्रांसफॉर्मर अगर आप यहां पे सर्च करो तो दिस इज द मॉडल दैट वी आर
गोइंग टू यूज अ इसका नाम है ऑल मिनी एल ए ए6 v2 ठीक है यहां पे लिखा हुआ है दिस इज अ सेंटेंस ट्रांसफॉर्मर मॉडल इट मैप्स
सेंटेंसेस एंड पैराग्राफ्स टू अ 384 ल डेंस वेक्टर स्पेस एंड कैन बी यूज्ड फॉर टास्क्स लाइक क्लस्टरिंग एंड सिमटिक सर्च
ठीक है तो यह पर्टिकुलर मॉडल हम लोग यूज करेंगे यह बहुत बड़ा नहीं है यह छोटा सा मॉडल है अराउंड 90 एबी का अगर मुझे ठीक से
पता है तो एक काम कर लेते हैं एक बार इसका पाथ या जो भी रेपो आईडी है व हम कॉपी कर लेते हैं और अब हम लोग चलते
हैं हमारे फोल्डर में और यहां लेट्स क्रिएट अ फाइल एंबेडिंग
अंडरस्कोर एचएफ अंडरस्कोर लोकल आप इरें एपीआई के थ्रू भी इसको यूज कर सकते हो बट इतना छोटा मॉडल है इसको डाउनलोड करना ही
बेटर है सो सबसे पहले आपको क्या करना है आपको लैंग चन अंडरस्कोर हगिंग फेस से इंपोर्ट करना है
एक क्लास जिसका नाम है हगिंग फेस एंबेडिंग्स और उसके बाद आपको क्या करना है कि
आपको एक एंबेडिंग ऑब्जेक्ट बनाना है हगिंग फेस एंबेडिंग क्लास का यहां पर बस आपको अपना मॉडल नेम बता देना है ठीक है
और मॉडल नेम क्या होगा यह जो हमने अभी कॉपी किया एक बार जब आपने यह ऑब्जेक्ट बना लिया अब आप एक टेक्स्ट क्रिएट कर
लो डेल्ली इज द कैपिटल ऑफ इंडिया ठीक है और बस आगे का काम बिल्कुल सेम है
आप एंबेडिंग डॉट यहां पर भी आपके पास सेम फंक्शन होता है एंबेड क्वेरी उसमें आप इस टेक्स्ट को भेज दो पलट करके आपको आपका
वेक्टर मिल जाएगा और हम उस वेक्टर को प्रिंट कर रहे हैं स्ट्रिंग में कन्वर्ट
करके ट्स इट गाइस दिस इज द कोड एक बार इसको रन करते हैं य हमारी थर्ड
फाइल हगिंग फेस लोकल लेट्स रन दिस एंड यू कैन सी गाइस
यहां पे फर्स्ट टाइम हो रहा है इसलिए डाउनलोड हो रहा है हमारे मशीन पे एंड अलग-अलग पार्ट्स है अलग-अलग फाइल्स है
वो सब डाउनलोड हो रही है सो यू कैन सी 90 एमबी का यह मॉडल है और डाउनलोड हो गया टोकेनाइजर डाउनलोड हो रहा है एंड या गाइस
दिस इज द आउटपुट यह एक 384 डायमेंशन वेक्टर है इसीलिए काफी बड़ा दिखाई दे रहा है बट या दिस इज द आउटपुट ठीक है अब यहां
पे भी आप सेम काम कर सकते हो आप चाहो तो मल्टीपल डॉक्यूमेंट का साथ में एंबेडिंग जनरेट कर सकते हो सो आई विल रिप्लेस दिस
टेक्स्ट विद दिस डॉक्यूमेंट और यहां पे टेक्स्ट के बदले हम डॉक्यूमेंट को भेज देंगे और ओबवियसली एंबेड क्वेरी के बदले आ
जाएगा एंबेड डॉक्यूमेंट बाकी सब कुछ बिल्कुल सेम रहेगा लेट्स रन दिस कोड वन मोर टाइम अब इस बार क्या होगा डाउनलोड
नहीं होगा बिकॉज हम दूसरी बार चला रहे हैं तो जो कैस्ट वर्जन है उसकी हेल्प से यह पूरा का पूरा एंबेडिंग जनरेट होगा एंड यू
कैन सी गाइस दिस इज द आउटपुट दिस इज अ डी लिस्ट एंड तीन 384 डायमेंशन वेक्टर्स है इसलिए काफी बड़ा आउटपुट दिखाई दे रहा
है बट आप बहुत आसानी से तीनों को एक्सट्रैक्ट करके उनके ऊपर प्रोसेसिंग कर स सकते हो ठीक है तो हमने दोनों टाइप के
एंबेडिंग मॉडल्स को इस्तेमाल करना सीख लिया अब एक काम करते हैं मैं आपको एक छोटा सा एप्लीकेशन बना के दिखाता हूं जहां पर
मैं डॉक्यूमेंट के ऊपर सिमटिक सर्च करके दिखाऊंगा अच्छा एक चीज और मैंने थोड़ी देर पहले बोला था कि मैं आपको पेड वाले
एंबेडिंग मॉडल के कॉस्ट के बारे में बताऊंगा तो कॉस्ट एक्चुअली बहुत ही कम है 1 मिलियन टोकन प्रोसेस करने का कॉस्ट इज
रफल र सो कॉस्ट बहुत कम है बिकॉज ओबवियसली मॉडल बहुत कम आउट देता है नंबर्स में
आउटपुट देता है तो यहां पर आप जनरली क्या कर सकते हो कि सिंस इतना चीप है आप ओपन एआई के एंबेडिंग्स को भी यूज कर सकते हो
और ओपन एआई के एंबेडिंग्स जनरली आपको ज्यादा बेटर कॉन्टेक्स्ट बना के देते हैं ठीक है फ्री वाला भी कर सकते हो फ्री वाला
जनरली मेरे एक्सपीरियंस में थोड़ा सा कम एक्यूरेट रहता है और उसमें रिजल्ट्स थोड़े से कम अच्छे आते हैं ठीक है सो या नाउ
लेट्स क्रिएट दैट डॉक्यूमेंट सिमिलरिटी एप्लीकेशन तो चलो गाइस अब हम लोग एक बहुत सिंपल डॉक्यूमेंट सिमिल क्लेरिटी सर्च
एप्लीकेशन बनाएंगे जहां पर मेरे पास एक सेट ऑफ डॉक्यूमेंट होंगे ठीक है मान लो हमारे पास फाइव डॉक्यूमेंट
है और फिर क्या होगा कि हमारा यूजर एक क्वेश्चन पूछेगा और वह क्वेश्चन इनमें से किसी एक
डॉक्यूमेंट से रिलेटेड होगा ठीक है हमें यह पता करना है कि यह क्वेश्चन इनमें से कौन से डॉक्यूमेंट से रिलेटेड है ओके यह
पूरा प्रोसेस काम कैसे करेगा मैं आपको बताता हूं हम इन सारे डॉक्यूमेंट की एंबेडिंग्स जनरेट करके अपने पास रख लेंगे
और फिर जब यह क्वेश्चन आएगा हम इस क्वेश्चन की भी एंबेडिंग जनरेट करेंगे ठीक है एंबेडिंग्स मतलब वेक्टर्स तो यहां पे
हमारे पास पांच वेक्टर्स हैं और यहां पे हमारे पास वन वेक्टर है और ये सारे वेक्टर्स सेम डायमेंशन के हैं थोड़ी देर
के लिए मान लेते हैं 300 डायमेंशन के है तो अब हमें क्या करना है कि हमारे पास एक थ्री डायमेंशन 300
डायमेंशन स्पेस में पहले से पांच वेक्टर्स है और अब एक य नया वेक्टर आया मान लो यह नया वेक्टर आया तो हमें क्या करना है कि
फाइंड आउट करना है कि यह नया वेक्टर बाकी सारे वेक्टर्स के कंपैरिजन में सबसे क्लोज किसके है तो हम कोइन सिमिलरिटी निकालेंगे
बेसिकली एंगल निकालेंगे रेड वेक्टर का बाकी सारे ब्लैक वेक्टर्स के साथ और जिसके साथ सिमिलरिटी स्कोर सबसे ज्यादा आएगा वही
हमारा आंसर होगा ठीक है तो यह हम लोग करने वाले हैं इस छोटे से एप्लीकेशन में आगे चलके आप नोटिस करोगे कि यही फंडा लगता है
जब आप रैग बेस्ड एप्लीकेशंस बनाते हो ठीक है तो कोड बहुत ही सिंपल है लेट्स गो टू वीएस
कोड एंड लेट्स क्रिएट अ न्यू फाइल लेट्स कॉल इट डॉक्यूमेंट
सिमिलरिटी डॉट पवा तो सबसे पहले आपको क्या करना है कि हम ओपन एआई यूज करेंगे सो हम लिखेंगे फ्रॉम
लैंग चन अंडरस्कोर ओपन ए आई इंपोर्ट ओपन ए आई एंबेडिंग्स
फ्रॉम डॉट इनवी इंपोर्ट लोड ड एवी इसके अलावा हमें एक चीज की जरूरत और पड़ेगी और वह है साइट लर्न के
अंदर से हमें चाहिए पड़ेगा कोइन सिमिलरिटी तो हम जाएंगे मैट्रिक्स के अंदर मैट्रिक्स के अंदर पेयर वाइज वी विल इंपोर्ट
कोइन सिमिलरिटी ठीक है और मे बी हमें नपाई की जरूरत पड़ सकती है तो इंपोर्ट नपाई एस एप ठीक है अब सबसे
पहले लोड ड एवी को कॉल कर लेना है और उसके बाद अब हम एक एंबेडिंग मॉडल क्रिएट करेंगे एंबेडिंग इज इक्वल टू ओपन
एआई एंबेडिंग्स मॉडल हम यूज कर रहे हैं टेक्स्ट एंबेडिंग थ्री लार्ज
कॉपी पेस्ट और डायमेंशन मान लो हम 300 यूज कर रहे हैं ठीक है अब हम अपना डॉक्यूमेंट क्रिएट
करेंगे जहां पर हमारे सारे के सारे डॉक्यूमेंट एक लिस्ट के अंदर होंगे मैंने एक जगह पर लिख रखा है यह रहा वह
डॉक्यूमेंट डॉक्यूमेंट ठीक है तो यह पांच स्ट्रिंग्स है हर स्ट्रिंग एक क्रिकेटर के बारे में ठीक है और अब मेरा यूजर आया और
उसने यह क्वेरी लिखा टेल मी अबाउट विराट कोहली ठीक है य उसकी और अब इस
क्वेरी के बदले हमें यहां से आंसर निकाल के देना है ठीक है तो जो सबसे सिमिलर डॉक्यूमेंट होगा वही
हमारा आंसर होना चाहिए ओबवियसली दिखाई दे रहा है कि फर्स्ट वाला हमारा आंसर होना चाहिए लेट्स ट्राई यह पूरी चीज कैसे काम
करती है तो सबसे पहले हम लोग क्या करेंगे कि हम लोग आपका डॉक्यूमेंट की एंबेडिंग्स निकालेंगे
सो वी विल राइट डॉक्यूमेंट एंबेडिंग इ इक्वल टू अ यहां पर हम लिखेंगे एंबेडिंग डॉट एंबेड डॉक्यूमेंट और यहां पे हम अपने
सारे डॉक्यूमेंट भेज देंगे तो इस स्टेप में मेरे पास फाइव वेक्टर्स आएंगे हर वेक्टर अ आपका 300 डायमेंशन स्पेस में
होगा और फिर सिमिलरली हम क्वेरी की एंबेडिंग निकालेंगे और
यह करने के लिए हम एंबेड क्वेरी को यूज करेंगे और यहां हम अपना क्वेरी भेज देंगे ठीक है अब यहां पर मुझे एक सिंगल वेक्टर
मिलेगा इस पॉइंट पर मेरे पास पांच वेक्टर्स का सेट है और फिर एक रेड वेक्टर वाला सेट है ठीक है अब हमें क्या करना है
रेड वेक्टर का पांचों वेक्टर के साथ सिमिलरिटी निकालना है और इसके लिए हम यूज करेंगे कोइन सिमिलरिटी फंक्शन को यहां पर
पहले आपको भेजना होगा अपने क्वेरी एंबेडिंग को बेसिकली क्वेरी एंबेडिंग वाले वेक्टर
को ठीक है और वो भी आपको एक 2d लिस्ट बना के भेजना होता है और फिर आप अपने सारे डॉक्यूमेंट वाले
एंबेडिंग्स को भेजोगे जो कि ऑलरेडी एक डी लिस्ट बने हुए हैं तो हमेशा याद रखना है कोइन सिमिलरिटी के अंदर आपको जो दोनों
वैल्यूज पास करनी है वह दोनों डी लिस्ट होनी चाहिए और ऐसा करने पे आपको मिलता है सिमिलरिटी स् कोर्स बिटवीन योर रेड वेक्टर
एंड ऑल द ब्लैक वेक्टर्स एक बार इस कोड को हम लोग चला के देखेंगे एंड वल सी कि क्या हमें सिमिलरिटी स् कोर्स मिल रहे हैं कि
नहीं एंड यू कैन सी गाइस यह रहे हमारे सिमिलरिटी कोर्स अ बेसिकली हमारा रेड वेक्टर का फर्स्ट ब्लैक वेक्टर के साथ
सिमिलरिटी कितना है या फिर ऐसे बोला जाए कि इस टेक्स्ट का इस फर्स्ट टेक्स्ट के साथ सिमिलरिटी कितना है 66 इसका सेकंड
वाले के साथ कितना है 34 एंड सो ऑन ठीक है अब एक चीज नोटिस करने वाली है कि जो रिजल्ट आया है वो एक 2d लिस्ट है हमें 2d
लिस्ट नहीं चाहिए हमें एक सिंपल लेस्ट चाहिए आल्सो हम एक काम करेंगे प्रिंट करने के
बदले इसको एक वेरिएबल में स्टोर कर लेंगे लेट्स कॉल इट स्कोर्स ठीक है अब हमें क्या करना है देखने में तो समझ में आ रहा है कि
फर्स्ट वाला ही सबसे हाईएस्ट स्कोरिंग वाला चीज है बट हमें रिलेवेंट डॉक्यूमेंट फेच करना है उसके लिए हमें क्या करना
पड़ेगा इस पूरी लिस्ट को सॉर्ट करना पड़ेगा बट सॉर्ट करने से पोजीशन गड़बड़ा सकती है इसलिए हम क्या करेंगे सबसे पहले
इस पूरे के पूरे नडी लिस्ट को न्यूमरेशन फंक्शन के अंदर भेज देंगे और जो आउटपुट मिले
उसको हम एक लिस्ट में डाल करके देखेंगे थोड़ी देर में मैं आपको दिखाता हूं कि इससे क्या फायदा हुआ सो ध्यान देना अब
आउटपुट क्या दिखाई देगा यह देखो अब क्या हुआ कि हर सिमिलरिटी स्कोर के साथ मैंने एक नंबर अटैच कर दिया 01 2 3 4 5 यह हमारा
इंडेक्स पोजीशन है ठीक है अब यह चेंज नहीं हो सकता अगर मैं सॉर्ट भी करूं इस पूरे की पूरी चीज को तो अब मैं अगली चीज कर रहा
हूं मैं सॉर्ट कर रहा हूं और सॉर्ट कर रहा हूं मैं अंदर दो
नंबर्स है एक ये इंडेक्स वाला नंबर है और एक यह सिमिलरिटी स्कोर है मैं सिमिलरिटी स्कोर के बेसिस पर सॉर्ट कर रहा हूं
सो मैं यहां पर लिखूंगा अ सॉर्ट ऑन द बेसिस ऑफ लडा एक्
कोलोन x का वन बेसिकली सेकंड आइटम सॉर्ट नहीं होता सॉर्टेड होता है इस सेकंड वाले आर्गुमेंट के बेसिस पर
हम सर्टिंग करेंगे सो अगर मैं इसको रन करूं यह देखो असेंडिंग ऑर्डर में सॉर्ट हो गया यह सबसे
छोटा है यह सबसे पहले आ गया और सबसे बड़ा वाला सबसे पीछे चला गया ठीक है अब हमें क्या चाहिए सबसे बड़ा वाला चाहिए तो
हम माइव को तो मुझे दो चीजें मिलेंगी पहला मुझे यह पता चल जाएगा कि हाईएस्ट सिमिलरिटी स्कोर
कितना है 66 और वह कौन से इंडेक्स पोजीशन पर है वो डॉक्यूमेंट दैट इज जीरो तो अब मैं प्रिंट करने के बदले इंडेक्स
और स्कोर को सेव कर लूंगा इन टू वेरिएबल और अब मुझे बस क्या करना है मुझे प्रिंट करना है मेरे डॉक्यूमेंट के अंदर से यह
वाला इंडेक्स यह देखो यह है डॉक्यूमेंट उसमें से इंडेक्स मैं निकाल दूंगा और साथ ही साथ मुझे प्रिंट करना
है सिमिलरिटी स्कोर इज
कोलोन स्कोर सेव किया रन किया आल्सो यहां पर आई कैन प्रिंट
द क्वेरी जो यूजर ने पूछा था सेव किया रन किया एंड यू कैन सी टेल मी अबाउट
विराट कोहली तो विराट कोहली इज एन इंडियन क्रिकेटर नोन फॉर हिज अग्रेसिव अप्रोच और सिमिलरिटी स्कोर 66 है अब एक काम करते हैं
टेल मी अबाउट विराट कोहली के बदले हम लिखते हैं टेल मी अबाउट बुमरा और सेव कर लेते हैं और अब रन करते
हैं एंड यू कैन सी टेल मी अबाउट बुमरा के लिए हमारा आउटपुट आ रहा है जसप्रीत बुमरा इज एन इंडियन फास्ट बॉलर नोन फॉर हि और यह
रहा हमारा सिमिलरिटी स्कोर ठीक है सो यहां पर अब हो क्या रहा है हम जो भी क्वेश्चन पूछ रहे हैं हम एक सिमटिक सर्च कर रहे हैं
इन सेट ऑफ डॉक्यूमेंट से और हम पता कर रहे हैं कौन सा डॉक्यूमेंट सबसे ज्यादा सिमिलर है उसको निकाल के ला रहे हैं ठीक है तो
यही कुछ हम करेंगे आगे चलके जब हम रैग बेस्ड एप्लीकेशंस बनाएंगे वहां पर बस यह पूरी चीज थोड़ी सी और
कॉम्प्लेक्शन कर रहे हैं उनको हम कहीं स्टोर नहीं कर रहे हैं राइट बट ये अच्छी बात नहीं है अब अगली बार जब मैं इस कोड को
दोबारा रन करूंगा तो फिर से मैं एंबेडिंग्स अपने मॉडल से मांग के ला रहा हूं तो ये
कॉस्टली ऑपरेशन है राइट तो अच्छी चीज क्या है कि ये जो डॉक्यूमेंट वाली एंबेडिंग्स है इसको आप एक बार जनरेट करके स्टोर कर लो
कहीं पे तो स्टोर करने के लिए आपको एक डेटाबेस चाहिए होता है उसी डेटाबेस को हम बोलते हैं वेक्टर डेटाबेस जो हम आगे
पढ़ेंगे ठीक है और आगे चलके फिर नई क्वेरी जब आती है तो ऑन द गो हम उसकी एंबेडिंग जनरेट करते हैं मॉडल से मांगते हैं और फिर
ये सिमिलरिटी स्कोर हम निकालते हैं इसी को हम रिट्रीव का प्रोसेस बोलते हैं तो जो भी है बस एक छोटा सा आपको पर्सपेक्टिव देना
था अ कि क्यों एंबेडिंग मॉडल्स यूज़फुल होते हैं तो सिंपल आंसर इज सिमटिक सर्च कंडक्ट करने में तो आई होप आपको समझ में आ
गया सो विद दैट आई विल कंक्लूजन वीडियो हो गया प्लान तो मेरा कुछ और भी था यहां पे पढ़ाने का आई वाज प्लानिंग टू मेक अ स्मॉल
चैट बॉड एप्लीकेशन बट फिर मुझे लगा कि उसके लिए पहले आपको थोड़ा प्रॉन्प्ट्स में पढ़ा दूंगा तो ज्यादा बेटर रहेगा तो वह
मैं नेक्स्ट वीडियो में कवर करूंगा जहां पे हम प्रॉन्प्ट्स पढ़ेंगे अहह बाकी इस वीडियो में हमने काफी डिटेल में जो भी
मॉडल्स होते हैं लैंग चन में वह सब कवर किए हैं और आई रियली होप आपके दिमाग में एक बहुत बढ़िया एक विजुअल डायग्राम बन गया
है कि कितने टाइप के मॉडल्स हैं और फिर उनके साथ काम कैसे करना है अगर आपको यह वीडियो पसंद आया प्लीज लाइक करना और अगर
आपने इस चैनल को सब्सक्राइब नहीं किया है प्लीज डू सब्सक्राइब हम फ्यूचर में यहां पर काफी जन एआई रिलेटेड कंटेंट डालने वाले
हैं ठीक है मिलते हैं नेक्स्ट वीडियो में बाय
Heads up!
This summary and transcript were automatically generated using AI with the Free YouTube Transcript Summary Tool by LunaNotes.
Generate a summary for freeRelated Summaries

Understanding LangChain: Importance, Applications, and Alternatives
In this video, Nitish introduces LangChain, an open-source framework for developing applications powered by LLMs. He discusses its significance, potential applications, and popular alternatives, providing insights into how LangChain can enhance your development process.

Understanding Hugging Face Model Cards: A Comprehensive Guide
In this video, Fahad Mza explains the components of Hugging Face model cards, focusing on the Lama 3.2 billion instruct model. He breaks down the purpose of various files, including configuration files, licensing, and model weights, making it accessible for beginners in AI.

Introducción a los Modelos de Lenguaje Grande: ¿Qué son y cómo funcionan?
Descubre cómo funcionan los modelos de lenguaje como ChatGPT y su impacto en la inteligencia artificial.

Understanding Generative AI: Concepts, Models, and Applications
Explore the fundamentals of generative AI, its models, and real-world applications in this comprehensive guide.

Understanding Generative AI, AI Agents, and Agentic AI: Key Differences Explained
In this video, Krishna breaks down the essential differences between generative AI, AI agents, and agentic AI. He explains how large language models and image models function, the role of prompts in generative applications, and the collaborative nature of agentic AI systems.
Most Viewed Summaries

A Comprehensive Guide to Using Stable Diffusion Forge UI
Explore the Stable Diffusion Forge UI, customizable settings, models, and more to enhance your image generation experience.

Mastering Inpainting with Stable Diffusion: Fix Mistakes and Enhance Your Images
Learn to fix mistakes and enhance images with Stable Diffusion's inpainting features effectively.

Pag-unawa sa Denotasyon at Konotasyon sa Filipino 4
Alamin ang kahulugan ng denotasyon at konotasyon sa Filipino 4 kasama ang mga halimbawa at pagsasanay.

How to Use ChatGPT to Summarize YouTube Videos Efficiently
Learn how to summarize YouTube videos with ChatGPT in just a few simple steps.

Ultimate Guide to Installing Forge UI and Flowing with Flux Models
Learn how to install Forge UI and explore various Flux models efficiently in this detailed guide.