फाइन-ट्यूनिंग के बिना एक फाउंडेशन मॉडल को निजी कंपनी डेटा (PDF, दस्तावेज़, S3 सामग्री) के साथ बढ़ाएँ।
→एक Amazon Bedrock Knowledge Base बनाएँ। Bedrock इनफरेंस समय पर इनजेस्शन, चंकिंग, एम्बेडिंग और रिट्रीवल (RAG) को संभालता है।
क्यों: फाइन-ट्यूनिंग की तुलना में अपडेट करना सस्ता और तेज़। स्रोत डेटा बदलता है → KB को फिर से सिंक करें; कोई पुनः प्रशिक्षण नहीं।
संदर्भ↗
डेटा बार-बार बदलता है (इन्वेंट्री, मूल्य निर्धारण, समाचार) और मॉडल को वर्तमान स्थिति को प्रतिबिंबित करना चाहिए।
→एक ज्ञान आधार के साथ RAG। फाइन-ट्यूनिंग से बचें — पुनः प्रशिक्षण चक्र गति नहीं रख सकते।
क्यों: RAG मॉडल को डेटा से अलग करता है; KB मॉडल से स्वतंत्र रूप से अपडेट होता है।
एक विशिष्ट कार्य के लिए लेबल किए गए उदाहरणों के साथ एक फाउंडेशन मॉडल को फाइन-ट्यून करें।
→प्रॉम्प्ट-कंप्लीशन (निर्देश-प्रतिक्रिया) जोड़े प्रदान करें। JSONL प्रारूप मानक है।
क्यों: निर्देश फाइन-ट्यूनिंग मॉडल को लक्ष्य कार्य में उपयोगकर्ता इनपुट को वांछित आउटपुट से मैप करना सिखाता है।
संदर्भ↗
बहुत सारे अनलेबल किए गए डोमेन टेक्स्ट का उपयोग करके एक फाउंडेशन मॉडल को विशेष शब्दावली (चिकित्सा, कानूनी, वैज्ञानिक) सिखाएं।
→अनलेबल किए गए डोमेन कॉर्पस पर निरंतर प्री-ट्रेनिंग।
क्यों: निरंतर प्री-ट्रेनिंग मॉडल की शब्दावली और अवधारणाओं की समझ को अपडेट करता है; निर्देश फाइन-ट्यूनिंग कार्य व्यवहार सिखाता है। अलग लक्ष्य, अलग डेटा आकार।
संदर्भ↗
बहु-चरणीय वर्कफ़्लो जो LLM तर्क को बाहरी API, डेटाबेस, या AWS सेवाओं के कॉल के साथ जोड़ता है।
→Amazon Bedrock Agents — एक एकल प्रबंधित रनटाइम में LLM तर्क, टूल/API इनवोकेशन, और परिणाम संश्लेषण का समन्वय करता है।
क्यों: एजेंट चरणों की योजना बनाते हैं, टूल को कॉल करते हैं, और परिणामों को अंतिम प्रतिक्रिया में वापस जोड़ते हैं, बिना आपको ऑर्केस्ट्रेशन लूप लिखे।
संदर्भ↗
एम्बेडिंग के लिए एक वेक्टर डेटाबेस चुनें।
→प्रबंधित RAG → Bedrock नॉलेज बेस (वेक्टर स्टोर को स्वचालित रूप से संभालता है)। कस्टम वेक्टर DB → OpenSearch Service (k-NN), pgvector के साथ Aurora PostgreSQL, Neptune Analytics, या pgvector के साथ RDS for PostgreSQL।
क्यों: OpenSearch उच्च-मात्रा k-NN के लिए डिफ़ॉल्ट है; pgvector एक मौजूदा संबंधपरक DB का पुन: उपयोग करता है।
संदर्भ↗
उत्पादन सेवा के लिए Bedrock से एक फाइन-ट्यून किया गया मॉडल डिप्लॉय करें।
→कस्टम Bedrock मॉडल के लिए प्रोविजन्ड थ्रूपुट खरीदें। कस्टम मॉडल को ऑन-डिमांड मूल्य निर्धारण के माध्यम से इनवोक नहीं किया जा सकता है।
क्यों: कस्टम-मॉडल क्षमता समर्पित है, मॉडल इकाइयों में बिल की जाती है, और इनवोकेशन के लिए आवश्यक है।
संदर्भ↗
Bedrock इनफरेंस लागत का अनुमान लगाएं या कम करें।
→लागत ≈ संसाधित टोकन × प्रति-टोकन दर। प्रॉम्प्ट को छोटा करके, फ़्यू-शॉट उदाहरणों को ट्रिम करके, छोटे मॉडल चुनकर, या जहाँ समर्थित हो वहाँ प्रॉम्प्ट कैशिंग का उपयोग करके कम करें।
संदर्भ↗
मानव-इन-द-लूप समीक्षा के साथ उच्च-सटीकता वाला लेबल किया गया डेटा उत्पन्न करें (जैसे विशेष छवियां, मेडिकल रिकॉर्ड)।
→Amazon SageMaker Ground Truth Plus — प्रबंधित HITL लेबलिंग कार्यबल।
क्यों: कम-विश्वास वाले मॉडल भविष्यवाणियों के आवधिक ऑडिटिंग के लिए, Amazon A2I (Augmented AI) के साथ युग्मित करें।
संदर्भ↗
भाषण पहचान डोमेन-विशिष्ट शब्दों (चिकित्सा, कानूनी, ब्रांड नाम) को गलत सुनती है।
→डोमेन टेक्स्ट पर प्रशिक्षित एक कस्टम भाषा मॉडल या कस्टम शब्दावली के साथ Amazon Transcribe।
संदर्भ↗
मॉडल प्रशिक्षण पर अच्छा प्रदर्शन करता है लेकिन उत्पादन में खराब (ओवरफिट) — आर्किटेक्चर को बदले बिना सामान्यीकरण बढ़ाएं।
→प्रशिक्षण डेटा की मात्रा और विविधता बढ़ाएँ। डेटा न काटें या केवल हाइपरपैरामीटर न जोड़ें।
क्यों: अधिक प्रतिनिधि डेटा उच्चतम-लीवरेज फिक्स है; रेगुलराइज़ेशन और अर्ली स्टॉपिंग मदद करते हैं लेकिन डेटा हावी होता है।
जेनरेटिव आउटपुट गुणवत्ता का मूल्यांकन करें।
→अनुवाद गुणवत्ता → BLEU। सारांश गुणवत्ता → ROUGE। संदर्भ से सिमेंटिक समानता → BERTScore। शैलीगत प्राथमिकता → कस्टम प्रॉम्प्ट सेट के साथ मानव मूल्यांकन।
एक उपयोग के मामले के लिए एक Bedrock फाउंडेशन मॉडल चुनें जहां आउटपुट शैली मायने रखती है।
→उम्मीदवार मॉडल के लिए एक कस्टम प्रॉम्प्ट डेटासेट पर मानव मूल्यांकन चलाएं। केवल सार्वजनिक लीडरबोर्ड या विलंबता मेट्रिक्स पर निर्भर न रहें।
क्यों: शैली/स्वर की उपयुक्तता व्यक्तिपरक है; बेंचमार्क इसे मिस करते हैं।
संदर्भ↗
व्यवसाय डेटा पर प्राकृतिक-भाषा के प्रश्नों से चार्ट और डैशबोर्ड उत्पन्न करें।
→QuickSight में Amazon Q — QuickSight डेटासेट पर प्राकृतिक-भाषा BI।
संदर्भ↗