התאם מודל שאומן מראש למשימה חדשה קשורה במקום לאמן מאפס.
השתמש ב-transfer learning. כוונן עדין את המודל הקיים על בסיס נתוני התחום החדש.
למה: משתמש מחדש בייצוגים שנלמדו, מקצר את זמן האימון ודרישות הנתונים לעומת בניית מודל מאפס.
בחר מצב SageMaker inference עבור צורת העומס.
עומס יציב עם לייטנסי נמוך ← real-time. תעבורה לא אחידה/לא פעילה ← serverless. מטען גדול (עד 1 GB) או משימה ארוכה (עד שעה) עם קרוב ל-real-time ← asynchronous. בתפזורת לא מקוון ← batch transform.
למה: ל-real-time יש מגבלות מטען/זמן קצוב; async עומד בתור משימות גדולות; batch מיועד לניקוד תקופתי לא מקוון.
מודל גדול שאומן מראש על נתונים מגוונים, לרוב לא מתויגים; ניתן להתאמה למשימות רבות במורד הזרם באמצעות prompting, fine-tuning, או RAG.
הערך כמה קלט נכנס ל-prompt אחד ומה מניע את עלות ה-inference.
Tokens הם יחידות תת-מילה. Context window = מקסימום tokens לבקשה (קלט + פלט). עלות ה-inference פרופורציונלית בקירוב ל-tokens מעובדים.
למה: ספירת tokens, לא ספירת בקשות, מניעה את תמחור Bedrock. אם מסמך ארוך חורג מ-context window, חלק אותו או בחר מודל עם window גדול יותר.
בחר סגנון פלט: דטרמיניסטי לעומת יצירתי.
טמפרטורה נמוכה (כ-0.0-0.3) ← דטרמיניסטי, ניתן לשחזור. טמפרטורה גבוהה (כ-0.7-1.0) ← יצירתי, מגוון. השתמש ב-0 לסיווג או sentiment כדי לקבל תוויות עקביות.
הגבל את מאגר ה-token המועמדים מעבר לטמפרטורה.
Top-K = שקול רק את K ה-tokens הסבירים ביותר. Top-P (nucleus) = שקול tokens עד שההסתברות המצטברת מגיעה ל-P.
למה: Top-P מתאים את גודל קבוצת המועמדים לצורת ההתפלגות; Top-K הוא ברוחב קבוע.
קבל פלט LLM בסגנון, אורך או שפה ספציפיים.
Prompt engineering. הוסף הוראות מפורשות ("הגב בצרפתית, מתחת ל-50 מילים, טון רשמי").
למה: זול ומהיר יותר מ-fine-tuning, אימון מחדש, או שינוי גודל מודל עבור שליטה סגנונית.
שפר את דיוק LLM במשימה ספציפית ללא אימון מחדש.
Few-shot prompting - הטמע 2-5 דוגמאות קלט/פלט מתויגות ב-prompt לפני הקלט החדש.
למה: למידה בתוך ההקשר מאפשרת למודל להתאים דפוסים לדוגמאות ללא עדכוני משקולות.
LLM נותן תשובות שגויות לבעיות הסקה מרובות שלבים.
Chain-of-thought prompting - הנחה את המודל לעבור דרך שלבי הסקה לפני התשובה הסופית ("בואו נחשוב צעד אחר צעד").
LLM מייצר טקסט שנשמע סביר אך שגוי עובדתית או מומצא.
הזיה. הקטן עם RAG (מבוסס על עובדות מאוחזרות), Bedrock Guardrails, טמפרטורה נמוכה יותר, וסקירה אנושית של תפוקות בסיכון גבוה.
הפעל חיפוש סמנטי, אשכולות, או אחזור RAG על פני טקסט או נתונים מולטימודליים.
השתמש במודל embedding (לדוגמה, Titan Embeddings, Cohere Embed) כדי להמיר תוכן לווקטורים צפופים. אחסן ובצע שאילתות ב-vector DB.
למה: Embeddings לוכדים משמעות סמנטית כך שפריטים דומים נוחתים קרוב זה לזה במרחב הווקטורי (cosine / dot-product similarity).
עומס משתנה / בלתי צפוי ← לפי דרישה (לכל token). נפח גבוה קבוע או תפוקה מובטחת ← Provisioned Throughput. מודלים מותאמים אישית (fine-tuned) ← חייבים להשתמש ב-Provisioned Throughput.
למה: לפי דרישה אין התחייבות; Provisioned Throughput קונה קיבולת ייעודית ביחידות מודל.
RAG מנוהל ← Bedrock Knowledge Bases (מטפל באחסון וקטורי באופן אוטומטי). DB וקטורי מותאם אישית ← OpenSearch Service (k-NN), Aurora PostgreSQL עם pgvector, Neptune Analytics, או RDS for PostgreSQL עם pgvector.
למה: OpenSearch הוא ברירת המחדל עבור k-NN בקנה מידה גדול; pgvector משתמש מחדש ב-DB יחסי קיים.
עלות ≈ tokens מעובדים × תעריף לכל token. הפחת על ידי קיצור prompts, קיצוץ דוגמאות few-shot, בחירת מודלים קטנים יותר, או שימוש ב-prompt caching היכן שנתמך.
בעלי עניין או רגולטורים דורשים הסבר כיצד המודל מגיע לחיזויים שלו.
השתמש במודלים ניתנים לפענוח כאשר ניתן (עצי החלטה, רגרסיה לינארית/לוגיסטית). עבור מודלים מורכבים, השתמש ב-Partial Dependence Plots, SHAP feature importance באמצעות SageMaker Clarify, או SageMaker Model Cards.
למה: PDPs מראים את ההשפעה השולית של כל feature; SHAP מייחס תרומה לכל חיזוי; model cards לוכדים את הסיפור המלא לביקורת.
פלט בינה מלאכותית גנרטיבית עשוי לשכפל חומר המוגן בזכויות יוצרים או להימסר כעבודה שנכתבה על ידי אדם.
סיכון לגניבת עין / הפרת קניין רוחני. הקטן עם דרישות ציטוט, מעקב אחר מקוריות תוכן, סימן מים (watermarking) היכן שנתמך, סקירה אנושית, ומדיניות גילוי תוכן AI ברורה.
אבטחה, ציות וממשל עבור פתרונות בינה מלאכותית
יישום מודל יסוד חייב לשמור prompts ותגובות ברשת AWS - ללא יציאה לאינטרנט הציבורי.
Bedrock עם VPC endpoints (PrivateLink) עבור ה-runtime API. חסום endpoints ציבוריים של Bedrock באמצעות SCPs ברמת הארגון.
למה: PrivateLink שומר על בקשות פרטיות ומונע יציאת נתונים מה-VPC; SCPs אוכפים את הכלל בכל החשבונות.
שני שירותים משלימים. CloudTrail = מי/מתי/מאין עבור כל קריאת API (זהות, חותמת זמן, IP מקור). Bedrock model invocation logging = מטען ה-prompt/response בפועל, הנכתב ל-CloudWatch Logs או S3. הפעל את שניהם.
למה: CloudTrail לוכד מטא נתונים בלבד; invocation logging לוכד תוכן. ציות לעיתים קרובות דורש את שניהם.