נבדק לאחרונה: יוני 2026
מדריך מקוצר ובר-סריקה לדפוסי ארכיטקטורה שמבחן NCA-GENL בודק. קראו מלמעלה למטה, או דלגו לסעיף.
הסבר מה מאפשר לטרנספורמר לשקול אסימונים מרוחקים בעת יצירת האסימון הבא.
Self-attention. כל אסימון מתייחס לכל אסימון אחר באמצעות היטלי query/key/value, ומייצר ייצוגים משוקללי-הקשר.
למה: Attention, ולא רקורסיה, הוא מה שמעניק לטרנספורמרים הקשר ארוך טווח ואימון שניתן לביצוע במקביל.
בחר כיצד להזריק ידע או התנהגות חדשים ל-LLM.
עובדות חדשות המשתנות לעיתים קרובות ← RAG. התנהגות/סגנון משימה חדשים ← fine-tune. יכולת בסיס/אוצר מילים חדשים בקנה מידה רחב ← pre-training מתמשך.
למה: RAG שומר על נתונים חיצוניים וניתנים לעדכון; fine-tuning מטמיע התנהגות במשקלים; pre-training הוא המנוף היקר ביותר.
הגדר מה הופך מודל למודל בסיס (foundation model).
מודל גדול שאומן מראש על נתונים רחבים ובלתי מסומנים ברובם, הניתן להתאמה למשימות רבות במורד הזרם באמצעות prompting, RAG או fine-tuning.
הערך כיצד טקסט ממופה ליחידות קלט מודל ומה מניע עלות.
טקסט מחולק לאסימוני תת-מילים על ידי tokenizer (לדוגמה BPE). עלות ומגבלות הקשר נמדדות באסימונים, לא בתווים או במילים.
למה: מילים נדירות או שאינן באנגלית מתפצלות ליותר אסימונים, מה שמנפח את השימוש בהקשר ואת עלות ה-inference.
מסמך ארוך אינו מתאים לפרומפט יחיד.
הקלט חורג מחלון ההקשר של המודל (מספר אסימונים מקסימלי לקלט + פלט). חלק את המסמך עבור RAG או בחר מודל בעל הקשר ארוך יותר.
למה: חלון ההקשר הוא מגבלה קשה; כל מה שמעבר לו נקטע ואובד בשקט.
הפעל חיפוש סמנטי או אחזור RAG על טקסט.
השתמש במודל embedding להמרת טקסט לווקטורים צפופים, ולאחר מכן אחזר לפי דמיון קוסינוס/מכפלה וקטורית ממאגר וקטורים.
למה: Embeddings ממקמים טקסטים דומים סמנטית זה ליד זה, ומאפשרים אחזור מבוסס משמעות ולא אחזור מבוסס מילות מפתח.
בחר התנהגות פלט: דטרמיניסטית לעומת יצירתית.
טמפרטורה נמוכה (~0.0-0.3) ← ממוקד, ניתן לשחזור. טמפרטורה גבוהה (~0.7-1.0) ← מגוון, יצירתי. השתמש בערך קרוב ל-0 לסיווג או חילוץ.
למה: טמפרטורה מכיילת את התפלגות ההסתברות לפני דגימה; ערכים נמוכים יותר מרכזים מסה על האסימונים המובילים.
הגבל את מאגר האסימונים המועמדים מעבר לטמפרטורה.
Top-k שומר על k האסימונים הסבירים ביותר; top-p (nucleus) שומר על הקבוצה הקטנה ביותר שההסתברות המצטברת שלה מגיעה ל-p.
למה: Top-p מתאים את קבוצת המועמדים לצורת ההתפלגות; top-k הוא ברוחב קבוע ללא קשר לרמת הביטחון.
זהה כיצד LLMs לומדים מטקסט ללא תווית.
למידה בפיקוח עצמי (self-supervised learning) — חיזוי האסימון הבא (causal) או אסימון מוסווה יוצר תוויות מהטקסט עצמו, ללא סימון אנושי.
למה: זה מה שמאפשר ל-LLMs להתאמן על קורפוסים בגודל האינטרנט ללא תיוג ידני.
התאם ארכיטקטורה למשפחת משימות.
יצירה (Generation) ← decoder-only (בסגנון GPT). הבנה/סיווג ← encoder-only (בסגנון BERT). תרגום/סיכום בסגנון Seq-to-seq ← encoder-decoder (בסגנון T5).
למה: מודלי Decoder-only מנבאים משמאל לימין; encoders רואים הקשר דו-כיווני, טוב יותר למשימות ייצוג.
גרום למודל בסיס לעקוב אחר הוראות ולהעדיף תשובות מועילות ובטוחות.
כיוונון הוראות (instruction tuning) ולאחריו יישור (alignment) כגון RLHF — למידת חיזוק מדירוג העדפות אנושי.
למה: מודל גולמי שאומן מראש מנבא טקסט; יישור מכוון אותו להתנהגות עוזר מיועדת.
המודל מצהיר על עובדות בטוחות אך מפוברקות.
הזיה (Hallucination). צמצם על ידי ביסוס עם RAG, הורדת טמפרטורה, ציון מקורות, והוספת guardrails בתוספת סקירה אנושית עבור פלטים בעלי חשיבות גבוהה.
למה: LLMs מנבאים אסימונים סבירים, לא עובדות מאומתות; ביסוס מספק את הראיות החסרות.
הבחן בין גודל מודל לגודל נתוני אימון.
Parameters = משקלים נלמדים (קיבולת מודל). Tokens = נפח טקסט אימון. שניהם מכיילים יכולת תחת חוקי קנה מידה.
למה: מודל גדול יותר שאומן יתר על המידה על מעט מדי אסימונים מציג ביצועים נמוכים יותר ממודל קטן יותר שאומן היטב (התובנה של Chinchilla).
הפרד את שני השלבים עתירי ה-GPU במחזור החיים של LLM.
אימון (Training) מעדכן משקלים מנתונים (חד פעמי, באצ'ים). Inference מריץ את המודל הקפוא כדי לייצר פלטים (מתמשך, רגיש לשיהוי).
למה: כלי אופטימיזציה שונים: אימון משתמש בפריימוורקים מקבילים; inference משתמש ב-TensorRT-LLM ו-Triton.
מודל מכוונן דק שונא דוגמאות אימון ונכשל בקלטים חדשים.
התאמת יתר (Overfitting). צמצם עם יותר/מגוון נתונים, עצירה מוקדמת, קצב למידה נמוך יותר, פחות אימונים, או רגולריזציה כמו dropout.
למה: פער גדול בין אימון לוולידציה פירושו שהמודל התאים רעש במקום תבניות ניתנות להכללה.
פרוס LLM ממוטב כמיקרו-שירות ייצור עם API תואם OpenAI במהירות.
השתמש במיקרו-שירות NVIDIA NIM — נקודת קצה (endpoint) מודל מובנית מראש, בקונטיינר, ממוטבת ל-TensorRT-LLM.
למה: NIM אורז את המודל, סביבת הריצה והמנוע הממוטב כך שאתה מדלג על חיווט ידני של TensorRT-LLM ו-Triton.
הגש מספר מודלים עם batching, מקביליות ומספר backends מאחורי שרת inference אחד.
NVIDIA Triton Inference Server. תומך ב-dynamic batching, model ensembles, וב-backends של TensorRT/PyTorch/ONNX.
למה: Triton ממקסם את ניצול ה-GPU באמצעות ביצוע מודלים מקבילי ו-dynamic batching.
קצץ את השיהוי ב-inference של LLM על מעבדי GPU של NVIDIA לפני ההגשה.
קמפל את המודל עם TensorRT-LLM — kernel fusion, quantization, in-flight batching, ואופטימיזציה של KV-cache.
למה: TensorRT-LLM מייצר מנוע אופטימלי מהיר בהרבה מהרצת מודל הפריימוורק הגולמי.
אמן, התאם אישית או כוונן עדין LLMs בקנה מידה רחב על מעבדי GPU של NVIDIA.
פריימוורק NVIDIA NeMo — ערכת כלים מקצה לקצה לבנייה, התאמה אישית ופריסה של מודלי AI גנרטיביים.
למה: NeMo מכסה איסוף נתונים, אימון, PEFT, ויישור בערימה אחת המיועדת להתאמה למספר מעבדי GPU.
בנה אפליקציה שמשיבה ממסמכים פרטיים שהמודל הבסיסי מעולם לא ראה.
צינור RAG: חלק + הטמע מסמכים למאגר וקטורים, אחזר את ה-top-k לפי דמיון בזמן שאילתה, והזרק אותם לפרומפט.
למה: אחזור מבסס תשובות בנתונים עדכניים ומוחזקים ללא אימון מחדש של המודל.
הגבל את הטון, התפקיד והכללים של העוזר לאורך שיחה שלמה.
הגדר system prompt/הודעה המגדירה תפקיד, אילוצים ופורמט לפני תורי המשתמש.
למה: הודעת המערכת נשארת קבועה לאורך התורות ומכוונת התנהגות בצורה אמינה יותר מהוראות לכל תור בנפרד.
שפר דיוק במשימה מובנית ללא כל אימון.
Few-shot prompting — הטמע 2-5 דוגמאות קלט/פלט בפרומפט לפני הקלט האמיתי.
למה: למידה בתוך הקשר מאפשרת למודל להתאים תבניות לדוגמאות ללא עדכוני משקל.
המודל טועה בבעיות הסקה רב-שלביות או בעיות מתמטיות.
Chain-of-thought prompting — הנח אותו להסיק שלב אחר שלב לפני מתן התשובה הסופית.
למה: הפקת שלבי ביניים משפרת את דיוק ההסקה במשימות מורכבות.
אפשר ל-LLM להפעיל APIs חיצוניים, מסדי נתונים או כלים בצורה אמינה.
השתמש ב-function/tool calling — הגדר סכמות כלים; המודל פולט ארגומנטים מובנים שהקוד שלך מבצע.
למה: קריאות כלים מובנות עדיפות על פני ניתוח טקסט חופשי, והן מבססות את המודל במערכות חיות עבור זרימות agentic.
קוד במורד הזרם זקוק ל-JSON מדויק מהמודל.
בקש סכימת JSON בפרומפט והשתמש ב-constrained/guided decoding; אמת את הפלט לפני השימוש.
למה: פענוח מונחה סכימה מונע JSON בפורמט שגוי שעלול לשבור את הניתוח.
ממשק משתמש של צ'אט חייב להציג אסימונים כפי שהם נוצרים במקום לאחר השלמה.
השתמש ב-streaming (אסימון-אסימון) inference מנקודת קצה ההגשה.
למה: Streaming מוריד את השיהוי הנתפס; NIM ו-Triton שניהם תומכים בתשובות מוזרמות.
הרכב שלבי אחזור, prompting וכלים לצינור יישומים אחד.
השתמש בפריימוורק תזמור כגון LangChain או LlamaIndex לשרשור retrievers, prompts, מודלים וכלים.
למה: פריימוורקים אלו מספקים הפשטות RAG ו-agent ניתנות לשימוש חוזר מעל נקודות קצה של NIM/NeMo.
החלט בין מיקרו-שירות ארוז לבין ערימת הגשה שנבנתה ידנית.
פריסה מהירה וסטנדרטית ← NIM. לוגיקת backend/מודל מותאמת אישית עמוקה ← Triton + TensorRT-LLM ישירות.
למה: NIM מחליף יכולת הגדרה במהירות; Triton גולמי נותן שליטה מלאה על גרף ההגשה.
כוונן עדין מודל גדול על זיכרון GPU מוגבל מבלי לגעת בכל המשקלים.
LoRA / PEFT — אמן מטריצות מתאם קטנות בעלות דרגה נמוכה תוך הקפאת משקלי הבסיס.
למה: LoRA מפחיתה פרמטרים ניתנים לאימון בסדרי גודל, כך ש-fine-tuning מתאים ל-GPUs צנועים.
כוונן עדין מודל גדול מאוד עם תקציב הזיכרון הצפוף ביותר האפשרי.
QLoRA — בצע quantization למודל הבסיס הקפוא ל-4 ביט ואמן עליו מתאמי LoRA.
למה: Quantization לבסיס מקטין זיכרון עוד יותר מ-LoRA לבד, ומאפשר מודלים גדולים יותר על GPU אחד.
בחר את ההתאמה האישית הזולה ביותר שעומדת ברף האיכות.
הסלם לפי סדר: prompt engineering ← few-shot ← RAG ← LoRA fine-tuning ← full fine-tuning.
למה: העלות והמאמץ עולים בכל שלב; עצור בשלב הראשון שמגיע ליעד.
Supervised fine-tuning זקוק לצורת נתוני האימון הנכונה.
ספק צמדי instruction/response (prompt-completion), בדרך כלל בפורמט JSONL.
למה: SFT מלמד את המודל למפות קלטים לפלטים רצויים; הצמדים מגדירים מיפוי זה.
הפסד ה-fine-tuning מתבדר או שהמודל שוכח יכולות קודמות.
הורד את קצב הלמידה ו/או הפחת אימונים; עקוב אחר הפסד הוולידציה עבור שכחה קטסטרופלית.
למה: קצב למידה גבוה מדי מערער את האימון ודורס ידע שאומן מראש.
מדוד האם שינוי ב-fine-tune או בפרומפט אכן עזר.
הפרד קבוצת ולידציה/בדיקה שהמודל מעולם לא אומן עליה והשווה מדדים לפני ואחרי.
למה: הערכה על נתוני אימון מפריזה באיכות; רק נתונים שהופרדו משקפים הכללה.
השווה ריצות fine-tuning רבות עם היפר-פרמטרים ונתונים שונים.
תעד ריצות, תצורות ומדדים עם מעקב ניסויים (לדוגמה MLflow, Weights & Biases, TensorBoard).
למה: שחזוריות דורשת תיעוד איזה קונפיגורציה יצרה איזו תוצאה; הזיכרון לא גדל מספיק.
ציון אוטומטי של איכות טקסט שנוצר.
סיכום ← ROUGE. תרגום ← BLEU. התאמה סמנטית ← BERTScore. איכות פתוחה ← LLM-as-judge או הערכה אנושית.
למה: מדדי חפיפה לקסיקלית מחמיצים משמעות; עבור איכות עדינה, נדרשת הערכה אנושית או של מודל-שופט.
RAG מאחזר הקשר לא רלוונטי או מעט מדי.
כוונן גודל חתיכה/חפיפה, top-k, מודל embedding, והוסף re-ranking; אמת את איכות האחזור בנפרד מהיצירה.
למה: רוב כשלונות RAG הם כשלונות אחזור; תקן את האחזור לפני שאתה מאשים את המחולל.
החלט איזה משני וריאנטים של פרומפט מתפקד טוב יותר.
הרץ את שניהם מול סט הערכה קבוע והשווה מדדים; בצע איטרציה על נתונים ופרומפטים, לא רק על המודל.
למה: השוואה מבוקרת על אותם קלטים מבודדת את השפעת שינוי הפרומפט.
לאחר fine-tuning על משימה צרה המודל מאבד יכולת כללית.
שכחה קטסטרופלית. צמצם עם PEFT/LoRA, LR נמוך יותר, פחות אימונים, או ערבוב נתונים כלליים לקבוצת ה-fine-tune.
למה: כיוונון מבוסס מתאם משמר משקלי בסיס, מגביל סטייה מהיכולות המקוריות.
אצור קורפוס אינטרנט/טקסט גדול לאימון LLM בקנה מידה של GPU.
NVIDIA NeMo Curator — ניקוי מואץ על ידי GPU, dedup, סינון איכותי וטיפול ב-PII עבור נתוני אימון.
למה: איכות הנתונים מניעה את איכות המודל; Curator מקיים איסוף בקנה מידה שלא היה אפשרי על CPU.
קורפוס האימון מכיל מסמכים רבים כמעט כפולים.
בצע deduplicate (מדויק ומעורפל/כמעט כפול) לפני האימון.
למה: כפילויות מבזבזות כוח חישוב, מטוות את המודל לתוכן חוזר, ומסכנות שינון/דליפה.
פצל מסמכים עבור אחזור RAG.
חלק לקטעים קוהרנטיים סמנטית עם חפיפה מתונה; התאם למודל ה-embedding ולתקציב ההקשר.
למה: חתיכות גדולות מדי מדללות רלוונטיות; חתיכות קטנות מדי מאבדות הקשר. חפיפה משמרת משמעות גבולית.
טקסט גולמי שנאסף מהרשת רועש, מכיל תבניות, תוכן רעיל או באיכות נמוכה.
החל מסנני איכות ורעילות, זיהוי שפה והיוריסטיקות כדי להשמיט מסמכים בעלי ערך נמוך.
למה: קלט זבל מדרדר את המודל; סינון משפר את האיכות במורד הזרם יותר מאשר הוספת נפח גולמי.
הכן אוסף מסמכים לאחזור סמנטי.
צור embeddings לכל חתיכה עם מודל embedding עקבי ואחסן אותם באינדקס וקטורי.
למה: embeddings של שאילתה ומסמך חייבים להגיע מאותו מודל כדי להיות ניתנים להשוואה.
בדוק אם סט אימון מייצג בחסר קבוצות או נושאים.
נתח התפלגות בין מחלקות, מקורות ודמוגרפיה; איזון מחדש או הגדל פערים לפני אימון.
למה: נתוני אימון מוטים מייצרים התנהגות מודל מוטה; התיקון שייך לשכבת הנתונים.
נתוני אימון או RAG עשויים להכיל מידע אישי.
זהה ומחק/הסתר PII במהלך הכנת הנתונים לפני שהוא מגיע למשקלי המודל או לאינדקס.
למה: ידע שנאפה למשקלים לא ניתן להסוות בצורה אמינה ב-inference; הסר PII במעלה הזרם.
שמור על אפליקציית LLM בנושא, חסום תוכן לא בטוח ומנע פריצות (jailbreaks).
NVIDIA NeMo Guardrails — מסילות ניתנות לתכנות לבקרת נושא, סינון בטיחותי וזרימת דיאלוג.
למה: Guardrails אוכפים מדיניות על קלטים ופלטים ללא תלות במודל הבסיסי.
הפחת תשובות בטוחות-אך-שגויות בעוזר פרוס.
בסס תגובות עם RAG, דרוש ציטוטים, הוסף מסילות לבדיקת עובדות, ושמור בני אדם בלולאה עבור פלטים בעלי חשיבות גבוהה.
למה: ביסוס מספק ראיות ניתנות לאימות שהמודל היה ממציא אחרת.
קלט משתמש מנסה לדרוס את ה-system prompt או להוציא נתונים.
הגנה לעומק: guardrails, סינון קלט/פלט, בידוד הוראות, והרשאות כלים במינימום הרשאות עבור agents.
למה: אף בקרת יחידה לא עוצרת הזרקה; שלב סינון עם יכולות מוגבלות.
מודל פרוס מייצר פלטים מוטים או לא הוגנים עבור קבוצות מסוימות.
בקרת פלטים לאיתור הטיה, איזון מחדש/הגדלת נתוני אימון, והוספת בדיקות הוגנות להערכה.
למה: הטיה נובעת בדרך כלל מנתונים; מדוד ותקן אותה לפני ואחרי הפריסה.
פרומפטים ותשובות אסור שיעזבו את שליטת הארגון.
אחסון עצמי (self-host) עם NIM/Triton על תשתית בבעלות, הצפנת נתונים, והימנעות משליחת תוכן רגיש ל-APIs של צד שלישי.
למה: פריסת On-prem או VPC שומרת נתונים חסויים בתוך גבול האמון.