איך LLMs עובדים

7 דקות קריאה

טוקנים, חיזוי המילה הבאה וחלונות הקשר — שלושת הרעיונות שמסבירים כל צ'אט AI שאי פעם השתמשתם בו.

למודלים שמאחורי עוזרי הצ'אט יש בדיוק כוח-על אחד, והוא נשמע כמעט מעליב בפשטותו: לנחש את חתיכת המילה הבאה. זה כל הטריק. תעשו את זה מספיק טוב, על פני טריליוני דוגמאות, ותופעות הלוואי כוללות תרגום, שירה, קוד עובד — והכי רלוונטי עבורכם — פרומפטים טובים בהרבה לתמונות ולסרטונים שלכם. בואו נפרק את שלושת הרעיונות שמאחורי הקסם.

טוקנים: קוביות הלגו של השפה

LLM אף פעם לא רואה אותיות או מילים. הוא רואה טוקנים — חתיכות טקסט של בערך 4 תווים בממוצע, בערך שלושת רבעי מילה באנגלית. "Generative" עשויה להתפצל ל-gener + ative; מילה נפוצה כמו "the" היא טוקן בודד. כל טוקן ממופה למספר, כי רשתות נוירונים אוכלות רק מספרים. עובדה משעשעת לדוברי עברית: שפות שאינן אנגלית בדרך כלל עולות *יותר* טוקנים למשפט, כי הטוקנייזרים אומנו בעיקר על טקסט באנגלית.

תפקיד אחד: לנחש את הטוקן הבא

האימון עובד כמו מבחן ההשלמות הגדול בעולם. המודל — רשת טרנספורמר — קורא הרים של טקסט, חוזה שוב ושוב את הטוקן הבא, ובכל פעם שהוא טועה, מיליארדי הפרמטרים שלו מקבלים דחיפה קטנה לכיוון התשובה הנכונה. המטרה הצנועה הזאת מכריחה את המודל לספוג דקדוק, עובדות, סגנונות ולוגיקה — כי אי אפשר להשלים באופן אמין את המשפט "בירת צרפת היא…" בלי באמת לדעת דברים.

• תרגום — כי הוא ראה את אותם רעיונות מנוסחים בהמון שפות.
• סיכום ושכתוב — כי הוא למד איך נראה "אותו דבר, רק קצר יותר".
• כתיבת קוד — כי גם GitHub הוא טקסט.
• ליטוש פרומפטים לתמונות — כי הוא קרא מיליוני תיאורים מעולים.

חלון הקשר: זיכרון העבודה של המודל

חלון ההקשר הוא כמות הטקסט שהמודל יכול להתחשב בה בבת אחת, נמדדת בטוקנים. ב-2026, מודלים מובילים מתמודדים עם מאות אלפי טוקנים — ספרים שלמים בשיחה אחת. אבל שני חוקים חשובים: כל מה שמחוץ לחלון בלתי נראה למודל, והחלון הוא זיכרון *עבודה*, לא זיכרון קבוע — צ'אט חדש מתחיל מאפס. ובגלל שהמודל חוזה טקסט סביר במקום לבדוק עובדות מאומתות, הוא מסוגל להמציא דברים בביטחון מלא. לתקלה הזאת קוראים הזיה, והיא מככבת בשיעור יכולות ומגבלות.

עוד חוגה ששווה להכיר: טמפרטורה. טמפרטורה נמוכה גורמת למודל לבחור בכל פעם את הטוקן הבא הבטוח והסביר ביותר — צפוי וחזרתי. טמפרטורה גבוהה מרשה לו להסתכן — יצירתי יותר, לפעמים מוזר יותר. אותו מודל, אישיות אחרת.

Rewrite this rough idea as a detailed image generation prompt with a clear subject, setting, lighting, and style: a cozy coffee shop on a rainy evening

מונחים קשורים: LLM (מודל שפה גדול), טוקן, חלון קונטקסט, טרנספורמר, טמפרטורה

תנו ל-LLM לחדד את הרעיונות שלכם לפרומפטים מקצועיים. פתחו את ה-Prompt Builder