אינפרנס (הרצת מודל)

core

הרגע שבו מודל מאומן באמת רץ — מקבל את הקלט שלכם ומייצר פלט. אימון קורה פעם אחת, בעלות עצומה; אינפרנס קורה בכל פעם שאתם מייצרים משהו. כשאתם מקלידים פרומפט ומחכים כמה שניות לתמונה, ההמתנה הזאת היא אינפרנס: המודל מבצע מיליארדי חישובים על GPU. עלות האינפרנס היא הסיבה שפלטפורמות AI מתמחרות בטוקנים או קרדיטים — כל ג'נרוט שורף כוח חישוב אמיתי. מודלים מהירים (כמו Gemini Flash) מוותרים על קצת איכות תמורת אינפרנס זול וזריז; מודלים גדולים עולים יותר לריצה אבל נותנים יותר.

מונחים קשורים