חלון קונטקסט
כמות הטקסט המקסימלית (במונחי טוקנים) שמודל יכול להתחשב בה בבת אחת — זיכרון העבודה שלו. הכול נספר: ההוראות שלכם, הדוגמאות, היסטוריית השיחה והתשובה עצמה. מודלי שפה מודרניים נעים בין בערך 128 אלף טוקנים למיליונים, אבל גם לחלונות ענקיים יש קאץ': מודלים שמים לב פחות טוב לאמצע של קונטקסטים ארוכים מאוד. ההשפעה המעשית: כששיחה ארוכה כאילו שוכחת הוראות מוקדמות, גלשתם מהחלון או דיללתם אותו. בפרויקטים יצירתיים גדולים, חִזרו על אילוצים קריטיים בהודעות חדשות במקום לסמוך על היסטוריה של 200 הודעות.