טרנספורמר
ארכיטקטורת רשת הנוירונים שמאחורי כמעט כל ה-AI המודרני, שהוצגה על ידי חוקרי גוגל במאמר Attention Is All You Need מ-2017. הטריק המרכזי, self-attention, מאפשר למודל לשקלל איך כל מילה (או חלק בתמונה) קשורה לכל השאר — וכך לתפוס הקשר בצורה מבריקה. טרנספורמרים מניעים מודלי שפה כמו Gemini ו-GPT, וגם הרבה מודלי תמונה, וידאו ומוזיקה. המשמעות המעשית ליוצרים: טרנספורמרים מבינים פרומפטים ארוכים ומפורטים, ולכן ספציפיות משתלמת. כשכותבים 'קורגי בחליפת חלל, מרחף, כדור הארץ ברקע', מנגנון ה-attention מחבר את כל החלקים לסצנה אחת קוהרנטית.