יישור AI (Alignment)
האתגר של לגרום למערכות AI לפעול באופן אמין לפי מה שבני אדם באמת מתכוונים — ולא רק לפי מה שביקשנו מילולית. הוא משתרע מהתנהגות מוצר יומיומית (סירוב לבקשות מזיקות, ציות נאמן להוראות) ועד מחקר בטיחות ארוך טווח במעבדות כמו Anthropic ו-DeepMind. כיוצרים אתם פוגשים alignment כל יום: פילטרים שחוסמים ג'נרוטים מסוימים, מודלים שמסרבים לדמויות מוגנות בזכויות יוצרים, מעקות בטיחות סביב פנים של אנשים אמיתיים. אלה החלטות יישור שמאזנות בין תועלת לנזק. הבנת המסגרת הזאת עוזרת לעבוד עם המעקות — ולנסח בקשות בתוכם — במקום להילחם בהם.