איך מודלים של תמונה עובדים
מרעש טהור לתמונה מוכנה תוך שניות — הכירו את הדיפוזיה, הרעיון הפשוט להפתיע שמאחורי מודלי התמונה המודרניים.
הנה סוד משעשע: כל תמונת AI שאי פעם התפעלתם ממנה התחילה את חייה בתור רעש טהור — המקבילה הוויזואלית של טלוויזיה לא מכוונת. כל התפקיד של מודל דיפוזיה הוא להביט ברעש הזה ולפסל ממנו בהדרגה תמונה, בהנחיית המילים שלכם. מיכלאנג'לו טען שהפסל כבר נמצא בתוך השיש; מודלי דיפוזיה לוקחים את הרעיון הזה מילולית.
אימון: ללמוד לבטל הרס של תמונות
במהלך האימון, המערכת לוקחת מיליארדי תמונות אמיתיות והורסת אותן בכוונה — מוסיפה קצת רעש, ואז עוד, ואז עוד, עד שכל תמונה הופכת לרעש בלתי ניתן לזיהוי. שיעורי הבית של רשת הנוירונים: להפוך כל צעד — להסתכל על תמונה רועשת ולחזות בדיוק איזה רעש נוסף, כדי שאפשר יהיה להסיר אותו. חוזרים על זה על פני מיליארדי דוגמאות מדאטת האימון, והרשת הופכת ל*מנקת-רעש* ברמה עולמית — כישור שמתברר כמפתח ליצירת תמונות יש מאין.
יצירה: מריצים את הסרט אחורה
- מתחילים מקנבס של רעש אקראי טהור (איזה רעש בדיוק — קובע ה-seed).
- מקודד טקסט ממיר את הפרומפט שלכם למספרים שהמודל מבין.
- המודל חוזה איזה רעש להסיר כדי שהתמונה תיסחף לכיוון התיאור שלכם.
- חוזרים על זה בערך 20-50 צעדי ניקוי רעש — כל מעבר הופך את התמונה לחדה וקוהרנטית יותר.
- מפענחים את התוצאה לפיקסלים הסופיים שאתם רואים על המסך.
איפה המילים נכנסות: זוגות תמונה-טקסט
המילים עובדות כי המודל התאמן על מיליארדי זוגות של תמונה וכיתוב. לראות "golden hour" כתוב מתחת למיליוני תמונות חמימות של שמש נמוכה לימד אותו איך המילים האלה *נראות*. לכן אוצר המילים בפרומפט כל כך חשוב: מונחים שצלמים ואמנים באמת משתמשים בהם מיוצגים בשפע בדאטה. זו כל הפרמיסה של טקסט-לתמונה — ושל השיעור שפת סגנון ואסתטיקה בהמשך האקדמיה.
מרחב לטנטי: הסדנה הדחוסה
עוד טריק אחד הופך את הכול למהיר: רוב המודלים מבצעים את ניקוי הרעש לא על מיליוני פיקסלים גולמיים אלא במרחב לטנטי — ייצוג דחוס של התמונה, קטן פי עשרות. רק ממש בסוף מפענח מרחיב אותו בחזרה לתמונה ברזולוציה מלאה. זה ההבדל בין לשרבט על מפית לבין לצבוע מחדש שלט חוצות בכל טיוטה — ובגלל זה התמונה שלכם לוקחת שניות, לא שעות.
| כפתור | על מה הוא שולט |
|---|---|
| Seed | מאיזה רעש אקראי מתחילים — אותו seed + אותו פרומפט נותנים תמונה כמעט זהה |
| צעדי דגימה | כמה מעברי ניקוי רעש רצים — בדרך כלל 20-50 |
| הנחיה (CFG) | עד כמה המודל נצמד לפרומפט שלכם לעומת אלתור |
| יחס גובה-רוחב | צורת הקנבס: 1:1 לפוסטים ברשתות, 16:9 לפריימים קולנועיים |
תרגישו את ההיגוי של ניקוי הרעש
Macro photograph of a dew-covered spider web at sunrise, backlit, glistening droplets, soft bokeh background, extremely detailed, 85mm lens
כל ביטוי כאן מכוון את ניקוי הרעש בכיוון מדיד: "macro" קובע קנה מידה, "backlit" קובע תאורה, "85mm lens" קובע אופטיקה. הסירו אחד ותראו את התוצאה משתנה.
צפו ברעש הופך לאמנות תוך עשר שניות בערך. צרו תמונה