תמונות אלגוריתמיות

מאז תחילת העשור השני של המאה העשרים ואחת, שדה התמונות הדיגיטליות העצום מושפע יותר ויותר מסוגים שונים של אלגוריתמים של למידה עמוקה – אחת מן הצורות של מה שמכונה "בינה מלאכותית" (Artificial Intelligence, ובקיצור AI) – שמשנים מן היסוד את הדרכים המשמשות לצילום תמונה, ליצירתה, לשינויה ולצפייה בה. הראייה הממוחשבת והיישומים שלה בטכנולוגיות של ראיית מכונה מסוגלים היום לאתר ולזהות אובייקטים, מקומות, גופים ופנים מתוך מיליארדי התמונות המסתובבות ברשת גם כאשר הן אינן מוצגות על מסכים ואינן גלויות לעין האנושית. הטלפונים החכמים של היום מצוידים בכלי AI שונים שמשנים ומתקנים בעצמם תמונות מצולמות על בסיס דפוסים חוזרים והעדפות ברורות שזוהו בסקירה סטטיסטית של הרשתות החברתיות. מודלים של למידה עמוקה יכולים לייצר בעצמם תמונות מטקסט או להפך. מערכי נתונים (datasets) עצומים שמורכבים ממיליארדי תמונות, טקסטים וצמדים של תמונה־טקסט שנאספו מן הרשת משמשים לאימון המודלים הללו ועל כן משפיעים על הפלט החזותי והטקסטואלי שלהם. כך הם הופכים בהדרגה את התרבות שלנו ללולאת משוב ענקית, שבה מה שכבר הועלה לרשת מכתיב את התוכן העתידי שייווצר על ידי בינה מלאכותית.

לכל אחת מן התופעות הללו השלכות עמוקות על תחום התרבות החזותית העכשווית. ראיית המכונה מציגה צורה חדשה של תפיסה חזותית ממוכנת שמסלקת את המבט האנושי מן המרכז, מארגנת מחדש את שדה הנראה ומותחת קווים חדשים בין מה שאפשר ואי אפשר לראות. כלי בינה מלאכותית שמשובצים בטלפונים החכמים מטשטשים את ההבדל בין צילום תמונה לעיבוד תמונה וקובעים סטנדרטים חדשים. מודלים של למידה עמוקה מציגים דרכים חדשות לקישור של תמונות אל תמונות אחרות, של תמונות אל טקסטים, של טקסטים אל תמונות, ובסופו של דבר – של אנשים אל אנשים בתיווכם של תמונות וטקסטים. טכניקות של יצירת תמונה, עיבוד תמונה ועריכת תמונה בתחומים כגון איור, עיצוב גרפי, צילום, וידאו וקולנוע עוברות תמורות מהירות ובמקרים מסוימים אף מוחלפות לחלוטין בצורות חדשות של מה שמכונה "הנדסת פְּרוֹמְפְּטִים". כל תחומי המחקר העוסקים מזוויות שונות בלימוד של תמונות ושל מדיה חזותית נאלצים לפתע פתאום להתמודד עם האפשרויות שמזמנים אלגוריתמים שמסוגלים לנתח ולמיין תמונות במסדי נתונים (databases) עצומים אך גם עם השאלות העולות מתוך המגבלות וההטיות של האלגוריתמים האלה וממערך חדש לגמרי של תמונות ושל תהליכי עיבוד תמונה שיצרה בינה מלאכותית.

כל זה קורה בקצב שכמעט לא היה אפשר להעלות על הדעת לפני שנים אחדות בלבד. אולם תחושת ההפתעה ואף התדהמה שלנו לא תימשך זמן רב. טכנולוגיות של למידה עמוקה שפועלות על תמונות יהיו בקרוב "הנורמלי החדש", ויהיה קשה יותר להבחין בקווי הרציפות וברגעי השבר המגדירים את מקומן בתוך ההיסטוריה הארוכה יותר של התמונות ושל הראייה. במקרים מסוימים הן ייהפכו לכלים דיגיטליים סטנדרטיים (כפי שכבר קרה למשל לטכנולוגיות כגון קריאת קוד QR) ואולי אף יפסיקו להיחשב "בינה מלאכותית", שכן משמעות המונח משתנה ללא הרף.¹

אנו ניצבים כעת על סף, ויש בידינו הזדמנות לעמוד על פשר ההתפתחויות הללו. לפני ששינויים אלה ייעשו בלתי נראים, לפני שישקעו לתוך השכבות העמוקות יותר של התשתית הדיגיטלית שלנו, לפני שיוחלפו בשינויים נוספים, אנו יכולים לעצור לרגע ולנסות להבין מה קורה.

במאמר זה אני מתאר את הסוגים העיקריים של אלגוריתמים של למידה עמוקה העומדים מאחורי השינויים הנוכחיים ומסביר במילים פשוטות איך הם פועלים ואיך הם מיושמים בתרבות החזותית ככלל ובסדרה של פרקטיקות של אמנות עכשווית שעשויות לעזור לנו להתנהל בתוך הנוף החדש הזה. השפעתם של האלגוריתמים האלה על תמונות היא כה עמוקה, עד שהיא מעלה סדרה של שאלות יסוד אסתטיות, אפיסטמולוגיות, אונטולוגיות ופוליטיות, שיש להתמודד איתן הן מן הזווית התאורטית הן מן הזווית של הארכאולוגיה של המדיה.²

עלינו לא רק להבין אילו תכונות נדרשות מתמונה כדי שאלגוריתמים של למידה עמוקה יוכלו לנתח אותה, לחולל אותה או לשנות אותה אלא גם למפות ולחקור את מגוון הפעולות הנעשות בתמונות שאלגוריתמים כאלה מעבדים.

עלינו גם לנתח את האלגוריתמים העיקריים של למידה עמוקה העוסקים בתמונות ואת מערכי הנתונים המשמשים לאימונם. מצד אחד חשוב להבין את המבנה של האלגוריתמים האלה ואת ההצטלבויות השונות של פעלנות (agency) אנושית ופעלנות לא אנושית המסדירות את פעולתם ומקנות להם רמות שונות של אוטונומיה. מן הצד האחר עלינו לחקור את המקורות, את התוכן ואת הקריטריונים המנחים של מערכי הנתונים המשמשים לאימון אלגוריתמים כאלה: הן אלה המיועדים ליישומים של ראיית מכונה (כדי להבין טוב יותר מה הם יכולים ולא יכולים "לראות", את ההטיות שלהם ואת תרומתם לצורות שונות של ממשליוּת אלגוריתמית ואפליה), הן אלה המשמשים ליצירת תמונות או לשינוין (כדי להבין כיצד התמונות והצמדים תמונה־טקסט הכלולים במערכי הנתונים האלה מכתיבים את הפלטים שלהם).³

הבחירה במונח "תמונות אלגוריתמיות", המשתקפת בכותרת המאמר, נועדה למטרה מסוימת: היא מדגישה שבתוך נוף המדיה הנוכחי, מעמדן, פעלנותן ומזמינוּתן (affordance) של תמונות בתרבות החזותית העכשווית – הדרכים שבהן הן מצולמות, משתנות, מופצות ונצפות בהקשרים חברתיים ותרבותיים שונים – קשורים בטבורם לעובדה שאלגוריתמים של למידה עמוקה שמאומנים באמצעות מערכי נתונים גדולים מעבדים אותן.⁴

בעקבות החקירה של "תמונות אלגוריתמיות" כאלה אני מבקש להכניס לתאוריה של התמונות ושל התרבות החזותית מושגים שמקורם בתחום של למידת מכונה וגם לבחון מחדש מנקודת המבט של השינויים הנוכחיים סדרה של מושגי מפתח וסוגיות מתחומים כגון תולדות האמנות, לימודי התרבות החזותית, הצילום, הקולנוע ותאוריית המדיה.

מושגים מן התחום של למידת מכונה שיש לשלב בתאוריה של תמונות ושל תרבות חזותית הם מושגים כגון "מערך נתונים" (dataset), "ערכת אימון" (training set), "שיבוץ" (embedding), "התניה" (conditioning), "יישור" (alignment), "הזיה" (hallucination) ו"בִּיּוּן" או "אִינְטֶרְפּוֹלַצְיָה" (interpolation). מושג חשוב במיוחד הוא "המרחב הלטנטי" ("latent space", קרי המרחב הסמוי, החבוי או הנסתר) – מושג המתאר את המרחב המופשט, הרב־ממדי, שבו אלגוריתמים של למידה עמוקה הופכים אובייקטים דיגיטליים (כגון תמונות וטקסטים שהועלו לרשת בכמויות אדירות) לייצוגים לטנטיים, כך שיהיה אפשר לעבד אותם ולהשתמש בהם ליצירת אובייקטים דיגיטליים חדשים (כגון תמונות וטקסטים חדשים).⁵ ייצוגים לטנטיים מורכבים מווקטורים, כלומר מרשימות ארוכות של מספרים שמגדירות את הקואורדינטות של האובייקטים הדיגיטליים המקודדים והמשובצים במרחב הלטנטי ואת יחסי המרחק והקרבה שלהם בתוכו, בדיוק כשם ששלושת הצירים x,‏ y ו־z מגדירים את מיקומו של אובייקט פיזי במרחב תלת־ממדי ואת יחסיו עם אובייקטים פיזיים אחרים. בשנים הקרובות לא יהיה עוד אפשר להבין את הדינמיקה של תרבות שמעוצבֶּבֶת יותר ויותר בידי אלגוריתמים של למידה עמוקה ולבחון את הדרכים שבהן היא מעבדת כמויות אדירות של עקבות חזותיות וטקסטואליות שהעבר הותיר באינטרנט ללא ההכרה בתפקיד המרכזי של המרחב המופשט, הלא אינטואיטיבי והרב־ממדי הזה, שתמונות וטקסטים קיימים משובצים, ממוקמים ומעובדים בתוכו ושקשת רחבה של תמונות וטקסטים חדשים עשויים לצוץ מתוכו.

עם המושגים והסוגיות הנובעים מתחומי ידע כגון תולדות האמנות, לימודי התרבות החזותית, הצילום, הקולנוע ותאוריית המדיה שאפשר לבחון אותם מחדש מנקודת המבט של השפעת אלגוריתמים של למידה עמוקה על תמונות נמנים לא רק המושגים "תמונה" )או "דימוי", image) ו"ראייה" אלא גם מושגים כגון "דמיון" (resemblance), "חיקוי", "מקור" לעומת "העתק", "אינדקס" (index) לעומת "אִינדוּקס" או "מִפתוּח" (indexing), "מושא הוראה" ("רפרנט"), "אובייקטיביות", "סגנון", "הפשטה" מול "פיגורציה", "ריאליזם" ו"פוטו־ריאליזם", וכן שאלת טבען של הפעלנות, הכוונה והיצירתיות של האמן בהקשר של אינטראקציות מורכבות עם אלגוריתמים בעלי דרגות שונות של אוטונומיה.

אלגוריתמים של למידה עמוקה גם מכיילים מחדש את היחסים בין תמונות למילים, בין הנראה לנקרא, שכן פעולתם תלויה בדרך זו או אחרת בזמינותן של כמויות אדירות של תמונות שמקוטלגות, מתויגות ומתומללות בשיטתיות ואז נאספות במערכי נתונים גדולים. על הכף מונחת אפוא תרבות חזותית עתידית שבה תמונות ומילים מחוברות זו לזו יותר ויותר – עד לבלי התר – מבחינה אלגוריתמית.

לבסוף, המחשבה על השפעתן של טכנולוגיות הלמידה העמוקה על תמונות יכולה גם לסייע לנו להבין איזה תפקיד ממלאות תמונות שיצרה בינה מלאכותית בהפיכת "הבינה המלאכותית" עצמה לגלויה לעין: אם כדי להפוך אותה לשקופה ומובנת יותר ואם כדי לבחון את פוטנציאל יצירת התמונות שלה או את הכוח שלה ללכוד את תשומת ליבנו ולהסיח את דעתנו באמצעות משטחים חזותיים מפתים וצורות שונות של "הלבנת אמנות" ("art washing") שעשויות לסייע בהסוואת השלכותיה הבעייתיות ביותר כטכנולוגיה של מעקב, חיזוי, אפליה והחלפת עובדים.

המונח "artificial intelligence", שנטבע לראשונה ב־1955 בהצעה ל"פרויקט מחקר הקיץ בדארטמות בנושא בינה מלאכותית" (1956), מורה היום על שדה שהתפתח מאז במשך כמה עשורים כרשת מורכבת של תאוריות, טכנולוגיות ויישומים שמוקפת בקשת של שיחים, נרטיבים ועולמות מדומיינים.⁶

כשחוקרים עבדו במחצית השנייה של שנות החמישים על פיתוח בינה שהיא "מלאכותית" (כלומר לא ביולוגית אלא תוצר של הפקה טכנית), הופיעו שתי גישות מרכזיות: הגישה ה"סמלית" והגישה ה"תת־סמלית" או ה"קשרנית" ("connectionist"). הגישות נבדלו לא רק באופן שבו כל אחת פירשה את עצם הרעיון בדבר "בינה מלאכותית" אלא גם מסיבות טכניות, מוסדיות, כלכליות ופוליטיות שעתידות בשנים שלאחר מכן להתנות במידה רבה מאוד את הקצאות המימון.⁷

הגישה ה"סמלית" הייתה מעוגנת במסורות הלוגיקה המתמטית, הנדסת המערכות והקיברנטיקה והתבססה על הרעיון שמחשבים יכולים לשחזר היבטים רציונליים מסוימים של החשיבה האנושית (כגון פתרון בעיות, הפעלת שיקול דעת וקבלת החלטות) באמצעות תוכנות לעיבוד סמלים (כלומר תוכנות שמבוססות על כללים ושמבצעות פעולות על סמלים ועל צירופי סמלים).⁸ גישה זו, שקידמו אותה מארגני סדנת דארטמות (ג'ון מקארתי, מרווין ל' מינסקי, נתניאל רוצ'סטר וקלוד א' שאנון), הייתה הגישה השלטת במחקר ובמימון מסוף שנות החמישים ועד אמצע שנות התשעים.

לעומת זאת הגישה ה"תת־סמלית או ה"קשרנית" הייתה מעוגנת במסורת ששילבה מתמטיקה, סטטיסטיקה, פסיכולוגיה קוגניטיבית ומדעי המוח והתבססה על הרעיון ש"בינה מלאכותית" יכולה להיתפס כסוג של "למידת מכונה", כלומר שימוש באלגוריתמים ממוחשבים שמסוגלים ללמוד באמצעות רצפים אינדוקטיביים של ניסוי וטעייה כיצד לזהות תבניות בתוך מערכי נתונים כדי להפיק תחזיות על נתונים חדשים. המבנה של האלגוריתמים הללו מחקה במעין זיקוק סכמטי את הקשרים בין תאי עָצָב (נֵירונים) ביולוגיים, ומשום כך הם מכונים "רשתות עֲצַבִּיּוֹת מלאכותיות".

כיום, בין הגישות המרובות שטכנולוגיות שמתויגות כ"בינה מלאכותית" אימצו, הגישות הקשרניות הן לרוב הדומיננטיות. האלגוריתמים המשמשים אותן הם רשתות עצביות מלאכותיות "עמוקות" ורב־שכבתיות, ועל כן סוג "למידת המכונה" שהן מפעילות נקרא "למידה עמוקה". האלגוריתמים של הלמידה העמוקה, אשר ניזונים מטכנולוגיות שצורכות כמויות אדירות של משאבים מכדור הארץ ומאומנים באמצעות סוגים שונים של עבודה אנושית ובאמצעות מערכי נתונים שהמבנה, התוכן והעקרונות המנחים שלהם מעוררים שורה שלמה של שאלות אתיות ופוליטיות, מגויסים להכנסת צורות שונות של אוטומציה ושל חיזוי לתחומים שנדרש בהם עיבוד של כמויות גדולות של נתונים.⁹

תחומי היישום של אלגוריתמים של למידה עמוקה הם כיום רחבים, מגוונים ומורכבים ממש כמו מרקם התרבות שלנו. הם כוללים תפיסת שמע באמצעות צורות של "האזנת מכונה" שמזהות בעצמן קולות, צלילים ורעשים; עיבוד של שפה "טבעית" (כלומר אנושית, להבדיל משפה שמבוססת על קוד מכונה) באמצעות מה שמכונה "מוֹדֶלֵי שפה גדולים" (Large Language Models, ובקיצור LLM) שמסוגלים לא רק לשלב ולתרגם טקסטים קיימים אלא גם לחולל טקסטים חדשים מתוך פרומפטים (הנחיות) טקסטואליים; הלחנה מוזיקלית באמצעות מערכות שמסוגלות להשלים יצירות לא גמורות או לחולל יצירות חדשות "בסגנון" של מוזיקאי או מסורת מסוימים; מערכות משחק אסטרטגיות כגון אלה שפותחו כדי לשחק שחמט, גוֹ או משחקי וידאו של אטארי; מנועי חיפוש מתקדמים ברשת; מערכות המלצה; פרסום ממוקד ברשת; מסנני דואר זבל; מה שמכונה "עוזרות וירטואליות" (כגון סירי ואלקסה); רובוטיקה וניווט רכב אוטונומי (למכוניות, למשאיות ולרחפנים); ניהול האחסון והצריכה של אנרגייה; כלי אוטומציה לניתוח, חיזוי וקבלת החלטות בתחומים כגון ייצור תעשייתי, לוגיסטיקה של שרשרת אספקה, פיננסים, דירוג אשראי, אבחון רפואי, מחקר תרופתי, מטאורולוגיה, פוליטיקה, וכמובן – מבצעים צבאיים.¹⁰

אחד התחומים המושפעים ביותר היום מן השימוש בטכנולוגיות המתויגות כ"בינה מלאכותית" הוא תחום התרבות החזותית – מונח שאני משתמש בו כאן כדי להצביע בהכללה על התפקידים שהדימויים החזותיים, המדיה החזותית והניסיון החזותי ממלאים בתוך מגוון של הקשרים טכניים, תרבותיים, חברתיים ופוליטיים.¹¹

שלוש תופעות מרכזיות ראויות לתשומת לב מיוחדת. אפשר למנות אותן על פי סדר הופעתן הכרונולוגי בעשר השנים האחרונות:

אלגוריתמים של למידה עמוקה כגון רשתות עצביות מתקפלות (Convolutional Neural Networks, ובקיצור CNN) החלו בערך מ־2010 (אף שהתבססו על מחקר שהחל במחצית השנייה של שנות החמישים) לשמש בשיטתיות ליישום מערכות של "ראיית מכונה" שמסוגלות לאתר, לנתח ולסווג ישויות (כגון חפצים, מקומות, גופים, פנים, מחוות, הבעות ופעולות) שמיוצגות בתמונות. טכנולוגיות של ראיית מכונה מופעלות כיום על מיליארדי התמונות הדיגיטליות הנגישות דרך האינטרנט ועל מספר גדול אף יותר של תמונות שמאוחסנות במכשירים הדיגיטליים שלנו או בארכיונים לא מקוונים, גם כאשר התמונות הללו אינן מופיעות על מסכים ועל כן אינן נראות לעין האנושית.

באמצע העשור הקודם הופיעו אלגוריתמים אחרים של למידה עמוקה כגון DeepDream ורשתות יְרִיבָנִיּוֹת גנרטיביות (Generative Adversarial Networks, ובקיצור GAN). תפקידם העיקרי אינו לנתח תמונות ולסווג אותן אלא לשנות תמונות קיימות באמצעות סדרה של פעולות או לחולל תמונות חדשות לחלוטין שיכולות להיות פוטו־ריאליסטיות, היברידיות או מופשטות לגמרי.

בראשית 2022 נעשו מודלים חדשים של למידה עמוקה, שהם חלק מן התחום הרחב יותר המכונה "בינה מלאכותית גנרטיבית" (Generative AI), נגישים לכול. מודלים אלה מסוגלים לא רק לחולל תמונות סטילס ותמונות נעות מתוך טקסטים (כלומר מתוך מה שמכונה "פרומפטים", כפי שקורה במודלים של טקסט־לתמונה דוגמת DALL-E 2,‏ Stable Diffusion ו־Midjourney ובמגוון של יישומי טקסט־לווידאו) אלא גם לחולל טקסטים מתוך תמונות (למשל במודלים שמרחיבים את משימת הסיווג של תמונות ליצירת כיתוב תמונה, לתיאור של תמונה נתונה ואפילו לכתיבת סיפור קצר שמתחיל ממנה, למענה על שאלות על אודותיה או לביצוע משימות שמפתחות אותה עוד).

שלוש התופעות הללו משפיעות היום לא רק על התרבות החזותית בכללותה אלא גם על קשת רחבה של פרקטיקות אמנותיות, שחלקן רלוונטיות במיוחד מפני שהן מתמודדות בעזרת מגוון של אסטרטגיות עם השאלות האפיסטמולוגיות והפוליטיות המכריעות שטכנולוגיות אלה מעוררות.

כדי שאלגוריתמים של למידה עמוקה יוכלו לעבד את התמונות, עליהן לקיים שתי תכונות מהותיות. התכונה הראשונה (הקשורה לדיגיטציה של תמונות ככלל) היא שעל התמונות לעבור רישות (rasterization), כלומר יש להעמידן על גריד שתי וערב של פיקסלים, שלכל אחד מהם קואורדינטות משלו (שורה פלוס עמודה) וערכי צבע.¹² ההעמדה של תמונה על גריד שכל פיקסל בו מקושר לשתי קואורדינטות ולסדרה של ערכים מספריים היא תנאי האפשרות הבסיסי לכך שאלגוריתמים של למידה עמוקה יעבּדו תמונה (הדבר נכון גם ליישומים רבים אחרים של עיבוד של דימויים דיגיטליים). הגריד פועל כאן, פעם נוספת, כ"טכניקה תרבותית" שמאפשרת את המיקום (localization), המְעִינָה (addressing) והשִׁפְעוּל (activation) של אלמנטים יחידים בתוך התמונה.¹³ על כל התמונות – ללא קשר למצע החומרי המקורי שלהן, לגודלן, לפורמט שלהן ולהקשרי ההפקה והקבלה המקוריים שלהן – להתכנס לתוך הגריד כיסוד טכני אפריורי כדי שיוכלו להיות לנתונים שאפשר לעבד אותם.

התכונה המהותית השנייה שעל התמונות לקיים כדי שאלגוריתמים של למידה עמוקה יוכלו לעבד אותן היא שעליהן לעבור "אינדוּקס" או מִפתוּח, כלומר יש לקשור את התמונות בשיטתיות למילים (למשל לתווית או לכיתוב) שמאפשרות לארגן אותן בקטגוריות. קיומן של טקסונומיות רחבות היקף שמחברות בין תמונות למילים הוא אפוא יסוד אפריורי נוסף שחיוני לתפקודם של כל האלגוריתמים הללו – יהיו אלה הרשתות העצביות המתקפלות המשמשות ליישומים של ראיית מכונה, הרשתות היריבניות הגנרטיביות המשמשות לשינוי תמונות קיימות או ליצירת תמונות חדשות או המודלים האחרונים של טקסט־לתמונה ותמונה־לטקסט.

טכנולוגיות של "בינה מלאכותית" עוסקות מראשיתן במשימות שקשורות לתמונות ולראייה.

ב־1957, שנה לאחר סדנת דארטמות שבה השתמשו לראשונה במונח "בינה מלאכותית", פיתח הפסיכולוג פרנק רוזנבלט שעבד במעבדה האווירונאוטית של קורנל את הפֶּרְסֶפְּטְרוֹן (Perceptron) – מכונה לזיהוי אוטומטי של תמונות.¹⁴ הפרספטרון, שהיה דוגמה ראשונה לתוכנית בינה מלאכותית קשרנית, "תת־סמלית", ונבנה בהשראת מחקריהם של וורן מקאלוק וסטנלי פיטס ב"נירונים מלאכותיים" (פונקציות מתמטיות שנתפסו כמודל של נירונים ביולוגיים), היה רשת עצבית מלאכותית בת שכבה אחת שתפקידה ללמוד איך לזהות תווים אלפביתיים דו־ממדיים אחרי שנקלטו בגריד שתי וערב של חיישנים ובו ארבע מאות תאים פוטואלקטריים.¹⁵

חמישים שנה אחרי פיתוח הפרספטרון, ובעקבות כמה מחזורים של התלהבות ואכזבה, קדחת השקעות וקיצוצי תקציב ("חורפי AI") ממקורות תאגידיים, ציבוריים וצבאיים (כגון הסוכנות הביטחונית לפרויקטי מחקר מתקדמים, DARPA), זינקה ההשקעה הכספית בבינה מלאכותית בתחילת העשור השני של המאה העשרים ואחת.¹⁶ "אביב AI" חדש זה – שהניעה אותו כמו את קודמיו סדרה מורכבת של התפתחויות טכנולוגיות, מוסדיות וכלכליות – אִפשר ליישומי ראיית מכונה לעבור לשלב חדש בזכות הצטלבותם של ארבעה גורמים שונים.

הגורם הראשון היה פיתוחן של רשתות עצביות מלאכותיות "עמוקות" (כלומר רב־שכבתיות) – פיתוח שרוזנבלט דמיין כבר ב־1962 אך התממש רק בשנות השבעים והשמונים עם ה"קוֹגְנִיטְרוֹן" (Cognitron) וה"נֵאוֹקוֹגְנִיטְרוֹן" (Neocognitron) – שביצועיהן השתפרו פלאים בזכות תכונת מפתח של למידת מכונה: אלגוריתם ל"הפצה אחורה של שגיאה" (back-propagation of error).¹⁷ אלגוריתם זה מאפשר, מרגע שזוהתה שגיאה בפלט של רשת עצבית עמוקה (כגון זיהוי שגוי של סִפרה), להתחקות על גורמי השגיאה, שכבה אחר שכבה וקשר אחר קשר, כדי לתקן אותה באמצעות שינוי הפרמטרים (ה"משקלות") המסדירים את תנועת הקלטים והפלטים על פני הקשרים השונים.

הגורם המרכזי השני היה האפשרות לאמן רשתות עצביות כאלה על כמויות עצומות של תמונות שהורדו מן האינטרנט, מופתחו בשיטתיות ואורגנו במערכי נתונים גדולים של תמונות. כמה ממערכי הנתונים הללו, כגון ImageNet, שימשו במחצית הראשונה של העשור הקודם כסטנדרט למחקר בלמידת מכונה שמיושמת על תמונות בטרם הוחלפו במערכי נתונים גדולים עוד יותר כגון LAION-5B.

הגורם המרכזי השלישי היה זמינותן של צורות חדשות של מיקרו־עבודה (microlabor) מבוזרת, בין שהיא בוצעה באמצעות CAPTCHA ("מבחן טיורינג ציבורי ממוחשב לחלוטין להבחנה בין מחשבים לבני אדם") ובין שבוצעה בידי אנשים שמתייגים תמונות שמופצות ברשתות החברתיות או שאפשר לגשת אליהן דרך פלטפורמות עבודה מקוונות כגון שוק מיקור ההמונים Amazon Mechanical Turk ומעירים עליהן.¹⁸ "עבודת ההקלקה" הזאת, המוכרת היום היטב, מעוררת סוגיות אתיות ופוליטיות כבדות משקל מכיוון שיש בה כמויות גדולות של עבודה בתת־שכר, בתת־תנאים ואף ללא כל תגמול. החל מאמצע העשור הראשון של המאה העשרים ואחת היא ביצעה את אחד השלבים המהותיים באימון טכנולוגיות של ראיית מכונה: תיוג התמונות שנאספו במערכי הנתונים.¹⁹

הגורם המרכזי האחרון שאִפשר לטכנולוגיות של ראיית מכונה לעבור לשלב חדש היה הופעתו של דור חדש של מעבדים גרפיים (GPU) חזקים בראשית שנות התשעים: אלה הם מעגלים אלקטרוניים ייעודיים שתוכננו במקור להאצת פעולות של גרפיקה ממוחשבת ועיבוד תמונה בתחום האנימציה הדיגיטלית בזמן אמת במשחקי וידאו אך היו בסופו של דבר לאחד המרכיבים המרכזיים בעיבוד האלגוריתמי של תמונות בכלל.

בין האלגוריתמים של הלמידה העמוקה שתרמו להתפתחותן המהירה של טכנולוגיות ראיית המכונה בראשית העשור הקודם מילאו תפקיד מרכזי הרשתות העצביות המתקפלות (CNN). ההבנה – גם אם זו הבנה סכמטית בלבד – של אופן פעולתן באיתור, בזיהוי ובסיווג הישויות המיוצגות בתמונות היא חיונית לכל מי שמבקש לעמוד על האפשרויות והמגבלות של ראיית מכונה.²⁰

מטרתה הרשמית של רשת עצבית מתקפלת שמשמשת במשימה של ראיית מכונה היא לזהות קבוצה מסוימת של פיקסלים בדימוי דיגיטלי כמייצגת של קטגוריה מסוימת של אובייקטים כגון "פני אדם", "חתול", "עץ", "שולחן", "כנסייה" וכן הלאה. לקטגוריות של אובייקטים יכולות להיות רמות שונות של הכללה ("חתול", "חתול סיאמי", "חתולה סיאמית"), והן יכולות גם להתייחס לאובייקטים מסוימים ולאנשים מסוימים ("קתדרלת נוטרדאם", "ברק אובמה").

פעולתה של רשת עצבית מתקפלת שאומנה במלואה ושהוקצתה לה משימה של ראיית מכונה מתחלקת לשני חלקים: חילוץ מאפיינים (feature extraction) וסיווג (classification).

בראשיתו של החלק הראשון, חילוץ מאפיינים, קלט ראשוני – דימוי דיגיטלי (למשל תמונה של חתול) – מאורגן כגריד של פיקסלים, שלכל אחד מהם קואורדינטות וערכים מספריים משלו. גודל הדימוי (כלומר מספר הפיקסלים בגריד) מוכרח להיות שווה לגודלה של השכבה הראשונה ברשת העצבית המלאכותית (מספר הקלטים שהיא מסוגלת לקבל).

ברגע שסופק דימוי, שכבותיה השונות של הרשת העצבית המתקפלת מתחילות לנתח אותו. כל מאפיין בדימוי הנתון משמש מטרה לנירון מלאכותי מסוים בתוך כל אחת משכבות הרשת. על הנירונים בשכבות הראשוניות (הנמוכות) מוטלת המשימה לאתר מאפיינים פשוטים (כגון קווים, קימורים, פינות או קצוות – כלומר הגבולות בין שני אזורים מנוגדים בדימוי). אם המאפיינים הפשוטים הללו מאותרים, ואם מגיעים ל"ערך שִׁפְעוּל" ("activation value") מסוים (שמבוטא במספרים ומתקבל מהכפלת הערך של כל נירון בשכבה נתונה במשקלו), הנירונים מופעלים ומוסרים את הקלט שלהם לשכבות הבאות (הגבוהות יותר). שכבות אלה מופקדות, כל אחת בתורה, על איתור מאפיינים מורכבים יותר ויותר (כגון צורות, משטחים, נפחים, מרקמים, ואחר כך אובייקטים שלמים, פנים ספציפיות וכן הלאה). שטף ה"שפעולים" או ה"אקטיבציות" בין השכבות השונות של רשת מסוימת – תוצר רצפים של פעולות מתמטיות שנקראות "קיפולים" או "קונבולוציות" – מתקדם הן באמצעות שפעולים של הזנה קדימה (feed-forward) משכבות נמוכות לשכבות גבוהות יותר הן באמצעות שפעולים של הזנה אחורה (feed-backward) משכבות גבוהות לשכבות נמוכות יותר.

את החלק השני של התהליך, סיווג, מבצעת רשת עצבית מסוג אחר שמכונה "מוֹדוּל סיווג" (או "פִּרְקַן סיווג"). מודול זה מסתמך על הקלטים המתקבלים מן השכבות הגבוהות של הרשת העצבית המתקפלת ומפיק כפלט סיווג שמבוסס על דרגת הביטחון המבוטאת באחוזים.

כדי לבצע את שתי הפעולות (חילוץ מאפיינים וסיווג) יש לאמן את הרשתות העצביות המתקפלות לזהות קטגוריה יחידה של אובייקטים או קטגוריות מרובות של אובייקטים, לרבות בסופו של דבר טקסטים, קוד ונוסחאות מתמטיות שעשויים להופיע בדימוי. אם הקטגוריות שהרשת אומנה לזהות כוללות "חתול", "סוס" ו"כלב", הפלט (ההסתברותי) הנובע מניתוח תמונה של חתול עשוי להיות "חתול 70%, סוס 20%, כלב 10%". ביישומי ראיית מכונה, אימון כזה – שעובר שלבים או "תרגולים שלמים" ("epochs") רבים – נחשב אימון מונחה (supervised) או בלתי מונחה (unsupervised) על פי התפקיד שהעבודה האנושית ממלאת בשלבים השונים של התהליך.²¹

הבנת המנגנון הפנימי של רשתות עצביות מתקפלות היא משימה קשה ביותר אם לא בלתי אפשרית, שכן רשתות עצביות עמוקות ורב־שכבתיות אלה עשויות לכלול מיליוני "נירונים" וכמות רבה אף יותר של קישורים ביניהם. זרימת המידע קדימה ואחורה בין השכבות עשויה להתפרשׂ על פני אלפי אִיטֶרַצְיוֹת (או "חִזְרוּרִים"), ובכך לעשותן סתומות ובלתי נגישות עוד יותר. רשתות עצביות מתקפלות הן אפוא דוגמה טיפוסית למודלים של למידה עמוקה מסוג "קופסה שחורה", שאי אפשר לפרש אותם פירוש מלא.²²

תחת זאת, אפשר לנתח את המבנה ואת התוכן של מערכי הנתונים המשמשים לאימונם, אף שהדבר אפשרי רק באמצעות דגימות, שכן מספר הדימויים הכלולים במערכי הנתונים עשוי להיות בסדר גודל של מיליונים, ובמערכי הנתונים העדכניים ביותר – אפילו מיליארדים.

ערכות אימון ממלאות תפקיד חיוני בהגדרת "המרחב האפיסטמי" של רשתות עצביות מתקפלות: סדרת הישויות שהן מסוגלות לאתר ולסווג בתוך תמונות, והמילים שבהן הרשת משתמשת לשם הסיווג הזה. לברירה, לתיוג ולקיבוץ הטקסונומי של כמויות עצומות של דימויים בדידים שכלולים בערכות האימון יש תפקיד נורמטיבי מכריע בהבחנה בין מה שרשת עצבית מתקפלת יכולה לראות ולשיים ובין מה שנותר בלתי נראה וחסר שם. במקרים רבים, מה שנותר בלתי נראה וחסר שם עשוי להימצא בתוך הדימוי עצמו. למשל אפשר שרשת עצבית תצליח לזהות בדימוי מסוים תפוח אך לא את הצלחת שהוא מונח עליה וגם לא את השולחן שהצלחת נחה עליו.

כדי להבין טוב יותר את המעבר מאיתור לסיווג, מראייה לשיום, כדאי לבחון את ImageNet – מערך הנתונים העצום של תמונות שאִפשר לרשתות עצביות מתקפלות להשיג שליטה כמעט מוחלטת בתחום של ראיית מכונה בראשית העשור השני של המאה העשרים ואחת ולהחליף מערכי נתונים מוקדמים וקטנים יותר שהתבססו על מספר מוגבל יותר של קטגוריות של אובייקטים.²³

מערך הנתונים ImageNet, שנוצר באוניברסיטת סטנפורד בידי צוות מדעני מחשב בהובלתה של פֵיי־פֵיי לי (Fei-Fei Li), הוצג לראשונה ב־2009.²⁴ מטרתו המוצהרת הייתה "למפות את עולם האובייקטים כולו".²⁵ מהצהרה זו עולה חתירה לכוליות קרטוגרפית שלא רק מעוררת תהיות – שכן היא מניחה שאפשר למנות את כל האובייקטים כולם, שכל האובייקטים נראים ושאפשר לייצג את כולם בתמונה – אלא נעשית מפוקפקת עוד יותר כשבוחנים היטב את מקורותיו של מערך הנתונים, את מבנהו ואת ההטיות המרובות הגלומות בו.

כפי שקייט קרופורד וטרבור פגלן מראים במאמרם "ארכיאולוגיה של ראיית מכונה", ImageNet הוא דוגמה מובהקת לכך ש"כל אחת ואחת מן השכבות בערכת אימון כזאת רוויה בפוליטיקה".²⁶ מערך הנתונים הזה – שיש בו ארבעה עשר מיליון תמונות שהורדו מן האינטרנט ללא אישור מראש מיוצריהם, שתויגו בידי עשרות אלפי "עובדי קליקים" שנשכרו באמצעות Amazon Mechanical Turk והתבקשו להשתמש בממשק שהזמין אותם לבחור "תצלומים בלבד, לא ציורים ולא רישומים" ושמוינו לבסוף לעשרים ואחת אלף קטגוריות ותת־קטגוריות שמתבססות על שמות עצם בשפה האנגלית כפי שהם מופיעים בהיררכייה של WordNet – רחוק מלהיות מיפוי אובייקטיבי של "עולם האובייקטים כולו".²⁷ תחת זאת הוא תוצר של שכבות מרובות של קביעות טכניות והערכות אנושיות, שיפוטים, החלטות והטיות.²⁸ המסקנה שקרופורד ופגלן מסיקים מניתוח זה היא ש"הבנת הפוליטיקה הכרוכה במערכות בינה מלאכותית חשובה היום יותר מתמיד, משום שהמערכות הללו משתלבות במהירות במבנה של מוסדות החברה" המעורבים בפעילויות שונות של מעקב, ניטור, בקרה, ברירה וניבוי.²⁹

מאז ראשית העשור השני של המאה העשרים ואחת, טכנולוגיות של ראיית מכונה מיושמות יותר ויותר בשדה העצום של דימויים שמכונות מסוגלות לקרוא, שאת ממדיו אפשר לדמיין רק אם נבין שכל דימוי דיגיטלי – אם הוא נגיש דרך האינטרנט ואם הוא מאוחסן במכשירים שלנו, אם הוא הופק באמצעות סוג כלשהו של הקלטה אופטית של מה שנקלט בעדשה ואם הוא נוצר כל כולו במחשב (או שילוב של השניים, כפי שקורה לא פעם) – עשוי בפוטנצייה להיות מושא ניתוח של טכנולוגיות אלה. כל יצרניות הטלפונים החכמים הגדולות ציידו את מכשיריהן במצלמות ובטכנולוגיות עיבוד תמונה שהופכות כל תצלום שאנו מצלמים לדימוי שמכונה מסוגלת לקרוא ומשתמשות ביישומים של ראיית מכונה כדי לערוך חיפוש בתצלומים ובסרטונים שצולמו בטלפון או כדי לערוך חיפוש ברשת על בסיס דימוי נתון. הרשתות החברתיות משתמשות במערכות של ראיית מכונה לחילוץ נתונים מתמונות ומסרטונים שמשתמשים מעלים, ואילו חברות פרטיות (כדוגמת Clearview AI השנויה במחלוקת) מציעות לסוכנויות מדינה וללקוחות פרטיים מערכות של ראיית מכונה ושל זיהוי פנים שמסוגלות לנתח את הכמות העצומה של תמונות מצולמות שנמצאות באינטרנט ושמועלות אליו בהמוניהן מדי יום – מה שמעורר שלל סוגיות אתיות ופוליטיות ומדגיש את הצורך במסגרת משפטית רחבה יותר שעדיין לא ממש נוצרה.³⁰

כשחושבים על מערכות של ראיית מכונה כמכלול, נראה שהן הופכות את ה"איקונוספֵרה" הדיגיטלית הנוכחית לשדה עצום של כריית נתונים וניתוחם, שבו אפשר לאתר, לנתח, לתייג, לסווג, לאחסן, לאחזר ולעבד אובייקטים, מקומות, גופים, פנים, הבעות, מחוות ופעולות – וכן קולות וצלילים, באמצעות טכנולוגיות של האזנת מכונה – כנתונים שאפשר לגשת אליהם ולגייס אותם במהירות למגוון רחב של מטרות ופעולות: ממעקב ועד שיטור, משיווק ועד פרסום, מניטור של תהליכים תעשייתיים של ייצור והפצה ועד לתפעול כלי רכב אוטונומיים (מכוניות, רחפנים ורובוטים), מאבחון רפואי באמצעות ניתוח אוטומטי של דימות רפואי ועד למגוון של יישומים צבאיים.

יישומים של ראיית מכונה נמצאים בשימוש כבר כמה שנים גם בתחומים שונים של מדעי הרוח: מתולדות האמנות ועד להיסטוריה של הצילום, של הקולנוע ושל המדיה האודיו־ויזואלית.³¹ באמצעות סריקת קורפוסים עצומים של תמונות סטילס ותמונות נעות הם מסוגלים לחפש לא רק גופים ואובייקטים אלא גם צבעים, טקסטורות, תצורות של אור וצל, דרגות של חדות וטשטוש, אחר כך תנועות, תנוחות, מחוות, פעולות והבעות פנים ולבסוף מוטיבים וסגנונות חוזרים.³² בניתוח של תמונות נעות הם עשויים לאתר גם סוגים שונים של שוֹטים כגון תקריב, שוט בינוני ושוט רחוק, תנועות מצלמה וטכניקות עריכה. גם המיומנויות המסורתיות של מומחי האמנות עוברות שינויים בעקבות הופעתן של צורות חדשות של "אימות אמנות באמצעות AI" שעשוי לסייע בייחוס ציור לאמן מסוים, בשחזור מועד יצירתו ובאיתור עותקים והעתקים.³³

מנקודת המבט של האפיסטמולוגיה של תולדות האמנות ושל ניתוחי תמונה, יישומים אלה של ראיית מכונה – שמטרתם המוצהרת היא "לספק אובייקטיביות נוספת שנובעת מתהליכים כמותיים וחישוביים" – מעוררים סדרה שלמה של שאלות.³⁴

כדי שיצירות אמנות יוכלו להיחקר באמצעות טכנולוגיות של ראיית מכונה, עליהן לעבור טרנספורמציה אונטולוגית. החומריות הקונקרטית שלהן, הטכניקות שלהן וממדיהן עוברים רדוקצייה ונעשים דימויים דיגיטליים, כלומר גרידים של פיקסלים שלכל אחד מהם סדרה ייחודית של קואורדינטות וערכים. צורות חזותיות דו־ממדיות או תלת־ממדיות עוברות הקטעה (סגמנטציה) ונעשות נתונים (כלומר ערכים מספריים שאלגוריתמים יכולים לחשב). המושג המורכב להפליא "סגנון" – יהא זה סגנונם של אמן יחיד, של תנועה אמנותית או של תקופה היסטורית – מנותק מן ההקשרים החברתיים־היסטוריים שלו ומסוגיות של טכניקה, חומריות ואופן ביצוע כדי שיהיה אפשר להעמידו על סדרה של תבניות חוזרות של פיקסלים שעשויות להיות למושא של דגם כלשהו של זיהוי תבניות חישובי. מה שהיה פעם ניתוח שצופה אנושי פיתח – גם אם לא אחת בסיוע כלים טכניים שונים כגון רפרודוקציות צילומיות, הקרנת שקופיות כפולה, תקריבים או הילוך איטי והקפאת תמונה במקרה של תמונות נעות – נעשה תהליך של ניתוח צורני שהראייה האנושית כבר אינה מרכזית בו ושמתמקד בפעולות אלגוריתמיות שנוטות להשמיט את "מה שאי אפשר עוד להעמידו על כימות ועל חישוב ומה שאי אפשר להסבירו במונחים כמותיים".³⁵

מנקודת המבט של התאוריה וההיסטוריה של התמונות ושל הראייה, נקודת מפנה מכרעת בהתפתחות האחרונה של טכנולוגיות של ראיית המכונה היא העובדה שהן פועלות יותר ויותר בתוך מעגלים שמחברים מכונות ישירות למכונות אחרות ומתניעים סוגים שונים של פעולות בלי לחולל בהכרח תמונות שמוצגות על גבי מסכים ונגלות לעין האנושית. טכנולוגיות של ראיית מכונה עשויות לפעול על דימויים שמכונות יצרו למען מכונות אחרות – בלי שום מעורבות של העין האנושית (כמו במקרה של מצלמה שמנטרת פס ייצור ומפעילה התערבות טכנית כלשהי אם היא מזהה טעות) – או על דימויים שבני אדם יצרו למען בני אדם אחרים (כמו במקרה של תצלום שצולם ושותף ברשתות החברתיות כדי להזמין תגובות כגון לייקים, תיוגים ותגובות). במקרה השני, הטכנולוגיות של ראיית מכונה נותרות פעילות גם כאשר הדימויים נעשים בלתי נראים. תמונות שמועלות לאינטרנט עשויות להמשיך להזין מערכות אלגוריתמיות של איסוף נתונים וניתוח נתונים גם אחרי שחדלו להופיע על גבי מסכים (כפי שקורה לתמונה שמופיעה באתר ללא מבקרים או בפוסט ברשת חברתית שאיש אינו צופה בו עוד).

עם התפשטותן של טכנולוגיות של למידה עמוקה, השדה הרחב של דימויים "מכשיריים" (אינסטרומנטליים) ושל דימויים "פעולניים" (אופרציונליים) עובר טרנספורמציה יסודית.³⁶ בסדרה של טקסטים ושל מיצבי וידאו מראשית שנות האלפיים הגדיר הארון פארוקי דימויים פעולניים כ"דימויים ללא מטרה חברתית, שלא נועדו להעשרת הרוח או להתבוננות מעמיקה"; אלה הם דימויים ש"אינם מייצגים אובייקט, אלא הם חלק מפעולה".³⁷ מיצבים כגון עין/מכונה 3-1 (Eye/Machine I-III, 2001-2003‏) מוזיקת־נגד (Counter Music, 2004)‏, משחק עמוק (Deep Play, 2007) ומשחקים רציניים 4-1 (Serious Games I–IV, 2009-2010) הציגו לצופה מבחר עצום של דימויים פעולניים שמופצים במגוון הקשרים טכניים, תעשייתיים, מדעיים, צבאיים ובידוריים. פארוקי שקד על איסוף הדימויים הללו – שבאותה עת עוד הופיעו על גבי מסכים – על ארגון מחודש שלהם ועל חשיפתם. כיום, כפי שפגלן מדגיש במאמר שכתב זמן קצר לאחר מותו של פארוקי, דימויים פעולניים יכולים להיות פעילים גם בלי שייראו.³⁸ תפקידם באיסופם ובעיבודם של נתונים חזותיים נזקק פחות ופחות לניטור או לתיקוף של צופה אנושי.

להתפתחות זו יש השפעה ישירה על עצם המושגים "תמונה" (image) ו"ראייה" (vision). האם אפשר עוד להשתמש במונח "תמונה" לציון קובץ דיגיטלי שמקודד בפורמט תמונה כלשהו ושמכוֹנה יכולה לקרוא אותו גם כשהוא אינו נראה לעין אנוש או כשהוא נגלה לעין על מסך כתַבנית של פיקסלים רק לרגע קט, ובשארית הלא ידועה של ימי חייו מתגלגל ברשתות דיגיטליות בלתי נראות? לְמה נעשית ה"ראייה" כאשר תהליך הראייה הפסיכו־פיזיולוגי האנושי מוחלף במקרה של טכנולוגיות של ראיית מכונה בפעולות ממוכנות של זיהוי דפוסים ותיוג וכאשר אפשר להריץ את היישומים השונים של פעולות אלה על כמויות עצומות של דימויים דיגיטליים, ששום עין אנושית לא תוכל לראותם אי פעם במלואם? האם בעצם השימוש במונח "ראייה" בתוך המושג "ראיית מכונה" אנחנו משתמשים בטעות במונח מטפורי שראוי לזנוח אותו לטובת סדרה אחרת של מונחים טכניים שקשורים ממש לתחומי הלמידה העמוקה וניתוח הנתונים?

כותבים כגון אנדראס ברֶקמן (עם המושג שלו "חשבון אופטי" שמוגדר כ"מנגנון חסר מחשבה ונטול בינה, חישוב שמבוסס על נתוני קלט שנגזרו מן האופטיקה והופשטו לכלל ערכים בני־חישוב שיכולים להיעשות לחלק מהליכים ומפעולות חישוביים"), אדריאן מקנזי ואנה מנסטר (המתארים את ראיית המכונה כצורה של "ראיית פלטפורמה" שמכוונת אל "הרכבי דימויים" עצומים באמצעות "חישה אל־חזותית" ופביאן אוֹפֶרְט ופיטר בל (המדגישים את הייחודיות של "טופולוגיית החישה" ה"לא אנושית במובהק" של מערכות של ראיית מכונה) טענו כולם כי שומה עלינו לנוע מעבר לתבניות מחשבה ומונחים אַנתרופוצנטריים והדגישו את ההבדלים הרדיקליים בין ראיית מכונה לראיית אנוש.³⁹

עם זאת, לשימוש במונח "ראייה" בהקשר של ראיית מכונה יש ערך היריסטי והרמנויטי שאין להכחישו. למשל הוא מזמין אותנו למקם את הטכנולוגיות של ראיית המכונה בתוך ההיסטוריה ארוכת השנים של המדיה החזותית ששיפרה את הראייה האנושית, הרחיקה אותה מן המרכז או החליפה אותה לחלוטין באמצעים טכניים.⁴⁰ השימוש במונח "ראייה" גם מדגיש את החשיבות שבניסיון להעניק לעיניים האנושיות המחשה חזותית של "החישה האל־חזותית" של טכנולוגיות של ראיית המכונה.

כמה מן הניסיונות המעניינים ביותר בכיוון זה אפשר למצוא בעבודות הווידאו של פגלן, בתערוכותיו ובכתביו (לעיתים קרובות בשיתוף פעולה עם קרופורד).⁴¹ בטקסט שכותרתו "דימויים בלתי נראים (התמונות שלכם מביטות בכם)" פגלן מתאר נוף חדש שבו "מכונות יוצרות דימויים למען מכונות אחרות, כמעט בלי שום מעורבות אנושית", ומסיק את המסקנה הבאה: "אם ברצוננו להבין את העולם הבלתי נראה של התרבות החזותית המתקיימת בין מכונות, עלינו ללמוד לחדול לראות כבני אדם. עלינו ללמוד לראות יקום מקביל שמורכב משִׁפְעוּלִים, נקודות מפתח [keypoints], פָּנים עצמיות [eigenfaces], התמרות מאפיינים [feature transforms], מְסַווגים [classifiers], ערכות אימון וכיוצא בזה".⁴²

עבודת וידאו כגון "ראו איזו תקופה נהדרת!" (Behold These Glorious Times!, 2017) מאגדת באמצעות עריכה מהירה והקרנה דמוית גריד אלפי דימויים שמקורם בערכות אימון שונות של ראיית מכונה ומראה כי במקרים מסוימים היו בני האדם עצמם צריכים לעבור אימון כדי להציג מול המצלמה הבעות פנים ותנוחות גוף שנועדו לשמש לאימון אלגוריתמים.⁴³ עבודת וידאו אחרת, שכותרתה "אופרציות של דימוי. אופ' 10" (Image Operations. Op. 10, 2017) מדגישה את ההבדל העצום בין תפיסה חושית אנושית ובין ראיית מכונה. נוכח הופעה של רביעיית מיתרים, מערכת ראיית המכונה – שהקול אינו קיים לדידה – מתמקדת בפנים, בהבעות ובמחוות של המוזיקאים ומנסה לזהות את גילם, את רגשותיהם ואת החפצים שבידיהם. דימויים אחרים מאותה עבודה מנסים להמחיש מבחינה חזותית מה שרשת עצבית מתקפלת "רואה" – כלומר כיצד היא מתחילה לנתח בתוך דימוי נתון מאפיינים פשוטים לפני שהיא עוברת בהדרגה למאפיינים מורכבים יותר.⁴⁴

האפשרות להשתמש באלגוריתמים של למידה עמוקה כדי לחולל תמונות – ולא כדי לנתח ולסווג אותם – זכתה להבלטה ב־2014 וב־2015 עם הצגתם של שני אלגוריתמים שהתמונות שהם יצרו נפוצו במהירות ברחבי האינטרנט. בשני המקרים, התמונות החדשות שהאלגוריתמים הללו יצרו קשורות בקשר הדוק לתמונות הכלולות במערכי הנתונים ששימשו לאימונם. מסיבה זו אפשר לראות בהן תמונות מתוך תמונות, כלומר תמונות שהופקו באמצעות עיבוד אלגוריתמי של כמויות עצומות של תמונות אחרות.⁴⁵

הראשון משני האלגוריתמים, הנקרא DeepDream, פותח ב־2015 בידי מהנדסי גוגל אלכסנדר מורדבינצב, כריסטופר אולה ומייק טייקה על בסיס ארכיטקטורה של רשת עצבית מתקפלת עמוקה בשם GoogLeNet (המוכרת גם בשם Inception) שהוצגה בתחרות של ImageNet לזיהוי חזותי בקנה מידה גדול (Large Scale Visual Recognition Challenge) ב־2014.‏⁴⁶ השם "Inception" נובע הן מסרט המדע הבדיוני של כריסטופר נולאן מ־2010 ("התחלה") – שבו הגיבורים חודרים לשכבות השונות בתת־מודע של המטרות שלהם כדי לשתול או לחלץ מידע – הן ממאמר מ־2014 שכותרתו "רשת בתוך רשת" שבוחן את ההשלכות של הטמעת מבנים פנימיים מורכבים בתוך רשתות.⁴⁷

האלגוריתם DeepDream המשמש למציאה של פנים ודפוסים אחרים בתמונות ולהעצמה שלהם הוא למעשה רשת עצבית מתקפלת שמופעלת במובן מסוים בסדר הפוך. במקום להתחיל בקלט – כלומר בתמונה שניתנת לרשת כדי שתנתח ותסווג אותה על בסיס התמונות שעליהן היא אומנה – מתחילים בקצה השני, בפלט. לאחר שבוחרים פלט רצוי – למשל תמונת פָּנים של בעל חיים – מכווננים את הפרמטרים של הרשת העצבית כדי לאלץ אותה לשפעל את הנירונים המלאכותיים המזהים את המאפיינים השונים של פניו של בעל החיים. אם מייצרים המחשה חזותית של תוצאות הכוונונים והשפעולים הללו, רואים בתמונה הראשונית (למשל תמונה של מדוזה) את המאפיינים המבוקשים, גם אם הם לא הופיעו בתמונה כלל. אם חוזרים על התהליך הזה מספיק פעמים, המאפיינים הללו מתחילים להשתכפל ולהיעשות גלויים לעין יותר ויותר.

חלופה אחרת להכתבה המדויקת של המאפיין שמעוניינים שהרשת תעצים היא לתת לרשת להחליט בעצמה על בסיס האופן שבו היא אומנה. לאחר קבלת תמונה, הרשת מתחילה לנתח אותה: היא מתחילה במאפיינים פשוטים ועוברת בהדרגה דרך השכבות השונות של הרשת העצבית המתקפלת למאפיינים מורכבים יותר. אם בוחרים שכבה מסוימת ומבקשים מן הרשת להעצים את מה שהיא זיהתה, חלק ממאפייני התמונה – אלה שקשורים לתמונות הקיימות בערכת האימון – ייעשו גלויים יותר לעין. אם חוזרים על הפעולה, המאפיינים הללו יתחילו להתרבות ברחבי התמונה.⁴⁸

התמונות שחולל DeepDream נוצרו תחילה כ"מטא־תמונות טכניות" שנועדו להבנה טובה יותר של המבנה של רשתות עצביות מתקפלות ושל הקשרים בין דפוסים בתמונה לשפעולים בנירונים, אולם ברגע שהאלגוריתם הופץ כקוד פתוח, הן התחילו להתפשט במהירות ברחבי האינטרנט ולהפוך את השאלה אם יכולה להיות ל"בינה מלאכותית" כלשהי "יצירתיות" חזותית לשאלה פופולרית.⁴⁹ בשל איכויותיהן ההזייתיות עקב העיבוד והפרשנות המופרזים הן נתפסו כדוגמה ל"פָּרָאִידוֹלְיָה": התחושה שתבנית מסוימת (למשל צורה של בעל חיים, פנים או חפץ) צצה מתוך גירוי חזותי מורכב ומבולבל כגון כתם דיו או ענן. במאמרה של היטו שטיירל "ים של נתונים: אפופניה ו(אי־)זיהוי דפוסים", שטיירל רואה בתמונות הללו "דוגמה חזותית מרהיבה לאפופניה צרופה ומודעת" – כלומר לחיפוש מוגבר אחר דפוסים בתוך נתונים אקראיים שמוביל בהכרח לצורה של "זיהוי־יתר של דפוסים" ובדרך זו "חושף את האופרציות הרשתיות של יצירת התמונות החישובית, מאבני היסוד של ראיית מכונה, ואת האידאולוגיות וההעדפות הזורמות בעורקיה".⁵⁰

מנקודת המבט של תולדות האמנות אפשר לבחון את התמונות של DeepDream בזיקה למסורת ארוכת שנים של "תמונות שחבויות בתוך תמונות", כגון דמויות בעננים.⁵¹ בשנים שלאחר מכן תרמו תמונות ה־DeepDream, הודות לדמיון צורני שטחי למדי למסורות של דימויים סוריאליסטיים ופסיכדליים, לנטייה הרווחת לראות בתמונות שאלגוריתמים של למידה עמוקה מחוללים מעין "חלום" או "הזיה" של ה"מכונה" שחושפים, אפשר לומר, את "מצבי התודעה המשתנים" של הבינה המלאכותית עצמה. התייחסויות לרעיון זה אפשר למצוא גם בכותרותיהן של יצירות אמנות שונות בתכלית כגון "הזיות שנולדו מתוך יריבוּת" (Adversarially Evolved Hallucinations, 2017) של פגלן ו"ללא הנחיה: הזיות מכונה" (Unsupervised: Machine Hallucinations, 2021) ו"חלומות רנסנס" (Renaissance Dreams, 2021) של רפיק אָנָדוֹל.⁵²

אולם הרעיון בדבר "הזיית מכונה" אינו מתמצה בעולמן של יצירות אמנות שמשתמשות בדימויים שחוללה בינה מלאכותית. אף שמדובר במטפורה מובהקת, הזיה היא גם מונח טכני בשפת הלמידה העמוקה. הזיה (או הלוצינציה) היא מצב שבו אלגוריתם של למידה עמוקה מספק בביטחון גמור תשובה שאין לה הצדקה בנתוני האימון שלו. רשת עצבית מתקפלת שאומנה לזהות חתולים בתמונות ואז מזהה בטעות כלב כחתול היא אלגוריתם ש"הוזה". צ'אטבוט שנותן תשובות שמכילות עובדות מומצאות או מקורות מומצאים – גם הוא "הוזה". כפי שקורה במקרים רבים אחרים, תהליכים מתמטיים מורכבים ולא אינטואיטיביים שקשורים לאלגוריתמים של למידה עמוקה מתוארים באמצעות מונחים מטפוריים ואנתרופומורפיים שהופכים אותם בדרך כלשהי לניתנים לתפיסה ובכך משפיעים על קבלתן התרבותית והפוליטית של טכנולוגיות שחודרות יותר ויותר לחיינו ומתויגות כ"בינה מלאכותית".

אלגוריתמים של למידה עמוקה מסוג שני שהתחילו להשתמש בהם באמצע העשור השני של המאה העשרים ואחת כדי לחולל ולשנות דימויים, ולא כדי לסווג אותם, הם הרשתות היריבניות הגנרטיביות (GAN). המבנה שלהן, שהוצג לראשונה ב־2014, מורכב משתי רשתות עצביות רב־שכבתיות – המכוּנוֹת "מחולל" ("Generator") ו"מבחין" ("Discriminator") – שמתחרות זו בזו ב"משחק סכום אפס", שבו הרווח של רשת אחת הוא ההפסד של האחרת וסכום הרווחים וההפסדים הוא תמיד אפס.⁵³

המשחק מתנהל כך: לאחר שה"מבחין" (שהוא רשת עצבית מתקפלת) אומן לסווג את הדימויים של ערכת אימון ראשונית נתונה, ה"מחולל" (הלוא הוא הרשת השנייה) מתחיל ליצור דימויים, והוא מגיש אותם למבחין. המבחין מסווג את הדימויים החדשים על בסיס מה שלמד מעֶרכת האימון ונותן לכל דימוי שהוגש לו מענה מספרי שנע בין 0 (שפירושו "לא", כלומר הדימוי שיצר המחולל אינו שייך לערכת האימון הראשונית – הוא "כוזב", "false") ל־1 (שפירושו "כן", הדימוי שייך לערכת האימון – הוא "אמיתי", "true"). ככל שהמענה המספרי קרוב יותר ל־1, הדימויים שיצר המחולל דומים יותר לאלה שבערכת האימון; ככל שהמענה המספרי קרוב יותר ל־0, הם דומים פחות; ובין 1 ל־0 קיימות דרגות שונות של אי־ודאות.

בתחילת התהליך ניתן למחולל מרחב לטנטי, שדימויים שובצו בו על בסיס סדרה של פרמטרים. אם למשל הדימויים הם תצלומים של ציפורים, השיבוץ עשוי להתבסס על פרמטרים שמתייחסים לצורות השונות שיכולות להיות לציפורים בתנוחות שונות, לצבעיהן השונים וכן הלאה. מתוך המרחב הלטנטי הראשוני הזה, המחולל פותח ביצירת דימויים שנראים כמו רעש אקראי – כלומר תצורות אקראיות של פיקסלים. אחר כך, על בסיס התשובות המתקבלות מן המבחין, המחולל לומד כיצד לכוונן את הפרמטרים שלו עצמו כדי לחולל מתוך המרחב הלטנטי דימויים חדשים שנראים יותר ויותר כמו תמונות של ציפורים.

החילופים הללו מתרחשים בתהליך שדומה לתחרות ממשית בין "יריבים". המבחין מנצח במשחק אם הוא נעשה מסוגל לקבוע נכונה אם הדימויים שיצר המחולל זהים לדימויים שבערכת האימון הראשונית או לא. המחולל מנצח אם הוא נעשה מסוגל לחולל דימויים ש"מוליכים שולל" את המבחין וגורמים לו לסווג סיווגים שגויים.

תהליך הלמידה של רשתות יריבניות הוא אפוא אינטראקטיבי ויחסי, ובמידה מסוימת אפילו "חברתי", כי הוא מערב שני "סוכנים" או "גורמים פעילים" (שני אלגוריתמים) שנמצאים בתחרות זה עם זה ומגיבים זה על פעולותיו של זה.⁵⁴ תפקודן מבוסס על מבנה כפול ותחרותי, ומהירות הלמידה תלויה במספר החילופים בין המחולל למבחין. בבסיסן נמצא תהליך של אינדוקצייה סטטיסטית, שבאמצעותו המחולל לומד לייצר דימויים שדפוסי הפיקסלים שלהם דומים יותר ויותר לדפוסי הפיסקלים בערכת האימון. אולם הדימויים החדשים הללו אינם "חיקויים" או "העתקים" של "מקור" בשום מובן מסורתי של המילה, שכן למחולל אין גישה ישירה לדימויים שבערכת האימון: הוא מקבל רק את תשובות המבחין, המנוסחות כ"כן" או "לא" במונחים מספריים ועם ערכים שונים של אחוזים.

בתהליך האימון של רשת יריבנית, האלגוריתם מכוונן את הפרמטרים שלו עצמו כדי לחולל מתוך המרחב הלטנטי סוגים שונים של דימויים. מרחב לטנטי שמשמש ליצירת דימויים הוא מרחב רב־ממדי, שכל נקודה בו – על שלל הקואורדינטות שלה המתוארות באמצעות וקטור – יכולה לקבל המחשה חזותית בדימוי. הדימויים התואמים את כל הנקודות בתוך המרחב הלטנטי מרכיבים בכללותם את כל ההמחשות החזותיות האפשריות של אותו מרחב. אפשר לראות בכל הדימויים הללו מעין קרטוגרפיה שלמה או אטלס של המרחב הלטנטי – המפה המלאה של כל הדימויים שרשת יריבנית מסוימת שאומנה דרך אינטראקציות עם מבחין ספציפי מסוגלת לחולל.⁵⁵

התוכן והתכונות הצורניות של דימוי שחוללה רשת יריבנית תלויים במיקומה – בתוך המרחב הלטנטי – של הנקודה שהדימוי ממחיש. נקודות שקרובות זו לזו במרחב הלטנטי מחוללות דימויים שדומים זה לזה; נקודות שמרוחקות זו מזו מחוללות דימויים שונים.

לעומת זאת, ההמחשה החזותית של הקשרים בין נקודות (קשר כזה מכונה גם "בִּיּוּן" או "אִינְטֶרְפּוֹלַצְיָה") נעשית באמצעות תמונות נעות. מה שנראה במקרה כזה הוא מסלול (trajectory) בתוך המרחב הלטנטי: שינוי צורה (מוֹרפִינג) הדרגתי מן הדימוי התואם את נקודת המוצא של המסלול אל הדימוי התואם את הנקודה שבה הוא מסתיים. אם המסלול מחבר בין נקודות שקרובות זו לזו במרחב הלטנטי, התמונות הנעות ייראו כשינוי צורה עדין והדרגתי. אם לעומת זאת המסלול מחבר בין נקודות מרוחקות, המעברים יהיו מהירים ופתאומיים יותר.

לתמונות נעות שנוצרו בידי רשתות יריבניות יש מאפיינים ייחודיים משלהן, ועם זאת מפתה לנתח אותן באמצעות מושגים שנגזרים מתאוריות של מדיה חזותית שמבוססת על ממד הזמן כגון הקולנוע והווידאו. המושג מונטאז' למשל – על ההיסטוריה המורכבת שלו, על ביטוייו השונים ועל הרעיונות בדבר "המשכיות", "אי־המשכיות", "קונפליקט", "מתח", "מרחק" ו"אינטרוול" האצורים בו – עשוי לשמש לניתוח של תמונות נעות שממחישות אינטרפולציות בתוך המרחב הלטנטי. מעברים חלקים בין דימויים שממחישים נקודות שקרובות זו לזו במרחב הלטנטי עשויים להיחשב לצורה של מונטאז' שמדגישה המשכיות, ואילו מעברים פתאומיים שמחברים בין נקודות שמרוחקות זו מזו במרחב הלטנטי מציגים צורות של אי‌־המשכיות, של קונפליקט ושל מתח בין הדימויים.

זה כמה שנים משתמשים ברשתות יריבניות גנרטיביות הן כדי לשנות דימויים קיימים באמצעות סדרה של פעולות הן כדי לחולל דימויים חדשים לחלוטין.

השימוש ברשתות יריבניות כדי לשנות דימויים קיימים כולל סוגים שונים של מה שמכונה "תרגום דימוי לדימוי": תרגום של תצלומי לוויין למפות גוגל, של תצלומים מיום ללילה, של תצלומי שחור־לבן לצבע וכן הלאה. חלק מן התרגומים הללו יוצרים את הרושם שהם מעבירים דימוי ממדיום אחד למשנהו (למשל מרישום לציור או לתצלום), בעוד אחרים יוצרים את הרושם שהם מעבירים דימוי מסגנון אחד (של אמן או אמנית מסוימים, של תנועה אמנותית או של תקופה היסטורית) לסגנון אחר באמצעות פעולה שמכונה "העברת סגנון" ("style transfer"). יישומים אחרים של רשתות יריבניות כוללים: שינוי תצלומי פָּנים כדי להראות כיצד מראהו של אדם עשוי להשתנות עם הגיל; הנפשה של תמונות סטילס (למשל תצלום של אדם שהלך לעולמו); החלפת פנים בזמן אמת (הלבשת פנים של אדם אחד על גוף של אדם אחר) והזזת פנים (לזיוף הבעות הפנים) כפי שנעשה בסרטוני "דיפ־פייק"; תיקון תמונה נתונה בתהליך של "השלמה פְּנים־תמונתית" ("inpainting") שמשלים או ממלא חלקים פגומים, בלויים או חסרים; שיבוץ דימויים בתוך דימויים אחרים, ולחלופין העלמת דמות או אובייקט מדימוי בלי להותיר עקבות גלויים; הרחבת תמונה מעבר למסגרת המקורית שלה בתהליך שמכונה "השלמה חוץ־תמונתית" ("outpainting"); בחירת פריים מתוך סרטון וחיזוי הפריים הבא; ושדרוג של כל סרטון נתון באמצעות הגדלת קצב הפריימים והרזולוציה שלו עד ל"רזולוציית־על", כביכול.⁵⁶

דוגמה מובהקת ליישום האחרון שהולכת ומתפשטת היום ברחבי האינטרנט ועשויה בסופו של דבר לשנות עד מאוד את חוויית הצפייה שלנו במסמכים חזותיים מן העבר היא הגרסאות המשודרגות לסרטיהם של האחים לומייר, כגון "רכבת נכנסת לתחנה" (L'arrivée d'un train en gare de La Ciotat, 1896), שבהן הסרט מועבר מקצב מקורי של שישה־עשר פריימים בשנייה לקצב גבוה של שישים פריימים בשנייה, מן הפורמט 1.33:1 המקורי לפורמט 16:9 העכשווי (באמצעות חיתוך) ומן הסרט האנלוגי 35 מ"מ המגורען המקורי לרזולוציה הדיגיטלית 4K.

בכל פעולות הדימוי הללו הנעשות בידי רשתות יריבניות – תרגום, מידול, הצערה, הזקנה, הנפשה, סימולציה, העברה, השלמה פנים־תמונתית, השלמה חוץ־תמונתית, חיזוי ושדרוג – הדימויים החדשים הנוצרים הם "תמונות מתוך תמונות": תמונות שנובעות מעיבוד הכמויות הרבות של תמונות הכלולות בערכות האימון. בשדרוג הגרסה הדיגיטלית של סרט של האחים לומייר למשל הרשתות היריבניות מוסיפות לדימויים הראשוניים סדרה של פיקסלים שנובעים – דרך שכבות רבות של תיווך אלגוריתמי – מדימויים רבים אחרים של רכבות אחרות שנכנסות לתחנות אחרות. הסרט החדש והמשודרג של לומייר יורש וסופג לתוכו במידת מה את כל הדימויים הללו, ודבר זה משנה מן היסוד את מעמדו בממד הזמן. הווידאו המשודרג, הנראה כאילו צולם לא במצלמת לומייר אלא במצלמה דיגיטלית חדישה בהרבה, הוא אובייקט של זמן כלאיים שמשובצים בו פיקסלים שהם עקבותיהן החזותיות של שכבות זמן שונות.

השימוש ברשתות יריבניות כדי לחולל דימויים חדשים, להבדיל מן השימוש בהם כדי לשנות דימויים קיימים, השתנה במהירות במרוצת השנים. בתחילה גויסו רשתות יריבניות ליצירת דימויים שדומים (אך אינם זהים) לדימויים שבמערך נתונים נתון. במאמר מ־2014 השתמשו איאן גוּדפֵלוֹ ועמיתיו ברשתות יריבניות כדי לחולל סְפָרוֹת בכתב יד, פנים חדשות ואובייקטים חדשים שהיו דומים לַסְּפָרוֹת בכתב יד שבמערך הנתונים MNIST, לפנים שבמערך נתוני הפנים של טורונטו ולאובייקטים הקטנים שבמערך הנתונים CIFAR-10, בהתאמה. השאיפה הייתה להגדיל את כמות התמונות שאפשר להשתמש בהן לצורך אימון של מערכות לזיהוי תמונה.

אך זמן קצר לאחר מכן החלו להשתמש ברשתות יריבניות כדי לחולל דימויים שלא היו בהכרח דומים מאוד לדימויים שבמערך הנתונים ששימש לְאימון המבחין. במקרים אלה היו הדימויים שחוללו הרשתות היריבניות עשויים להיות "פוטו־ריאליסטיים" מאוד, היברידיים או מופשטים לחלוטין – הדבר היה תלוי בהרכבן של ערכות האימון, בסוג של תרגום הדימוי שננקט ובנקודות במרחב הלטנטי שזכו להמחשה חזותית. פרויקטים כגון "האדם הזה אינו קיים" (This Person Does Not Exist, Philip Wang, 2019) או "דופלגאנגר" (DoppelGANger.agency, Mitra Azar, 2019) משכו תשומת לב רבה כשהושקו, שכן הם הבליטו את יכולתן של גרסאות חדשות של רשתות יריבניות גנרטיביות (כגון StyleGAN ו־StyleGAN2 שהוצגו בתקשורת כ"בינה מלאכותית", כמו גם DeepDream) לחולל דימויים פוטו־ריאליסטיים ביותר של פני אנשים שאינם קיימים.⁵⁷ טבעם הפוטו־ריאליסטי של דימויים אלה – שמהר מאוד החלו לשמש בפרסום וליצירת פרופילים מזויפים ברשתות החברתיות – עורר שאלות על האופן שבו עלינו להבין את השפעת הדימויים שחוללה בינה מלאכותית על עצם המושג "צילום" ועל סדרה של מושגים שנהוג לקשר אליו כגון "אינדקס" ו"רפרנט".⁵⁸ מה בדיוק מייצגות התמונות הריאליסטיות ביותר האלה של אנשים שאינם קיימים? האם יש להן רפרנט? ואם כן, היכן הוא ממוקם? כיצד עלינו להסביר את הצורה הייחודית של הפוטו־ריאליזם שלהן?

כדי שנוכל להשיב על שאלות אלה עלינו לזכור שרשתות יריבניות מחוללות דימויים מתוך מרחב לטנטי שהן למדו לחקור באמצעות אינטראקציות עם מבחין שאומן בעזרת מערך נתונים ספציפי. במקרה של הדימויים באתר "האדם הזה אינו קיים", מערך הנתונים הורכב מתצלומים אמיתיים של אנשים אמיתיים, ופירושו של דבר הוא שה"פוטו־ריאליזם" של התמונות שחוללה הרשת מבוסס על שכבות שונות של רפרנציאליות (או הוראה).

ראשית, ה"דיוקנאות" הצילומיים הללו של אנשים שאינם קיימים מורים – דרך שכבות מרובות של תיווך אלגוריתמי – על תצלומים של פנים אמיתיות שהיו חלק מערכת האימון; ותצלומים אלה מורים בתורם על הפנים הממשיות של האנשים הממשיים שצולמו. שנית, ה"דיוקנאות" הללו מורים על קטגוריות ששימשו לתיוגם בתוך מערכי נתונים דוגמת ImageNet. לבסוף, כפי שקורה בכל הדימויים שנוצרו בידי רשתות יריבניות, הם מורים גם על הנקודות הספציפיות בתוך המרחב הלטנטי שהרשתות למדו לחקור בזמן האימון שלהן ושהם מעניקים להן המחשה חזותית. סוגים שונים של "רפרנטים" או "מושאי הוראה" נוכחים אפוא בכל אחת מן השכבות הללו.

את היחסים בין המושג "צילום" ובין הדימויים שנוצרו בידי רשתות יריבניות אפשר לנתח גם מנקודת מבט אחרת. האמן והמתכנת מריו קלינגמן מציע שנתייחס לדימויים הללו כאל צורה של "צילום־עצבי ללא מצלמה", כלומר כאל תצלומים או אפילו "תצלומי חטף" שממסגרים אזורים שונים של המרחב הלטנטי, "מצלמים" אותם ומציגים אותם לעין.⁵⁹ אָנָדוֹל מציג רעיון דומה: בהערה על עבודתו עם רשתות יריבניות גנרטיביות במיצבי וידאו כגון "ללא הנחיה – הזיות מכונה – המוזיאון לאמנות מודרנית" (Unsupervised – Machine Hallucinations – MoMA, 2022), הוא מדבר על הרגעים באימונו של אלגוריתם המכונים "נקודות ביקורת" ("checkpoints"), שבהם נוצרת ההזדמנות "לראות מה המכונה לומדת ולצלם תצלומי חטף".⁶⁰

בשדה האמנות העכשווית, דימויים שנוצרו בידי סוגים שונים של רשתות יריבניות מופיעים בדרכים מעניינות במיוחד בעבודותיהם של אמנים כגון פגלן (Adversarially Evolved Hallucinations, 2017), פייר ויג (UUmwelt, 2018), שטיירל (Power Plants, 2018; This Is the Future, 2019; SocialSim, 2020; Animal Spirits, 2022) וגרגורי שאטונסקי (Second Earth, 2019; I Will Resemble What You Have Been, 2020; Complétion 1.0, 2021). ברוב המקרים, האמנים האלה בוחרים להשתמש ברשתות הללו לא כדי לחולל דימויים פוטו־ריאליסטיים אלא כדי להציג המחשה חזותית של אזורים במרחב הלטנטי שבהם הדימויים נראים מטושטשים, היברידיים ועם תוצרי לוואי דיגיטליים שונים, כמו כדי להדגיש הן את האחרות הרדיקלית של הדימויים – התחושה שאנו צופים במשהו שמעולם לא ראינו קודם – הן את העקבות העמומות והמטמורפיות של דימויים שאפשר אולי לזהות בחלקם.⁶¹

אך האסטרטגיות שהשימוש האמנותי בדימויים הללו נשען עליהן שונות מאוד זו מזו. למשל הדימויים של פגלן מן העבודה "הזיות שנולדו מתוך יריבות" נוצרו בתהליך שמטרתו הייתה, לדברי האמן עצמו, להפוך לשקוף יותר את פוטנציאל יצירת הדימויים של האלגוריתמים של הלמידה העמוקה. כדי ליצור את הדימויים בעבודה זו החל פגלן בגיבוש ערכות אימון מיוחדות שמבוססות על תמות שמקורן בספרות, בפילוסופיה, בפסיכולוגיה, בתבונה העממית ובהיסטוריה ושקיבלו כותרות כגון "פשר החלומות" ("The Interpretations of Dreams", אוסף של תמונות שמציגות סמלים מן הפסיכואנליזה הפרוידיאנית), "אותות ומופתים" ("Omens and Portents", תמונות של כוכבי שביט, ליקויי מאורות ואירועי טבע אחרים שנחשבו בעבר לעל־טבעיים), "טורפים אמריקניים" ("American Predators", תמונות של חיות טרף, צמחים טורפים ובני אדם "טורפים" מארצות הברית ושל חומרה צבאית כגון כטב"מים ומפציצים חמקנים), או "מפלצות הקפיטליזם" ("Monsters of Capitalism", תמונות של יצורים מפלצתיים, כגון ערפדים, שנקשרו בשלב כלשהו לקפיטליזם). לאחר שערכות האימון גובשו (באמצעות איסוף תמונות ממערך הנתונים ImageNet), הן הוזנו אל המבחין שלמד כיצד לזהות ולסווג תמונות ששייכות לקטגוריות אלה. המחולל החל, בתורו, ליצור מתוך רעש אקראי דימויים שהיו קרובים יותר ויותר לאלו שבערכת האימון במטרה להצליח בסופו של דבר להוליך שולל את המבחין. באמצעות התערבות בתהליך זה ועצירת האימון ב"נקודות ביקורת" ספציפיות בחר פגלן אילו דימויים לחלץ מתוך אלה שהרשת היריבנית הצליחה לחולל. התוצאה של בחירה זו היא דימויים כגון The Great Hall (Corpus: The Interpretation of Dreams) שממחישים אזורים שונים במרחב הלטנטי המחשה חזותית.⁶²

תמונות היברידיות שנוצרו בידי רשתות יריבניות ממלאות תפקיד מרכזי גם בעבודתו של שאטונסקי, שמתאר אותן כתוצר של "דמיון מלאכותי" (ולא "בינה מלאכותית") שמעבד את הכמויות העצומות, המופרזות, של דימויים שבני אדם הותירו באינטרנט ואז משחרר שטף בלתי נדלה של דימויים אחרים מתוך המרחב הלטנטי. לדידו של שאטונסקי זהו מרחב בעל "אונטולוגיה שטוחה", שהתפוגגו בו המחיצות האונטולוגיות המסורתיות שהִבנו בעבר את העולם הנראה כפי שבני אדם רואים אותו. התמונות הממחישות אותו המחשה חזותית הן לפיכך מקטעים של עולם נזיל, מטמורפי וחסר הבדלות, שהצופה פוגש בו ישויות היברידיות שמשמרות רק זכר עמום לאובייקטים מוכרים.

העבודה "כדור הארץ השני" (Second Earth, 2019) מציגה את התמונות הללו כתוצר של מכונות ששורדות בנוף שומם, מינרלי לחלוטין, לאחר היכחדות המין האנושי. אחרי שנטלו ועיבדו את כל התמונות שבני אדם הותירו בשרתים ובמרכזי נתונים, אלגוריתמים של למידה עמוקה מתחילים ליצור תמונות אחרות, שהן "הזיותיה של מכונה חסרת דעת, אנדרטה לזכר המין האנושי שעבר מן העולם".⁶³ בין התמונות הללו הנובעות מן המרחב הלטנטי אפשר למצוא מקטעים של בדיונות, של עתידים אפשריים ושל עבר שלא היה ולא נברא.

העבודה "השלמה 1.0" (Complétion 1.0), לעומת זאת, מתמקדת ב"ריאליזם" הפוסט־צילומי יוצא הדופן של התמונות שרשתות יריבניות מחוללות ובהבדל בינו ובין מושג ה"ריאליזם" ששורשיו נעוצים בטבעם האינדקסיקלי של תצלומים אנלוגיים, הנתפסים כמו עקבה או חותם. שאטונסקי מכנה את סוג הריאליזם החדש הזה בשם "דיס־ריאליזם אינדוקטיבי": תכונתן של תמונות שטבען האינדקסיקלי אינו נעוץ במגע חומרי בין אור ובין משטח רגיש לאור אלא בהוראה שלהן על מרחב לטנטי שרשתות יריבניות חוקרות באמצעות צורה מסוימת של למידה אינדוקטיבית.⁶⁴

שאלת טבען הריאליסטי והתיעודי של התמונות שרשתות יריבניות מחוללות עולה גם בעבודתה של שטיירל "זהו העתיד" (This Is the Future, 2019), מיצב וידאו שנולד כהרחבה של התערוכה "צמחי כוח" (או "תחנות כוח", Power Plants) שהוצגה בגלריית סרפנטיין בלונדון ב־2018. מה שעורר את העניין של שטיירל בשימוש בדימויים של רשתות יריבניות היה במקרה זה טבעם המנבא של אלגוריתמים של למידה עמוקה: העובדה שהם חלק מספקטרום רחב של מערכות ניבוי שפועלות בחברות עכשוויות ומציגות צורות שונות של ממשליות אלגוריתמית.

עבודת הווידאו המרכזית המוצגת במיצב של שטיירל, שכותרתה היא "זהו העתיד: ניבוי מדויק ב־100%" (This is the Future: A 100% Accurate Prediction), מורכבת ברובה מתמונות שנוצרו באמצעות אלגוריתם לניבוי הפריים הבא – רשת עצבית שמאומנת לנבא על סמך פריים בודד מתוך וידאו מה יהיה הפריים שיבוא אחריו.⁶⁵ ב"זהו העתיד" הרשת מוצגת כישות חיה שיש לה קול ויכולת ראייה (סינתטיים) משלה – "אני רשת עצבית. זה מה שאני רואה" – והתמונות המתעדות את מה שהיא רואה מוצגות כאילו הן ממוקמות "0.04 שניות לתוך העתיד". הן מסוגלות הן לנבא הן לתעד את העתיד, פרדוקסלי ככל שהדבר עשוי להישמע, כי כפי שהקול הסינתטי אומר, הן "מסתננות אל העתיד מבעד לסדקים שבין השניות".⁶⁶

בכל העבודות הללו, התמונות שסוגים שונים של רשתות יריבניות מחוללות אינן תוצר של תהליכים אלגוריתמיים אוטונומיים לחלוטין. נכון יותר לומר שהן תמיד תוצאה של סדרה מורכבת של אינטראקציות בין האמנים, המתכנתים שלעיתים משתפים עימם פעולה, האלגוריתמים (על גרסאותיהם, אפשרויותיהם ומגבלותיהם השונות), התמונות הכלולות בערכת האימון והתמונות שנוצרו מתוך המרחב הלטנטי. חקירת המרחב הלטנטי והנקודות והמסלולים שבתוכו היא רגע מכריע בתהליך האמנותי, עד כדי כך שבכתוביות הסיום של עבודת הווידאו "רוחות חיה" (Animal Spirits, 2022), שטיירל מונה בין הפעולות הרבות שהיו באחריותה גם "ארכיטקטורה של המרחב הלטנטי וסלילת נתיבים בתוכו". מה שאנו רואים אפוא בתהליך ההפקה הוא סדרה אינדוקטיבית של ניסוי וטעייה שנפרשת מבעד לשזירה המתמדת של כוונות אנושיות ושל אפשרויות טכניות. ה"מחברוּת" ("authorship") של התמונות הללו שנולדו מרשתות יריבניות היא לפיכך מבוזרת מיסודה ופרושה על פני שכבות של פעולות ואופרציות. הדבר נכון גם לדור העדכני ביותר של אלגוריתמים של למידה עמוקה שעוסקים בתמונות: מודלים של טקסט־לתמונה (text-to-image) ותמונה־לטקסט (image-to-text).

התופעה השלישית שהוזכרה בפתח המאמר – התפוצה הרחבה של אלגוריתמים של למידה עמוקה שמסוגלים לחולל תמונות מתוך טקסטים או לחולל טקסטים מתוך תמונות – היא חדשה ביותר. שורשיהם של מודלים של תמונה־לטקסט נעוצים בטכנולוגיות של ראייה ממוחשבת שמסוגלות לנתח תמונות, לתייג אותן ולסווגן, אולם בשנים האחרונות הם נעשו מורכבים יותר הודות לשילובם עם מוֹדֶלֵי שפה גדולים שאומנו באמצעות מערכי נתונים טקסטואליים עצומים ושמשמשים למשימות של עיבוד שפה טבעית כגון יצירת טקסט ותרגום. מודלים של טקסט־לתמונה נבחנו לראשונה באמצע העשור הקודם (בתוכנות כגון alignDRAW) ואז התפתחו במהירות בשנים הבאות, בעיקר באמצעות סוגים שונים של רשתות יריבניות, אבל נעשו פופולריים רק ב־2022 עם הצגתם של מודלים של "דיפוזיה" (diffusion) כגון DALL-E 2, סטייבל דיפיוז'ן (Stable Diffusion) ומידג'רני (Midjourney).⁶⁷

מודלים של תמונה־לטקסט פועלים בדרך כלל בשני שלבים: ניתוח תמונה ויצירת טקסט. ראשית, רשת עצבית מתקפלת מנתחת את התמונה כדי לזהות את האובייקטים, הפעולות והיחסים המרחביים שהיא מייצגת, לתייג אותם ולסווגם. לאחר מכן, רשת עצבית עמוקה אחרת מחברת בין הפלט הראשוני הזה ובין מבנה לשוני. למשל מודלים כגון DenseCap מנתחים תמונה ומחוללים לה מייד כיתוב, CLIP מחולל תיאורים, ומודלים אחרים כגון Neural Storyteller מסוגלים לחולל סיפורים קצרים. GPT-4 עושה עוד צעד קדימה: מרגע שנוצר תיאור של תמונה באמצעות מודל תמונה־לטקסט כגון CLIP, התיאור מוזן לתוך GPT-4, והוא בתורו עונה על שאלות שנשאלות על התמונה (שאלות כגון: מה תהיה ההשלכה של עריכת שינוי כזה וכזה בתמונה? מהי המשמעות של מם מסוים? למה התמונה הזאת מצחיקה?) או מבצע משימות על בסיסה (למשל: יצירת אתר אינטרנט מתוך רישום פשוט).

מודלים של טקסט־לתמונה פועלים אף הם בשני שלבים: קידוד טקסט ויצירת תמונה. מודל "טרנספורמר" (transformer) כמו אלה שמשמשים לעיבוד ולתרגום של שפה טבעית משמש להפיכת טקסט הקלט לייצוג לטנטי: סדרה של וקטורים מספריים שמתקשרים למילים הבדידות וליחסים ביניהן בתוך המשפט. אחר כך מודל דיפוזיה מחולל תמונה מתוך אותו ייצוג לטנטי.

כדי להבין טוב יותר כיצד הם פועלים, אפשר לבחון את הדוגמה של סטייבל דיפיוז'ן, יישום שפרסם ברבים – שלא כמו DALL-E 2 ומידג'רני – את הקוד ואת משקלות המודל שלו.⁶⁸ מודל הדיפוזיה פועל בשני שלבים: דיפוזיה קדימה (forward diffusion) ודיפוזיה הפוכה (reverse diffusion). השלב הראשון, דיפוזיה קדימה, הופך את התמונות מתוך ערכת הנתונים ששימשה לאימון ל"תמונות רעש" חסרות הבחנות (כלומר פיקסלים אקראיים שפזורים בתוך מרחב התמונה דמוי הגריד). הוא עושה זאת באמצעות הוספת רמות גדלות והולכות של "רעש" לכל תמונה (כגון תמונה של חתול). המונח "דיפוזיה" מתייחס במקרה זה למושג הפיזיקלי "פעפוע": תנועת חלקיקים מאזור בעל ריכוז גבוה לאזור בעל ריכוז נמוך עד לקבלת שיווי משקל.

השלב השני במודל הדיפוזיה מכונה דיפוזיה הפוכה. בשלב הזה, המתחיל ב"תמונות הרעש", המודל לומד איך לשחזר את התמונות הראשוניות בערכת האימון. הוא עושה זאת באמצעות "מנבא רעש" ("noise predictor") שלומד לנבא כמה רעש נוסף לתמונות הראשוניות. הדבר מאפשר למודל להחסיר מכל "תמונת רעש" נתונה את שכבות הרעש שנוספו, עד שהוא מוצא את התמונה הראשונית (למשל, שוב, תמונת החתול).

תהליך כפול זה של דיפוזיה קדימה ודיפוזיה הפוכה היה איטי ביותר ודורש כוח מחשוב גבוה מאוד – כזה שאינו נגיש למרבית המשתמשים הפרטיים – אלמלא היו התמונות של ערכת האימון נדחסות בדרך כלשהי. הגרסה הראשונה של סטייבל דיפיוז'ן אומנה באמצעות תמונות ברזולוציה של 512 על 512 פיקסלים, כלומר בהינתן שלכל פיקסל יש שלושה ערוצי צבע (אדום, ירוק וכחול), "מרחב התמונה" של תמונה בגודל 512 על 512 הוא מרחב בעל 786,432 ממדים.⁶⁹ במקום לפעול במרחב תמונה כה רב־ממדי, סטייבל דיפיוז'ן פועל כ"מודל דיפוזיה לטנטי". כלומר הן תהליך הדיפוזיה קדימה הן תהליך הדיפוזיה ההפוכה מתנהלים במרחב לטנטי דחוס ובעל ממדים מועטים יותר, במקום שיתנהלו במרחב התמונה הראשוני.⁷⁰

סטייבל דיפיוז'ן משתמש בשלב נוסף שנקרא "התניה": מטרתו היא לכוון את מנבא הרעש כך שברגע ששכבות הרעש יוחסרו, האלגוריתם יוכל להפיק תמונה שנתפסת כאילו היא "מיושרת" – כלומר עולה בקנה אחד – עם ההנחיות המילוליות ששימשו ליצירתה. ההנחיות המילוליות – ה"פרומפטים" – עוברות תחילה "טוֹקֶניזציה" (tokenization). בתהליך זה כל מילה בפרומפט (כגון "photo of a cat") מקושרת באמצעות מודל למידה עמוקה שנקרא "CLIP tokenizer" למספר ייחודי שנקרא "טוֹקֶן" (למשל אפשר שהמילה "photo" תקושר למספר 50, המילה "of" תקושר למספר 24, התווית לשם עצם לא מיודע "a" תקושר למספר 59 והמילה "cat" תקושר למספר 239). אחר כך כל טוקן "משובץ" – כלומר הוא מומר בווקטור בעל 768 ערכים (מחרוזת מספרים שמציינת קואורדינטות במרחב בעל 768 ממדים) שמכיל את הפרמטרים המאפשרים לו למקם מילה נתונה ביחס למילים אחרות בשפה נתונה (למשל אנגלית), כפי שקורה גם באלגוריתמים לעיבוד שפה כגון GPT-4,‏ ChatGPT,‏ Google Translate ו־DeepL. השיבוצים מעובדים אחר כך בידי "טרנספורמר טקסט" ולבסוף מוזנים אל מנבא הרעש, המתחיל להחסיר שכבות של רעש עד שהוא מגיע לתמונה ש"מתיישרת" באופן כלשהו עם הפרומפט.

התוצאה של התהליך המורכב זה – הכולל דיפוזיה קדימה ודיפוזיה הפוכה, קידוד טקסט ויצירת תמונות – היא שמודלים כגון DALL-E 2, סטייבל דיפיוז'ן ומידג'רני מקבלים קלט בדמות תיאורים בשפה טבעית או "פרומפטים" ואז מפיקים פלט בדמות סדרה של תמונות סטילס שמתוכנתות להיות שונות בכל פעם, גם אם חוזרים על אותם פרומפטים בדיוק; בכך הם מחזקים את הרושם שלאלגוריתמים הללו יש כושר גנרטיבי אין־סופי. גרסאות מתקדמות יותר של מודלים אלה שנקראות "טקסט־לווידאו" ("text-to-video") מאפשרות לחולל לא רק תמונות סטילס אלא גם תמונות נעות. בעתיד הקרוב יהיה אפשר ליצור סרטי וידאו או קולנוע שלמים אך ורק מתוך הנחיות מילוליות, ובכך להחליף או לתכלל סדרה שלמה של טכניקות אנלוגיות או דיגיטליות של צילום, עריכה ופוסט־פרודקשן.

הפרומפטים עתידים להיות לגורם מפתח בתרבות חזותית שמבוססת יותר ויותר על הפעולה של הזנת מילים וטקסטים לאלגוריתמים של למידה עמוקה כדי לחקור את המרחב הלטנטי שלהם ולגרום לתמונות להגיח מתוכו. הפרומפטים פועלים כמו סוג חדש של ממשק שמבצע – כמעט כמו סדרה של "מעשי דיבור" ("speech acts") – מעבר משפה טבעית לתמונות, והם מורכבים ממילים יחידות או ממשפטים שלמים שמציינים את התוכן הרצוי (כלומר האלמנטים שיש לכלול בתמונה המבוקשת או להשמיט ממנה), הקומפוזיציה, הצבע, התאורה, הסגנון (של אמן או אמנית או של זרם אמנותי) והמדיום (למשל רישום, ציור, אנימציה, צילום, וידאו, לרבות ציון מדוקדק של דגמי מצלמות, עדשות וכולי). במילים אחרות, הפרומפטים ממירים את המדיה החזותית מן העבר באוסף של מונחים שמציינים מצעים חומריים, מכשירים ופעולות (כגון "DVD screengrab" – "צילום מסך מ־DVD") שמשמשים ליצירת תמונות מתוך מרחב לטנטי שהתכונות הצורניות של כל המדיומים הללו קיימות בו כדפוסים חזותיים שזורמים מתמונה לתמונה.

פרומפטים עשויים גם לציין דברים על דרך השלילה: הם יכולים לציין איכויות שנתפסות כשליליות ("מכוער", "גרוע", "מעוות", "פגום"), איכויות שבדרך כלל אינן מבוקשות ("אמנות גרועה", "מצויר רע", "לא בפוקוס", "מחוץ לפריים") או מאפיינים שבדרך כלל אינם רצויים ("איברים נוספים", "רגליים נוספות", "ידיים נוספות"). שפע של מדריכי פרומפטים שזמינים ברשת עוזרים למשתמשים לזקק את השאילתות שלהם ולעקוף במקרים מסוימים את חסרונם של פרומפטים שהוסרו מן הפלטפורמות מטעמי בטיחות כביכול באמצעות צורות שונות של פיקוח על תכנים וצנזור פרומפטים.

זמן קצר לאחר השקתם החלו מודלים של טקסט־לווידאו כגון DALL-E 2, סטייבל דיפיוז'ן ומידג'רני להתפשט ברחבי האינטרנט ולשמש למגוון רחב של יישומים, שבחלקם מתבצעות פעולות שביצעו בעבר רשתות יריבניות כגון השלמה פנים־תמונתית, השלמה חוץ־תמונתית, העברת סגנון והגדלת רזולוציה (upscaling). תמונות שנוצרו במודלים של דיפוזיה החלו להופיע במהירות על כריכות ספרים ומגזינים ובמסעי פרסום ועוררו את התהייה אם מיומנויות שלמות ואף מקצועות שלמים בתחומי האיור, העיצוב הגרפי, הצילום והווידאו – לרבות הצורך להשתמש בדוגמניות ודוגמנים בשר ודם בפרסום בעולם האופנה – עשויים לעבור בקרוב טרנספורמציה רדיקלית או אף להיעלם כליל לטובת טכניקות שמבוססות על פרומפטים.⁷¹

היכולת של מודלים של טקסט־לתמונה לחולל דימויים פוטו־ריאליסטיים שימשה גם ליצירת כל מיני דימויים מזויפים, היפותטיים ובדויים כגון דונלד טראמפ נאבק בשוטרי משטרת ניו יורק שמנסים לעצור אותו, נשיא צרפת עמנואל מקרון רץ בפריז הבוערת בזמן ההפגנות נגד הרפורמה בפנסיות וסרטון שהפיצה הוועדה הרפובליקנית הלאומית באפריל 2023 שכותרתו "Beat Biden" ("להביס/להכות את ביידן"), ובו מוצגות ההשלכות האפוקליפטיות הדמיוניות של כהונה שנייה של הנשיא ג'ו ביידן.⁷² באמצע העשור הקודם החלו נפוצים דימויים רבים מן הסוג המכונה "דיפ־פייק" (deepfake), ועתה הם נוצרים בכמויות רבות באמצעות מודלים של טקסט־לתמונה – מה שמערער עוד יותר את האמון בתמונות ומדגיש את הצורך בצורות חדשות של פורנזיקה חזותית ובדיקת עובדות.

במקרים אחרים נעשה שימוש בתמונות פוטו־ריאליסטיות שנוצרו במודלים של טקסט־לתמונה למטרות שונות בתכלית – "תיעודיות" כביכול. במאי 2023 ספג הארגון "אמנסטי אינטרנשיונל" ביקורת רבה על החלטתו להשתמש בתמונות שנוצרו בבינה מלאכותית כדי להוקיע את אלימות המשטרה בקולומביה ולהצדיק את הבחירה הזאת ברצון להגן על זהות המפגינים.⁷³ בפרויקט שכותרתו "מוצג A-i – דוח הפליטים" ("Exhibit A-i – The Refugee Account") הסתמכה קבוצה של עורכי דין אוסטרלים על שלושים ושניים תצהירים כתובים של ניצולים ממתקני הכליאה של אוסטרליה במאנוס איילנד, בנאורו ובאי חג המולד; נוכח היעדרו של תיעוד בצילום או בווידאו מן המתקנים הללו, הם השתמשו בתצהירים כפרומפטים כדי לחולל באמצעותם תמונות שנועדו – לאחר ששוחחו עליהן עם הניצולים עצמם – "לתעד" כביכול אירועים שלא זכו לתיעוד חזותי.⁷⁴

כפי שהיה במקרים של הרשתות העצביות המתקפלות ושל הרשתות היריבניות הגנרטיביות, אם ברצוננו לעמוד על סוגי התמונות שמודלים של טקסט־לתמונה כגון DALL-E 2, סטייבל דיפיוז'ן ומידג'רני עשויים לחולל, על הערך שעשויים לייחס לתמונות הללו ועל האופרציות שהן עשויות להיכלל בהן, שומה עלינו לעמוד על מקורותיהם של מערכי הנתונים ששימשו לאימונם, על תוכנם, על המבנה שלהם ועל העקרונות המנחים אותם. העיון בערכות האימון חיוני גם כדי להבין איך הם מחברים בין טקסטים לתמונות באמצעות הכנסה של מִתאם אלגוריתמי חדש בין הטקסטואלי לחזותי, שהשפעותיו ברחבי התרבות החזותית העכשווית טרם הובנו במלואן.

כל המודלים של טקסט־לתמונה אומנו על סמך כמויות עצומות של צמדי תמונה וכיתוב. אומנם חברת OpenAI לא פרסמה מידע על אודות מערכי הנתונים ששימשו לאימונו של DALL-E 2, אך ידוע לנו כי סטייבל דיפיוז'ן אומן באמצעות LAION-5B‏ (Large-scale Artificial Intelligence Open Network 5B) שפורסם במרץ 2022 – מערך נתונים פומבי שנגזר מנתוני Common Crawl שנקצרו מרחבי האינטרנט בתהליך חופשי של גירוד נתונים ("סקרֵייפינג").⁷⁵

כדי לאסוף את הנתונים חיפש LAION-5B באתרים שנסרקו את המטא־נתונים (metadata) הקשורים לכל התמונות הדיגיטליות שהועלו לאינטרנט; הוא התמקד במיוחד בתגים מסוג <img> שמשמשים לשיבוץ תמונות בדפי html והתייחס ל"תכונות אלט" ("alt attributes") שלהן – אותם "טקסטים חלופיים" ("alternative texts") המספקים תיאור תמציתי של התמונות ומחליפים אותן כאשר אי אפשר להציגן – כאילו היו כיתוב תמונה.⁷⁶

נכון לזמן כתיבת שורות אלה, LAION-5B מכיל חמישה מיליארד צמדים של טקסט־תמונה שנאספו ברחבי האינטרנט ממנועי חיפוש, מאגרי תמונות, רשתות חברתיות ומגוון אתרים כגון Google Images,‏ Shutterstock,‏ Getty Images,‏ Pinterest,‏ WordPress,‏ Flickr,‏ Twitter,‏ ArtStation,‏ DeviantArt ורבים אחרים. התמונות נלקחו מן האינטרנט ללא אישור, דבר שמעורר את השאלה אם יש להחיל את ההגנה על זכויות יוצרים גם על ההכללה של תמונות במערכי נתונים גדולים נוכח תפקידם המכריע ביצירת תמונות אחרות באמצעות פרומפטים. שורה של אמנים שיצירותיהם התגלגלו ל־LAION-5B וששמותיהם שימשו במקרים רבים כפרומפטים ("בסגנון...") החליטו לתבוע את Stability AI ולהגביר את המודעות לנושא באמצעות יוזמות כגון "?Have I Been Trained" ("האם אומנתי?" או "האם אולפתי?").⁷⁷

נראה שהקריטריונים המשמשים לארגונם ולסינונם של חמישה מיליארד הצמדים של טקסט־תמונה הכלולים ב־LAION-5B מתעדכנים ללא הרף על סמך משוב ממשתמשים וממפתחים. לאחר השקת LAION-5B במרץ 2022 נוספו קריטריונים חדשים. באוגוסט 2022 הוצג "LAION-Aesthetics": תת־מערך של צמדי טקסט־תמונה שמכיל תמונות שיש להן "ציון אסתטי חזוי גבוה" שנקבע באמצעות אימון מודל שמסוגל "לחזות את הדירוג שנתנו אנשים כאשר נשאלו 'באיזו מידה התמונה הזאת מוצאת חן בעיניכם בסולם של 1 עד 10?'".⁷⁸ מאחורי אותם "אנשים" גנריים נמצאים למעשה יחידים שמחוללים ומדרגים תמונות באמצעות מודלים של למידה עמוקה של טקסט־לתמונה בפלטפורמות שונות או מפרסמים תמונות באתרים שמוקדשים לתחרויות צילום; התמונות הללו נאספות אחר כך במערכי נתונים כגון SAC‏ (Simulacra Aesthetic Captions) או AVA‏ (Aesthetic Visual Analysis) שמוסיפים שכבות נוספות של ברִירה ושל עיבוד אלגוריתמי לקריטריונים האסתטיים ה"חזויים" הללו.

שדרוגים אחרים עסקו ביצירת כיתובים טובים יותר לתמונות, בבחירת תמונות ברזולוציה גבוהה יותר, בסילוק תמונות עם "סימני מים" (watermarks), בזיהוי של תוכן בתמונות שנחשב "NSFW" ("not safe for work", כלומר לא מתאים לצפייה במקום העבודה) או במתן אפשרות ליחידים ששמותיהם ותמונותיהם נמצאו ב־LAION-5B להגיש "טופס הסרה" בבקשה להיגרע ממערך הנתונים.⁷⁹

LAION-5B מראה שהתוכן והמאפיינים הצורניים של התמונות שמודלים של טקסט־לתמונה מחוללים הם תוצר של תהליך מורכב, שבו סוגים שונים של קריטריונים טכניים ונורמטיביים, של העדפות אסתטיות שנקבעו באמצעים סטטיסטיים ושל הטיות זורמים מן הפלטפורמות הספציפיות שמהן נלקחו התמונות (והפלטפורמות הללו, רחבות ועל־לאומיות ככל שיהיו, לעולם אינן מְכָלִים ניטרליים) אל ערכות האימון (על שלל המסננים והקריטריונים שלהן) ועד לתמונות שנוצרות באמצעות פרומפטים. שטיירל טוענת שהתמונות שנוצרות מן הפרומפטים יכולות להיחשב "תיצוּגים [רינדוּרים] סטטיסטיים" אשר "מעבירים את המוקד מאינדקסיקליות צילומית להבחנה סטוכסטית", וזאת נוכח חשיבותן של הסטטיסטיקה וההסתברות בכל התהליכים האלגוריתמיים הכרוכים בהפקתן.⁸⁰

קל לנבא שבעתיד הקרוב, כמויות גדולות של תמונות שנוצרו במודלים של דיפוזיה כגון סטייבל דיפיוז'ן, DALL-E 2 ומידג'רני, הועלו לאינטרנט ודורגו בידי משתמשים יתגלגלו למערכי נתונים חדשים שיתרמו – בלולאת משוב מתמשכת – לאימונם של מודלים עתידיים ובכך יקדמו יותר ויותר את תפוצתם של מוטיבים מסוימים ושל סגנונות תמונה מסוימים שקשורים לאלגוריתמים השונים.

עם זאת, ערכת האימון של מודל כגון סטייבל דיפיוז'ן – או של כל מודל אחר של למידה עמוקה – לעולם אינה סופית. משתמשים עשויים לערוך אימון נוסף כדי לשבץ במערך הנתונים תמונות חדשות שלא היו קיימות בו מלכתחילה. עניין זה פותח את האפשרות להשתמש בפרומפטים חדשים וכך להרחיב את טווח התמונות האפשריות שהמודל עשוי לחולל מתוך המרחב הלטנטי.

דוגמה מעניינת לאפשרות זו מופיעה בסדרת התמונות של שאטונסקי "His Story" ("הסיפור שלו") מ־2022. באמצעות מודל שנקרא DreamBooth הוסיף האמן לקטגוריה "person" ("אדם") סדרה של תמונות של עצמו בצירוף הפרומפט "gchatonsky". לאחר מכן הוא השתמש בפרומפט הזה כדי לחולל תמונות של עצמו שהיו לחלק מאוטוביוגרפיה בדויה שבה מופיעה דמות של שאטונסקי – שהיא פוטו־ריאליסטית אך תוצר אלגוריתמי – בהקשרים מרחביים והיסטוריים שונים.

בעבודות אחרות בחר שאטונסקי באסטרטגיות מגוונות כדי לבחון את הפוטנציאל של מודלים של דיפוזיה תוך כדי חקירת אזורים שונים במרחב הלטנטי שלהם. למשל בעבודה "La machine 100 têtes" ("המכוֹנה בעלת מאה הראשים / בלי הראש") מ־2022, למשל, הוא בחן מחדש את ספר הקולאז'ים הראשון של מקס ארנסט "La femme 100 têtes" (האישה בעלת מאה הראשים / בלי הראש" מ־1929) בעזרת DALL-E 2. שאטונסקי השתמש בתרגומים לאנגלית של הכיתובים לקולאז'ים החלומיים וטורדי המנוחה של ארנסט בתור פרומפטים וחולל תמונות חדשות שאינן נובעות מאוטומטיזם נפשי סוריאליסטי אלא מסוג של אוטומציה אלגוריתמית.⁸¹ עבודה אחרת בשם "The Kiss" ("הנשיקה") מ־2022 משתמשת בחלקים מן התסריט לסרטו של אלפרד היצ'קוק "ורטיגו" (Vertigo, 1958) בתור פרומפטים כדי לחולל תמונות סטילס ותמונות נעות שנותנות ביטוי חזותי לגרסאות אפשריות – שיצרה בינה מלאכותית – של הסרט.⁸²

לבסוף, לטובת עבודתו "Counterfeits" ("זיופים") מ־2021 השתמש שאטונסקי הן במודלים של תמונה־לטקסט הן במודלים של טקסט־לתמונה. נקודת המוצא הייתה יצירות אמנות ידועות (כגון "העלמות מאביניון" של פבלו פיקאסו מ־1907), ומהן נולד תיאור קצר שנעשה באמצעות האלגוריתם Neural Storyteller. אחר כך הוזן הטקסט לתוכנה אחרת, Zoetrope, שחוללה תמונה על סמך הטקסט ששימש לה כפרומפט, וכך נפתחה סדרה אין־סופית בפוטנצייה של תרגומים אלגוריתמיים מתמונה לטקסט ושוב לתמונה וחוזר חלילה.⁸³

המודלים של טקסט־לתמונה מעוררים שאלות רבות. משיקולי מקום אוכל להדגיש רק כמה מהן, וגם יש לזכור כי האלגוריתמים החדשים הללו מתפתחים בקצב מהיר. כמו בתמונות שנוצרו ברשתות יריבניות, התמונות שנוצרו במודלים של טקסט־לתמונה אינן תוצר של תהליכים אלגוריתמיים אוטונומיים לחלוטין. ניתוח של המבנה שלהם ושל הקריטריונים הנורמטיביים שלהם, של מערכי הנתונים ששימשו לאימונם ושל האופרציות שננקטו כדי להפעילם, מגלה שהפעלנות האנושית והפעלנות הטכנית נשזרות בהם זו בזו בסדרה של רבדים, אף שחלוקת העבודה ביניהן עשויה להשתנות עם הזמן (למשל תיאורי "תכונות אלט" שכתבו בני אדם עשויים להתחלף בקרוב בצורות של כיתוב אוטומטי).

כל תמונה שנוצרה במודל דיפוזיה של טקסט־לתמונה היא – כמו במקרה של רשתות יריבניות – המחשה חזותית של אחת ה"נקודות" (וקטור) במרחב הלטנטי שיצר המודל בזמן אימונו. אם נחפש את ה"רפרנט" של תמונה שנוצרה באחד המודלים הללו ניתקל ברפרנציאליות מורכבת, רב־שכבתית, שחוצה צורות מגוונות של תיווך, שכוללת הן תמונות הן מילים ושמגיעה עד לתמונות שבני אדם צילמו או יצרו למען בני אדם אחרים ואז העלו לרשת יחד עם המילים שנלוו אליהן המשמשות "טקסט חלופי". בתוך האונטולוגיה השטוחה של המרחב הלטנטי, לכל נקודה אותו מעמד כמו לכל הנקודות האחרות: כל אחת מהן מוגדרת באמצעות וקטור (סדרה של קואורדינטות), שבמודלים של דיפוזיה הוא תוצר השיבוץ של תמונות וטקסטים גם יחד. עם זאת, התמונות שנותנות ביטוי חזותי לכל נקודה עשויות להיות שונות מאוד בתוכנן, במאפייניהן הצורניים, בסגנונן וכן הלאה בשל מיקומו של הווקטור בתוך המרחב הלטנטי הרב־ממדי.

היבט חשוב נוסף של מודלים של דיפוזיה של טקסט־לתמונה הוא שהשפה הטבעית (כלומר האנושית) נעשית המדיום העיקרי ליצירת תמונות: מה שיכול להיראות מקיים מתאם הדוק עם מה שיכול להיאמר, שכן התמונות נוצרות על ידי הנחיות מילוליות. מה שאפשר או אי אפשר לומר, או מה שאפשר או אי אפשר לכתוב בפרומפט, קובע – יחד עם הגורמים הנוספים שנותחו לעיל – מה אפשר או אי אפשר להמחיש המחשה חזותית ולראות. התוכן של "הטקסטים החלופיים" – לצד המגבלות השונות שהנהיגו מודלים כגון DALL-E 2, סטייבל דיפיוז'ן ומידג'רני בשימוש בפרומפטים (כגון "לא מתאים לצפייה במקום העבודה") – יוצרים גבולות שמצרים את טווח התמונות שאפשר לחולל. מצב זה מוליד אזורים חדשים של אי־היראות שממשיכים בדרכים חדשות שטרם נודעו את ההיסטוריה הארוכה של "דימויים אסורים".⁸⁴

התרבות החזותית החדשה שהמודלים הללו של טקסט־לתמונה מקדמים יחד עם הרשתות העצביות המתקפלות והרשתות היריבניות הגנרטיביות היא תרבות חזותית שבה תמונות ומילים קשורות אלה באלה לבלי התר. אלגוריתמים של למידה עמוקה מובילים אותנו עתה – כנגד מסורת שלמה בתולדות האמנות ובתאוריה של הדימוי שניסתה להדגיש את קיומם של תמונות, של ניתוחי תמונה ושל החוויה החזותית בנפרד מטקסטים ומתחומי הידע המתבססים עליהם – לנוף חזותי חדש, שבו תמונות ומילים נעשות יותר ויותר בלתי ניתנות להפרדה.⁸⁵

נוסח עברי: אהד זהבי