AI אקס מכינה

ב־1836 נעמד צעיר אמריקני בשם אדגר אלן פו מול מכונה עתיקה שנוצרה עוד לפני שנולד. היא נראתה כמו ניסוי מוקדם בעתיד: דמות עץ, עטופה בטורבן, ישובה מול לוח שחמט. קראו לה "הטורקי המכני", והיא שיחקה שחמט – וניצחה כמעט את כל יריביה. פו סבר כמו אינטלקטואלים אחרים שבתוך האוטומט יושב אדם, אך הוא לא הותירהּ סברה בעלמא; הוא כתב מאמר ארוך ומנומק בן עשרה עמודים כדי להוכיחהּ:

מאמרו של פו "שחקן השחמט של מלצל" נחשב לאחד מניסיונותיו הראשונים בכתיבה אנליטית שדורשת בנסתר, והוא פועל בו על דרך ההיקש הלוגי השיטתי (המכונה "ratiocination") כדי לחקור ולחשוף את ההונאה שמאחורי האוטומט. פענוח המנגנון המסתורי מחייב את פו לתצפית אובססיבית ולהיסק לוגי, ובמובן הזה הוא פועל כמעט כמו אלגוריתם – אפשר לומר שהוא כותב בטקסט הזה את האלגוריתם הראשון של החשדנות המודרנית.

אוטומט השחמט היה אז כבר ישיש בן 67 שהגיע לביקור באמריקה אחרי שנבנה באירופה ב־1769 בידי ממציא הונגרי בשם וולפגנג פון קמפלן (von Kempelen), ואחרי מותו רכש אותו יוהאן נפומוק מלצל, שעל שמו קרוי מאמרו של פו. הוא הוצג לראשונה בפני הקיסרית מריה תרזה בארמון שנברון שבווינה, ומשם החל את מסעו ברחבי אירופה. במשך כמאה וחמישים שנה עמדו מלכים, הוגים וילדים וניסו מולו את כוחם בשחמט. נפוליאון בונפרטה ובנג'מין פרנקלין התמודדו מולו – והובסו. דורות של צופים בני אצולה, אנשי מדע, סוחרים וילדים צפו במכונה ה"חושבת".

פון קמפלן היה מהנדס, חוקר ואמן מופע. בהשפעת תפיסותיו המכניסטיות של דקרט, ולפיהן בעלי חיים וכלל המערכות הביולוגיות אינן אלא מכונות מורכבות, החלה אירופה לבנות מכונות שחיקו את פעולות האדם, וגם פון קמפלן יצא לממש את החזון הקרטזיאני. לפני שחקן השחמט הטורקי בנה פון קמפלן את מכונת הדיבור הראשונה: כלי נגינה, מעין סינתיסייזר, שמחקה דיבור אנושי (מאה שנה לפני המצאת הפונוגרף). מלצל היה אף הוא איש מופע, ממציא ומהנדס: הוא המציא בין היתר את המטרונום ואת הפן־הרמוניקון, אוטומטון שמסוגל להשמיע את צליליהם של כל כלי התזמורת הצבאית, לרבות קולות תותחים, ושיכנע את בטהובן לכתוב לכבודו יצירה – "ניצחון וולינגטון" (או "סימפוניית הקרב").

כעבור קצת יותר ממאה שנה, ב־1940, פתח כך ולטר בנימין את סדרת התזות המפורסמת שחיבר "על מושג ההיסטוריה":

בנימין כבר לא נזקק לחשד. לא היה צורך לחשוף טריק שכבר נחשף. האוטומט של פו נהפך אצלו לאלגוריה של המודרנה: מכונה שמתעקשת להיראות אובייקטיבית בשעה שבתוכה יושב "גמד תאולוגי". זו כמו זו היא מערכת מחשבה שנראית מכניסטית, אך מניעה אותה אמונה נסתרת.

אפשר לזהות את הלוגיקה של אותו כוח סמוי וקדום שמניע מערכות אובייקטיביות לכאורה גם באחד מחיבוריו המוקדמים והמשפיעים ביותר של בנימין, "לביקורת הכוח" מ־1921.³ בחיבור זה מראה בנימין שגם החוק והסדר הם "אוטומט", ובתוכו מסתתרת תמיד אלימות. בנימין מבחין בין שני סוגים יסודיים של אלימות שלטונית: אלימות "מתוות חוק" ואלימות "משמרת חוק".⁴ כל סדר משפטי שחותר למונופול על הכוח כרוך לדידו באלימות הן בראשיתו הן בהתמדתו. המתח בין שני סוגי האלימות והקשר ביניהם מייצרים את מה שבנימין מכנה "אלימות מיתית".⁵ אלימות זו קשורה לגורל, לאשמה ולדם, והיא פועלת בתוך מחזור היסטורי שבו חוק חדש קם מתוך אלימות ומתקיים באמצעותה, עד שאלימות אחרת מקימה חוק אחר תחתיו. ‬‬‬‬‬

כנגד האלימות המיתית מתוות החוק ומשמרת החוק בנימין מעמיד את "האלימות האלוהית". אלימות זו אינה אמצעי להשגת מטרה. היא אינה מתווה חוק ואינה משמרת אותו – היא משמידה אותו.⁶ יתרה מזאת, היא אינה ניתנת לזיהוי בזמן התרחשותה אלא לכל היותר בדיעבד. ככזו היא עשויה לקטוע את המחזור המשפטי־מיתי ולבטל את הסדר החוקי בלי להעמיד תחתיו חוק חדש. "רק את הכוח המיתי, לא את האלוהי", אומר בנימין, "ניתן לזהות בוודאות ככזה, חוץ מאשר במקרים של השלכות שאין להן אח ורע, וזאת מכיוון שאיכותו הפוטרת מכפרה של הכוח אינה גלויה עבור בני האדם".⁷

ב־1922 פרסם המשפטן השנוי במחלוקת קרל שמיט ספר בשם "תיאולוגיה פוליטית",⁸ שג'ורג'ו אגמבן ואחרים סבורים שנכתב כמענה על מאמרו של בנימין שפורסם כשנה לפני כן. בעיני שמיט, הריבון המודרני תופס את מקומו של האל: כשם שהאל שולט בעולם הטבעי ויכול להשעות את חוקי הטבע באמצעות נס, כך הריבון יכול להשעות את החוק באמצעות ההכרזה על מצב חירום. הסדר התאולוגי המחולן הזה מעניק לגיטימציה לריבונות המדינית ולאלימות שהיא מפעילה.

הפילוסוף ג'ורג'ו אגמבן קורא את מאמרו של שמיט כאנתטי־תזה שמרנית לבנימין: בעוד אצל בנימין האלימות האלוהית מייצגת אפשרות לשבירת הסדר המשפטי וקיטועו, כך שהחוק והאלימות הגלומה בו יחדלו לארגן את החיים הפוליטים, אצל שמיט מצב החירום עושה את ההפך הגמור: הוא משעה את החוק בדיוק בשביל להציל את הסדר הקיים ולשמר אותו. במצב החירום, הריבון פועל מחוץ לחוק, אך מטעמו.

אגמבן מסכים עם שמיט שכל המושגים החשובים של תורת המדינה המודרנית הם מושגים תאולוגיים מחולנים. אך בניגוד לשמיט שמעריץ את הריבון ובשונה מבנימין שמייחל לשבירתו, אגמבן מבקש לחשוף את המנגנון הזה כדי לקעקע אותו.

אצל אגמבן, הגמד הגיבן כבר לא מוחבא מתחת ללוח: הוא מוטמע במערכת ההפעלה. התאולוגיה לא מופיעה כדמות אפלה שפועלת מאחורי הקלעים אלא כקוד שמריץ את כל הממשק: סמלי השלטון, שפת המִנהל, המערכים הבירוקרטיים, הפרוטוקולים, המכרזים, האלגוריתמים. לדידו של אגמבן העולם המודרני לא סתם חילן את התאולוגיה אלא הפך אותה לכלכלת שלטון: "מנקודת המבט הזאת", הוא אומר בהתייחסו לשמיט, "העובדה [...] שההיסטוריה היא אחרי ככלות הכול לא בעיה פוליטית אלא 'מנהלית' ו'ממשלית' אינה אלא תוצאה מתבקשת של התאולוגיה הכלכלית".⁹ כלכלת השלטון היא בלשונו של אגמבן "אויקונומיה", "מכלול של פרקטיקות, גופי ידע, אמצעים ומוסדות שמטרתם לנהל, למשול, לשלוט ולכוון – במובן שמתיימר להיות יעיל – את התנהגויותיהם, מחוותיהם ומחשבותיהם של בני האדם".¹⁰ אם כן, לא מדובר עוד באל טרנסצנדנטי אלא בסדרה של פרוצדורות: האל מתפוגג, ומה שנשאר הוא לולאה אין־סופית של מנגנונים שנראים ניטרליים, רציונליים ומקצועיים אך שבפועל מתפקדים כליטורגייה חדשה של כוח. התאולוגיה מתנהלת במשרד הפנים, במשרד הביטחון, במערכות של רישום, קִטלוג וסינון. ככל שהעולם נראה מנותק מאלוהים, כך הוא מחובר יותר להשגחה מסוג אחר: השגחה שמדברת בשפה של תקנים, יעדים, סטטיסטיקות ונוהלי חירום.

מכאן נובעים בעיניי שמות אלגוריתמים ומִבצעים כגון "הבשורה" ו"עם כלביא": לא מדובר במיתוג לאומי אלא ברישום נוסף של אותו קוד, שבו שאריות של לשון מקראית מחוברות למערכות נשק ולממשקי שליטה ומגויסות לניהול אלימות מדינתית. הגמד הגיבן כבר לא כרוך בשאלת טבעו של האל: הוא מגדיר יעדים, מסמן מטרות, ממפה אוכלוסיות וממסגר הרג כאילו היה צורך טכני. ככל שהמערכת נראית נקייה יותר, יעילה יותר, כך קשה יותר לראות שמדובר בתאולוגיה שעברה אופטימיזציה – והוצבה בשקט בחדר המלחמה.

נחזור לרגע למאה השמונה עשרה. למרבה הפלא, ואולי לא למרבה ההפתעה, פעל באותן שנים פילוסוף שהקדים את זמנו במאתיים וחמישים שנה והכשיר בבלי דעת את הקרקע למפנה האלגוריתמי: דיוויד יוּם. בספרו מ־1748 מחקר בדבר בינת האדם (An Enquiry Concerning Human Understanding) טען יום שבני אדם לעולם אינם תופסים "סיבה" במובן ממשי. מבחינת יום, כאשר אנו צופים בכדור ביליארד אחד פוגע באחר אנו רואים רק את תנועת הכדור הראשון, את רגע הפגיעה ואת התנועה של הכדור השני אחרי שהכדור הראשון פגע בו.¹¹ איננו רואים שום "כוח נסתר" או "הכרח לוגי" שיחברו בין הדברים. לטענתו של יום, המושג "סיבה" אינו יותר מהרגל של התודעה, תבנית סטטיסטית שנוצרת מתוך צפייה בחזרות רבות: אנו מצפים שב' יבוא אחרי א' רק מפני שכך קרה עד כה תמיד, ולא משום שאנו מבינים מדוע זה חייב לקרות; ובמילותיו של יום:

במילים אחרות, לשיטתו של יוּם אין "אמת פנימית" וגם לא "סיבתיות אמיתית": יש רק דפוסים של דמיון בין אירועים. כך הכין יום בלי כוונה את הקרקע למדע הנתונים המודרני. לפי מדע זה, אין עוד "מהויות" או "מושאים יציבים": יש רק מִתאמים, קורלציות – קשרים חוזרים בין נתונים.

הגרסה המפורסמת ביותר של ההיגיון היוּמי בעולם הטכנולוגיה הופיעה במאמרו הנודע של עורך המגזין Wired כריס אנדרסון מ־2008 "קץ התאוריה: מבול הנתונים מייתר את השיטה המדעית".¹³ במאמר זה טוען אנדרסון כי ב"עידן הביג דאטה" די במִתאם – אין צורך בסיבתיות, ולכן גם אין צורך בתאוריה; אם יש מספיק נתונים, אפשר לחזות את העתיד פשוט על ידי זיהוי דפוסים חוזרים. הביג דאטה הוא אפוא מעין אישור של האמפיריציזם הרדיקלי של יום: אפשר לנווט בעולם בהצלחה בלי להבין את ה"אמת" שמאחורי התופעות – כל עוד יש בידינו מספיק "נתונים".

"סינון שיתופי" – Collaborative Filtering, ובקיצור CF – הוא אלגוריתם ההמלצה המרכזי המשמש מערכות כמו נטפליקס, אמזון וספוטיפיי לנבא מה עוד ימצא חן בעיניכם על סמך מה שכבר מצא חן בעיניכם. רעיון הסינון השיתופי התפתח בהדרגה מאז שנות השבעים של המאה העשרים, והמונח "collaborative filtering" הופיע בתחילת שנות התשעים במאמר על מערכת בשם Tapestry.¹⁴

האלגוריתם נשען על העיקרון הזה: "משתמשים שהסכימו בעבר, ייטו להסכים גם בעתיד". הוא מתחלק לשני סוגים עיקריים:

1. סינון על בסיס משתמשים: "אליס ובוב אהבו את טיטאניק. אליס אהבה גם את אווטאר. לכן כנראה גם בוב יאהב את אווטאר".

2. סינון על בסיס פריטים: "אנשים שקונים הרבה חמאת בוטנים קונים לעיתים קרובות גם ריבה. אַת קנית חמאת בוטנים, ולכן אני ממליץ גם על ריבה".

האלגוריתם איננו יודע כמובן מהי "חמאת בוטנים" או מהו "טיטאניק". הוא אינו מנתח את התוכן עצמו (מרכיבים, עלילה, ז׳אנר) אלא רק את מטריצת ההתנהגויות של המשתמשים (דירוגים, קליקים, רכישות).

אחת הדוגמאות השחוקות במדעי הנתונים (שייתכן שהיא מפוברקת) היא סיפור "הבירה והחיתולים": גילו שגברים שקנו חיתולים רכשו באותה קנייה גם בירה.¹⁵ לפי הסיפור, ניתוח נתוני סופרמרקט הראה שאבות צעירים שיוצאים בערב לקנות חיתולים מוסיפים לעצמם שישיית בירה, ולכן החנות הזיזה את הבירה קרוב למדף החיתולים, וזה כביכול הצליח. הדוגמה הזאת הייתה לארכיטיפ של "קורלציה שמתחזה לאינטליגנצייה".

דוגמה נוספת לסינון נתונים היה אלגוריתם הוויזות הבריטי (שבוטל ב־2020): האלגוריתם סימן בעצמו מועמדים לוויזה כ"סיכון גבוה", והללו נדחו ללא בדיקה אישית, רק משום שהמערכת למדה לקשר את המוצא שלהם (אפריקה) עם דפוסים של סירוב בעבר – מה שיצר לולאת משוב גזענית ששפטה אנשים אך ורק על פי הדרכון שלהם.¹⁶

דוגמה מפורסמת בתחום הצרכנות התרחשה ב־2012 ברשת הקמעונאות הגדולה Target. זו זיהתה תבניות ושינויים בהרגלי הקנייה של נשים בהיריון כגון מעבר לקרמים ללא בושם וקנייה של תוספי תזונה ושל צמר גפן. היא ניסתה לזהות דפוסים דומים באוכלוסייה הכללית והקצתה לכל לקוחה "ציון היריון". בעקבות מהלך זה קיבלה נערה לבית הוריה קופונים למוצרי תינוקות. אביה פנה לחנות בטרוניה, ורק לאחר מכן התברר לו שהיא אכן בהיריון.¹⁷

אַת לא אַת: את השכנה הסטטיסטית של אלף אנשים שקנו טמפונים ודאודורנט ללא ריח. גם אתה לא אתה: אתה השכן הסטטיסטי של מישהו שחיפש במקביל "חיתולים" ו"גולדסטאר". הסיבה נמחקת, ההסבר נדחק הצידה והעולם מצטמצם למפת חזרות. אין שום אמת, וגם לא חותרים אליה – יש רק דמיון בין דימויים, רק עותקים של עותקים שמסתנכרנים זה עם זה. במקום מומחה אנושי שמפרש את המציאות יש שכנים אלגוריתמיים: אנשים שמעולם לא פגשת, אבל הדפוסים שלהם נצמדו לשלך. מערכות של סינון שיתופי מסמנות את מות "המומחה" – האנליסט שיושב, קורא, מצטט, מטיל ספק. הטעם, ההעדפה ואפילו ה"חשד" עוברים דמוקרטיזציה מדומה ונמדדים לא מתוך הבנה אלא על בסיס דמיון לטעמים, העדפות וחשדות אחרים.

ה־OSINT – המודיעין ממקורות גלויים, open-source intelligence – הוא תחום של עיבוד מידע שכולל איסוף של מידע ממקורות שגלויים לציבור הרחב וניתוחו או עיבודו לכדי מידע מודיעיני שימושי. ה"אוֹסִינְט" הישראלי הקלסי היה חוקר אנושי: אדם שמקשיב לתחנות רדיו וטלוויזיה, קורא עיתונים או עוקב אחרי הרשתות החברתיות, אדם שמכיר את שפות המקום – דובר ערבית למשל – ובעל אינטואיציה בריאה, כושר שיפוט וטעם אנושי. קהילת המודיעין הישראלית – ובראשה יחידת 8200 – בחרה גם היא במפנה האלגוריתמי. מפקד היחידה לשעבר, תת־אלוף יוסי שריאל, פרסם ב־2021 – באנגלית ובשמו בראשי תיבות בלבד, Y.S. – את הספר The Human Machine Team, שבו הוא מתאר עולמות של מודיעין שמתבסס על נתונים ואלגוריתמים.¹⁸ בעיתונות צוטט שריאל כמי שפסק: "סגירת האוסינט היא אחת ההחלטות הקלות שקיבלתי בחיי".¹⁹ המומחה האנושי, על כל ההקשרים, הספקות, ההטיות הקוגניטיביות והסתירות שלו, זה שמחפש קשרים סיבתיים ולא רק מתאמים, היה מבחינתו רעש די מיותר במערכת.

במקומו הציע שריאל מודל של קוגניציה משולבת בין מכונה לאדם. שריאל מציג בספר תפיסה שלפיה העליונות המודיעינית בעידן הדיגיטלי אינה נובעת עוד מ"פיסת מידע" מועדפת אלא מ"התפוצצות המידע" ומן היכולת לנסח שאילתות ולשאול על כל מה שמעניין את המשתמש או המשתמשת.²⁰ המאמץ המרכזי עובר אפוא לשיטתו לשיפור יכולת השאילה והניווט במידע, עד כדי הנחה שכמעט לכל שאלה יש תשובה בנתונים – ואם אין תשובה, כנראה לא נשאלה השאלה הנכונה.²¹ טכנולוגיות כגון דיבור־לטקסט (speech-to-text) יכולות לדידו להחליף את רוב משימות האנליסטים האודיו־לשוניים המאזינים, קוראים ומתרגמים, והוא מעריך שבתוך כחמש שנים יותר משמונים אחוז ממשימותיהם (וממשימותיהם של אנליסטים של תמונה ווידאו) יוחלפו במכונות.²²

שריאל מנסה לתאר להדיוטות מהו המודל שהוא רואה לנגד עיניו:

שימו לב לאזכור של אלגוריתמֵי ה"טִרגוּט" של פייסבוק: הם אינם רק מטפורה נוחה אלא מנגנון חישובי מוגדר. אלגוריתם החברים המוצעים נשען בבסיסו על סינון שיתופי שמסיק קרבה והסתברות לקשר מתוך דפוסים של דמיון ברשת ומדרג בהתאם את מי שיוצג למי. כאשר שריאל מעתיק את אותו עיקרון אל "מכונת המטרות", הוא מציע היסט אנליטי, שבו העיקר אינו עוד החוקר האנושי המחזיק הֶקשר, ספק ופרשנות אלא יכולתו של המודל לייצר רשימות, להצביע על דפוסים ולהכריע לפי הסתברויות.

אולם הוויתור על הגורם האנושי לטובת "דיוק סטטיסטי" טומן בחובו מלכוד: גם המודל האידיאלי סובל מ"הטיית האוטומציה" (automation bias) הנובעת מכך שהנתונים הנמדדים לעולם אינם המציאות עצמה. כפי שראינו, כשהמערכת מתאמנת על נתונים שמשקפים דעות קדומות, שיטור־יתר או איסוף מוטה, היא לא מנטרלת את ההטיות הללו אלא מגבירה אותן ומעניקה להן תוקף אופרטיבי. את האינטואיציה האנושית שאפשר להתווכח איתה מחליפה הטיה סטטיסטית בלתי נראית.

איש מדעי המחשב סבסטיאן בן דניאל טען ביוני 2025 שעזה נראית כפי שהיא נראית בעת הזאת בגלל השימוש בכלֵי בינה מלאכותית.²⁴ בסדרת כתבות דרמטיות שהתפרסמו באפריל 2024 בעיתונים המקוונים +972 Magazine ושיחה מקומית חשף יובל אברהם את מערכות הבינה המלאכותית "הבשורה" ו"לבנדר" שייצרו בעצמן מטרות לצבא בעזרת למידת מכונה – "הבשורה" במיפוי מרחבי של מטרות ו"לבנדר" ברשימת מטרות אנושיות – שהצטברו לשלושים ושבעה אלף איש שזוהו כאנשי חמאס.²⁵ מדיניות האש בהתבסס על בינה מלאכותית של צה"ל במלחמת שבעה באוקטובר תוארה כחסרת תקדים.²⁶

אולם השימוש במונח הנוצץ "בינה מלאכותית" לתיאור מערכות כגון "לבנדר" נראה לי כמו אחיזת עיניים, מהלך פסיכולוגי של "AI washing" – הלבנת מצפון טכנולוגית על ידי הסתרת מציאות סטטיסטית פשוטה. העדויות הטכניות שנחשפו בתחקיר המשותף מעלות בי את החשד כי לא מדובר במערכת של בינה עתידנית שכמוה עוד לא ראינו אלא בהופעתה המחודשת של טכנולוגיית הסינון השיתופי שנדונה למעלה. מעדויות הקצינים שפורסמו בתחקיר של אברהם עולה לכאורה ש"לבנדר" פועלת כ"מודל קהלים דומים" (look-alike model): היא מקבלת נתונים על פעילי חמאס ומדרגת את כלל האוכלוסייה על פי מידת הדמיון לפעילים אלו במאפיינים חיצוניים (שמכונים "דקדוק שטח", "surface grammar") כגון החלפה של טלפון, מיקום גאוגרפי או חברוּת בקבוצת ווטסאפ – פרקטיקה שמכונה בעולם הטכנולוגי "חיזוי קשרים" ("link prediction"). מבחינה מהותית אין זו בינה מלאכותית אלא רגרסיה סטטיסטית, מעין טבלת אקסל ענקית של "מי מכיר את מי". ההתעקשות לקרוא לכלי זה AI נועדה בעיניי ליצור חיץ מוסרי: היא מעניקה הילה של אובייקטיביות מדעית לפרקטיקה העתיקה והבעייתית של הטלת אשמה עקב זיקה בלבד ומאפשרת למפעילים להסתתר מאחורי "החלטת האלגוריתם" ובכך להפוך הכרעה מוסרית על חיי אדם לפעולה בירוקרטית־טכנית שמנותקת מאחריות אישית מוסרית או משפטית.²⁷ פיזור אבקת בינה מלאכותית על שימוש קטלני בכוח מצפה אפוא את ההרג בכסות מדעית חישובית ואובייקטיבית ופוטר מאחריות ומרגשי אשמה.

תחקיר של הארגון Human Rights Watch העלה את הסברה ש"לבנדר" מסתמכת על למידת מכונה מונחית למחצה מן הסוג המכונה "למידה מנתונים חיוביים ולא מתויגים" (positive-unlabeled learning).²⁸ סוג זה של למידת מכונה משתמש במאפייני נתונים מתויגים (חשודים ידועים) כדי לנסות לזהות דפוסים דומים באוכלוסייה הכללית. התחקיר מצביע על פגמים קשים שיכולים לסכן חיי אזרחים עקב הנחות יסוד בעייתיות, איסוף נתונים לקוי ושכפול הטיות חברתיות.

ובכן, אני מבקשת להעלות את ההשערה ש"הבינה המלאכותית" משמשת כמו דאוס אקס מכינה, האל הנשלף מן המכונה במחזות היווניים כדי להתיר את התסבוכת הדרמטית. האם ייתכן ש"לבנדר" של 2024 הייתה בינה מלאכותית כשם ש"הטורקי המכני" היה אוטומטון?²⁹ או שאולי זהו רק אמצעי רטורי שנועד להסיר את האחריות מן "הגמד הגיבן", וליתר דיוק, להסיר מעל המפעילים האמיתיים של כלי הנשק האלה – מפקדים ופקודים, מפתחים ומבצעים – את הגיבנת המוסרית?³⁰

הגיבנת המוסרית גדולה במיוחד בעיניי במקרה של עזה במלחמת שבעה באוקטובר לא רק בגלל ההרג ההמוני והחורבן הבל יתואר ובגלל ההסתמכות העיוורת על הטכנולוגיה האלגוריתמית לשם המטתם אלא גם בגלל שיעור הטעות המסתמן של האלגוריתם הזה, שהוא איום ונורא.

כדי להבין את גודל הטעות לכאורה, צריך לחזור לאחד הרעיונות הבסיסיים של הבינה המלאכותית מן העשור האחרון: איך מלמדים מחשב להבדיל בין קטגוריות שונות. בשפה המקצועית של מדעי הנתונים הדבר מכונה "מְסַווג" או "קלאסיפייר" (classifier). הרעיון הוא שכדי שמחשב ילמד להבדיל בין קבוצה א' לקבוצה ב', הוא חייב לראות דוגמאות ברורות משני הצדדים. זוהי "למידה מונחית" (supervised learning).

נניח שאנחנו רוצים לבנות תוכנה שמבדילה בין כלבים לחתולים ברמת דיוק גבוהה. לשם כך נזין למערכת ערכת אימון (training set) שמורכבת משני חלקים:

הבדלה בין תמונות של כלבים לחתולים היא הדוגמה הקלסית לבעיה לא ליניארית. בעבר, אלגוריתמים פשוטים (כמו אלו ששימשו בסינון שיתופי קלסי) ניסו למצוא קו ישר שמפריד בין הקבוצות. אבל בינה מלאכותית מודרנית עובדת אחרת: היא ממפה את כל הנתונים לתוך מה שנקרא "מרחב לטנטי" או "מרחב סמוי" (latent space), שהוא מרחב מתמטי רב־ממדי ומופשט, והמחשב ממקם בו כל תמונה כנקודה. המחשב לא "רואה" אף או זנב אלא וקטור של מאות מספרים שמייצגים תכונות עומק. במרחב המורכב הזה, ההפרדה בין "כלב" ל"חתול" אינה קו ישר פשוט אלא גבול מפותל ומורכב שאי אפשר להעמיד אותו על בעיה ליניארית. המערכת לומדת לשרטט את "גבול ההחלטה" (decision boundary) המורכב הזה באמצעות החישוב המוצפן במרחב הלטנטי. אחרי האימון, הבוחן מראה לאלגוריתם תמונה חדשה, והאלגוריתם בודק היכן היא נוחתת במרחב הרב־ממדי הסמוי הזה – בצד של הכלבים או בצד של החתולים. אם אין לאלגוריתם דוגמאות משני הצדדים של הגבול הבלתי נראה הזה, הוא לא יוכל לשרטט אותו במדויק.

כאן בדיוק נוצר הכשל לכאורה של מערכת "לבנדר". אם הסברה ש"לבנדר" מסתמכת על למידה מנתונים חיוביים ולא מתויגים נכונה (ובהמשך נציג תמיכה נוספת בה), יוצא שבעולם האמיתי של המודיעין בעזה, לצבא לא היה מערך אימון תקין. היה לו מידע רב על ה"כלבים" במשל, כלומר על המחבלים. המודיעין הישראלי אסף במשך שנים רבות נתונים מדויקים על בכירי חמאס ופעיליו: איפה הם גרים, עם מי הם מדברים, מתי הם מחליפים טלפון. זהו בסיס נתונים עשיר של "דוגמאות חיוביות". אבל לצד יצירת מאגר ה"כלבים", למודיעין הישראלי לא היה במקביל בסיס נתונים מתויג של אזרחים תמימים – כלומר של "חתולים". נכון לסוף 2023 ותחילת 2024, אף על פי שהמערכת עקבה אחרי כלל האוכלוסייה ואספה את דפוסי התקשורת והמיקום שלה, המודיעין האנושי לא עקב אחר כל אופה, מורה או רופא בעזה כדי לוודא שהם ללא כל ספק במעמד של "לא חמאס" ולשייך אותם לקבוצת ביקורת "שלילית". התוצאה היא שמרבית האוכלוסייה, הגם שהמידע הדיגיטלי עליה נשאב לתוך המערכות, נותרה במעמדה בגדר "נעלם" או "לא מתויגת" (unlabeled).³¹

התוצאה היא שהאלגוריתם רואה רק צד אחד של גבול הסיווג. אפשר לחשוב על זה כך: למערכת יש בשולחן רק "מגירה" אחת מסודרת שכתוב עליה "מחבל"; כל שאר האוכלוסייה היא ערימה לא ממוינת שמפוזרת על השולחן. במצב תקין, כשהמחשב רואה אדם שמחליף טלפון ומנתק מגע, הוא אמור לשאול: האם זה מתאים למגירת המחבל (הסתרה טקטית) או למגירת האזרח (חרדה והישרדות)"? אבל למערכת "לבנדר" אין מגירת "אזרח". אין לה דגם של "פליט מפוחד". לכן, כשהיא מזהה חריגה בהתנהגות, היא יכולה לשייך אותה אך ורק למגירה היחידה שהיא מכירה. התוצאה היא מעין "שאיבה" סטטיסטית: כל מי שמייצר "רעש" דיגיטלי (זז, משנה דפוסים, מתנהג מוזר) נמשך כמו מגנט להגדרה "אויב". במקום שהמערכת תצטרך להוכיח בווודאות שהוא מחבל, ברירת המחדל מתהפכת: כל מי שאינו מוכיח פסיביות מוחלטת ("רעש אפס") מסתכן (מבלי דעת) בכך שההתנהגות שלו תפורש כעוינת. כך מבטלת הטכנולוגיה הלכה למעשה את "חזקת החפות".

הצהרות פוליטיות וצבאיות על כך ש"אין חפים מפשע בעזה" מעצימות עוד יותר את המגמה הזאת, כי הן מתגלגלות בסוף להחלטה ההנדסית לוותר על הניסיון לאסוף "דוגמאות שליליות" (negative samples) של חפות (שהרי לכאורה אין חפים מפשע).³² זהו רגע אגמבני מובהק: האידאולוגיה (ה"תאולוגיה") לא צריכה להתערב מבחוץ ולהורות על הרג – היא פשוט "תורגמה" לשפה טכנית של ניהול נתונים. ההכרעה הפוליטית הגלויה והאלימה ("אין חפים מפשע") מוסווית כעת כאילוץ הנדסי ("אין לנו ערכה לאימון שלילי"). ברגע שההחלטה להרוג הופכת לבעיה של "מחסור בנתונים", הריבונות מפסיקה להיות פוליטית ונעשית ריבונות מנהלית. המערכת לא "שופטת" את האזרח – תחת זאת היא מריצה עליו פרוצדורה של ניבוי במידע חסר ובכך מסכלת את אפשרות חפותו. הפתרונות המדעיים לבעיה זו (כגון שימוש באלגוריתמים שמעריכים את התפלגות ה"לא מתויגים" או שימוש ב"איתור אנומלי" [anomalous detection] כדי לזהות חריגות במקום דמיון) מורכבים ויקרים. כשמוותרים עליהם לטובת "זיהוי מהיר", התוצאה היא מערכת שבה כל התנהגות אנושית של הישרדות עשויה להיות לסימן מפליל.

בסינון שיתופי, הנחת היסוד היא שאם x "דומה" ל־y בפרמטרים הנמדדים, סביר להניח שקיים דמיון גם בתכונות שאינן נלמדות. עיקרון זה, שמניע המלצות בתחום הצריכה, נעשה קטלני כאשר הוא מוכל על קטגוריות כמו "מחבל": האלגוריתם נהפך מכלי המלצה או אפילו ניבוי לכלי של ענישה קולקטיבית. בדיקטטורה צפופה כמו רצועת עזה, שבה גרף ההיכרות והקרבה החברתית דחוס במיוחד, "דמיון" אלגוריתמי יכול לנבוע ממשתנים שונים: שם משפחה משותף, שכונת מגורים, מכשיר טלפון שעבר דרך אנטנה "בעייתית", החלפת מכשיר סלולרי או קשר כפוי לארגון השולט בחיים האזרחיים. ההנחה שככל שהדמיון הסטטיסטי בפרמטרים הנלמדים הללו גדול יותר, כן דומים האנשים גם במהות הנסתרת שלהם – מאפשרת לחשד "לזלוג" מקבוצה קטנה של לוחמים אל "שכנים" סטטיסטיים ואף אל "שכנים של שכנים", עד שמשפחות או שכונות שלמות נצבעות באותו סטטוס. ברגע שהדמיון הסטטיסטי מתורגם לפקודה מבצעית, האשמה מפסיקה להיות אישית ונעשית אשמה עקב זיקה (guilt by association). הבעיה המוסרית היא שבמשפט צדק האדם אשם בגלל מה שהוא בחר לעשות, ואילו במערכת הסינון השיתופי האדם "אשם" בגלל שהוא דומה במובנים מסוימים לאנשים אחרים.

הכשל המוסרי הזה משתקף באבחנה של לודוויג ויטגנשטיין בין "דקדוק שטח" (surface grammar) ל"דקדוק עומק" (depth grammar).³³ כדי להמחיש את הפער בין שני סוגי הדקדוק נהוג להשתמש בהשוואה בין שני משפטים שנראים כמעט זהים בדקוק השטח שלהם: "I have a pin" ("יש לי סיכה") ו־"I have a pain" ("יש לי כאב" או "כואב לי"). מבחינה תחבירית הם זהים: לשניהם יש נושא וכינוי שייכות. אך מבחינה מהותית הם שונים: הסיכה היא אובייקט חיצוני, ואילו הכאב הוא חוויה פנימית; את הסיכה נוכל למסור לאחר, אך לא את הכאב. אלגוריתם ה־AI של "לבנדר" הוא אלגוריתם של "דקדוק שטח" אשר רואה רק חלק מן המאפיינים החיצוניים המשותפים, אבל הוא עיוור לחלוטין לכוונה הפנימית של האדם. בכך הוא מאפשר הרג המוני בהתבסס על קורלציה בלבד.

יובל אברהם מספר שההחלטה להשתמש במטרות שסימנה המערכת "לבנדר" התקבלה רק "כאשר הגיעו ל־90% דיוק במידת השיוך לחמאס".³⁴ הבה נבחן אפוא מערכת לסיווג "רעים" שהמפתחים שלה טוענים שהיא מדויקת בתשעים אחוז. זהו שיעור דיוק שעשוי בהחלט להרגיע את מקבלי ההחלטות ולשכנע את הציבור – אבל במדע הסטטיסטיקה הטענה הזאת היא חידה מסוכנת.

מדוע חידה? כי המילה "דיוק" (accuracy) היא מושג מתעתע שמכיל בתוכו שתי משמעויות שונות שמקובלות בבחינת יעילותו הסטטיסטית של מסווג ומכונות בעברית "רגישות" (sensitivity) ו"סגוליות" (specificity). רגישות של תשעים אחוז פירושה שהמערכת תמצא תשעים אחוז מתוך כל הרעים בעולם (כלומר היא צייד מצוין). סגוליות של תשעים אחוז פירושה שהמערכת תדע על תשעים אחוז מתוך כל האנשים החפים מפשע שהם אינם רעים (כלומר היא נזהרת לא לפגוע בחפים מפשע).

היות שמרבית התושבים אינם רעים, המערכת נדרשת להצטיין בשני סוגי הדיוק. אבל גם אם נניח שהמערכת שלנו מצטיינת בשניהם – הנחה נדיבה מאוד – כלומר שהמערכת מגיעה הן לתשעים אחוז רגישות הן לתשעים אחוז סגוליות, אנחנו בדרך הבטוחה לאסון קולוסלי.

הבה נעשה ניסוי מחשבה: דמיינו עיר שיש בה 1,000 גברים בגיל לחימה. בעיר הזו (כמו במציאות של "טרור"), ה"רעים" הם מיעוט:

• 80 מחבלים (8% מן האוכלוסייה – מיעוט לא קטן).

• 920 אזרחים תמימים (92% מן האוכלוסייה – הרוב המוחלט).

המערכת מסווגת את כלל האנשים לשתי קטגוריות, "חשוד" ו"לא חשוד".

שלב א: רגישות – זיהוי הרעים

מתוך 80 הרעים, רגישות של 90% משמעה:

• 72 מסווגים נכון כרעים (כל אחד מהם הוא "חיובי אמיתי", "true positive")

• 8 מסווגים בטעות כחפים מפשע (כל אחד מהם הוא "שלילי כוזב", "false negative")

שלב ב: סגוליות – זיהוי החפים מפשע

מתוך 920 החפים מפשע, סגוליות של 90% משמעה:

• 828 מסווגים נכון כחפים מפשע (כל אחד מהם הוא "שלילי אמיתי", "true negative")

• 92 חפים מפשע מסווגים בטעות כרעים (כל אחד מהם הוא "חיובי כוזב", "false positive")

כלומר רשימת ה"חשודים" כוללת 72 רעים אמיתיים ו־92 חפים מפשע שסווגו בטעות כרעים. רוב ה"מטרות" ברשימה (92 לעומת 72, כלומר 56%) שגויות! אסון של ממש.

נבחן עתה את עיקרון ה"תשעים אחוז" על הגברים בגילים שש עשרה עד חמישים ושבע ברצועת עזה:

• סך הגברים בגילים הרלוונטיים: כ־460,000‏³⁵

• לוחמי חמאס: כ־37,000 (כ־8% מכלל האוכלוסייה הרלוונטית)

• חפים מפשע (לא משתייכים לחמאס): כ־423,000.

בהנחה שמערכת הסיווג פועלת ברגישות בשיעור 90 אחוז ובסגוליות בשיעור 90 אחוז, מתקבלת התמונה הבאה:

שלב א: רגישות – זיהוי אנשי חמאס

מתוך 37,000 לוחמי חמאס:

• 33,300 מזוהים כמחבלים ("חיוביים אמיתיים").

• 3,700 אינם מזוהים כמחבלים ("שליליים כוזבים").

שלב ב: סגוליות – זיהוי האזרחים החפים מפשע

מתוך 423,000 החפים מפשע באוכלוסייה הרלוונטית בעזה:

• 380,700 מסווגים נכון כחפים מפשע ("שליליים אמיתיים").

• 42,300 מסווגים בטעות כמחבלים ("חיוביים כוזבים").

יוצא שרשימת המטרות כוללת 33,300 אנשי חמאס ו־42,300 אזרחים חפים מפשע, ובסך הכול 75,600 איש. מתוך רשימה זו, כ־44 אחוז אכן משתייכים לחמאס וכ־56 אחוז חפים מפשע – אבל כולם מטרות לגיטימיות על פי האלגוריתם! כלומר ברמת רגישות וסגוליות של תשעים אחוז, וביחסי גודל כאלה בין הקבוצה ה"מסוכנת" ובין כלל האוכלוסייה הרלוונטית (אפילו לא כלל האוכלוסייה, שגם בני אדם רבים מתוכה עשויים להיכנס לתוך הסינון השיתופי, ובלי להזכיר בכלל את מה שמכונה "נזק אגבי" של פעולת תקיפה ממוקדת לכאורה), רוב מי שהמערכת מסווגת כיעד לגיטימי הם למעשה לא לוחמי חמאס. אם כן, גם אלגוריתם "מצפוני", בעל סגוליות של תשעים אחוז, ייצר – בסביבה שקבוצת המחבלים בה היא אחוז קטן מן האוכלוסייה – רוב של מטרות אזרחיות.

אולם מקריאת הנתונים שהגיעו מן הצבא על אודות "לבנדר" עולה תמונה שונה לחלוטין. כפי שנראה מייד, הצבא טוען שהמציא מכונת פלא שנותנת רשימת חיסול של 37,000 מטרות בדיוק של תשעים אחוז. ננסה עתה להבין אם מכונה כזאת אפשרית.

הרגע שבו הוחלט להסיר את הפיקוח האנושי הוא רגע ה־AI המובהק, בלי קשר למידת החדשנות או הנחשלות הטכנולוגית של האלגוריתם שעומד מאחוריו. מדוע? כי זהו הרגע שבו הפעלנות האנושית (human agency) מתחלפת בפעלנות טכנולוגית. הינה התיאור המלא של ההחלטה להפעיל את "לבנדר" מתוך התחקיר של יובל אברהם:

הצבא מדווח אפוא כי בדק בדיקה "ידנית" מדגם של כמה מאות מטרות ש"לבנדר" הצביעה עליהם ומצא שהמערכת צדקה ב־90 אחוז מן המקרים. על בסיס נתון זה אושרה המערכת לשימוש גורף. אני מבקשת להטיל ספק בדיווח הזה. לדעתי ה"תיקוף" שנעשה בפועל היה שונה לחלוטין (אבל דומה על פני השטח). כדאי לשים לב בהקשר הזה לשני עניינים:

1. סגוליות בלתי אפשרית

לפי דיווח ב'גרדיאן', הרשימות שיצרה לבנדר כללו רשימה של 37,000 מטרות – מספר שלהערכת מומחים (לרבות צה"ל עצמו) קרוב מאוד לסך לוחמי חמאס בעזה בחודשים הראשונים למלחמה (לפי הערכות אחרות, מספר זה הוא הערכת־יתר, והוא גדול בהרבה ממספר הלוחמים האמיתי).³⁷ כלומר מערכת לבנדר הצליחה לסמן – בדיוק של 90 אחוז – כמעט את כל לוחמי חמאס! כדי להגיע לדיוק כזה, על הרשימה הסופית לכלול כ־3,700 "התרעות שווא". אפשר לחשב מכאן את הסגוליות של "לבנדר". 3,700 חפים מפשע שמזוהים לשווא כלוחמי חמאס מתוך אוכלוסיית החפים מפשע, המונה 423,300 איש = 0.87 אחוז. כלומר לפי התיאור הזה, מערכת "לבנדר" ניחנה בסגוליות של 99.1 אחוז! יוצא ש"לבנדר" הצליחה לכאורה לסנן בצורה כמעט מושלמת את כל האוכלוסייה האזרחית, ופחות מאחוז מתוך החפים מפשע הראו התנהגות "חשודה". בכאוס של עזה, שבו מאות אלפים נעקרו מבתיהם, החליפו טלפונים והתערבבו עם כל שכבות האוכלוסייה, ההנחה שאפשר להגיע לפילוח מדויק כל כך היא חסרת תקדים סטטיסטי. הסגוליות הגבוהה מדי מעידה כי ראוי לפקפק בתיאור הבדיקה של המודל שמסרו הגורמים הצבאיים.

2. כשל הלמידה החיובית

ספרות המחקר על "למידה מנתונים חיוביים ולא מתויגים" מלמדת שאלגוריתמים שמבוססים על "סיווג חד־מחלקתי" – כלומר אלגוריתמים שאומנו לזהות רק מחלקה אחת (במקרה זה: המחבל) אבל לא דוגמאות נגדיות – סובלים מעיוורון מובנה.³⁸ בשיטה זו, המערכת לומדת את הגבולות של "איך נראה מחבל", אך מכיוון שאין לה מידע על "איך נראה אזרח במלחמה", היא אינה יכולה לשרטט קו הפרדה אמיתי. כאשר התנהגות האוכלוסייה האזרחית משתנה ("drift") ומתחילה להידמות למאפייני המטרה (בריחה, ניתוק מגע), המודל החד־מחלקי ממשיך לסמן את האזרחים כ"מטרות", פשוט כי הם נפלו לתוך התחום המוגדר היחיד שהוא מכיר. ללא קבוצת ביקורת שלילית (negative class), "90 אחוז דיוק" הוא נתון חסר משמעות שמודד דמיון ולא הבחנה.³⁹ גם כאן אידאולוגיית "אין חפים מפשע בעזה" מוצרנת לתוך ההנחות האלגוריתמיות ומשתקפת בסופו של דבר במנגנון קבלת ההחלטות שלו.

אם כן, אני משערת כי הבדיקה של הצבא לא נעשתה על מדגם אקראי מתוך פלט האלגוריתם (עשרות אלפי שמות), אלא שהצבא לקח קבוצה של כמה מאות שמות שמוכרים לו בוודאות כאנשי חמאס ובדק את המערכת עליהם – כלומר בדק כמה מתוכם האלגוריתם של לבנדר לוכד. אולי במבט ראשון זה נראה כמו ניואנס חסר חשיבות, אך אם כך אכן נעשה הדבר, יוצא מזה שאנשי המודיעין מדדו רגישות (sensitivity) ביחס לקבוצה מסוימת ידועה; או במילים פשוטות: הם מדדו את היכולת של האלגוריתם לתפוס את מי שהם כבר יודעים בוודאות שהוא מחבל. הם לא מדדו דיוק (accuracy או precision), כלומר את הסבירות שמי שהמערכת מסמנת הוא אכן מחבל, ובוודאי לא מדדו סגוליות (specificity), כלומר את היכולת של המודל לא לסמן בטעות חפים מפשע. אלגוריתם שאין בו שום מחויבות לסגוליות ייתן ככל הנראה אחוז חפים מפשע גבוה בהרבה ממה שהוצג בסעיף הקודם (56 אחוז חפים מפשע). זוהי אפוא חותמת גומי מדעית־לכאורה להפעלת מכונת הרג המונית אגב התעלמות מוחלטת מן המחיר של סימון שגוי.

יתרה מזאת, נראה שגם שלב ההוצאה לפועל המבצעי לקה באותו כשל של "דקדוק שטח": גם יובל אברהם וגם תחקיר של העיתון 'ניו יורקר' חושפים כי הבדיקות לפני כל שימוש במערכת – האישור הסופי לפני תקיפה – נמשכו לעיתים 20 עד 30 שניות בלבד.⁴⁰ הקצין האנושי אינו מסוגל לאמת אשמה בפרק זמן כזה; הוא יכול רק לאמת שהמערכת זיהתה נכון את הסימנים החיצוניים (גבר, החלפת טלפון, מיקום) ובכך לשמש חותמת גומי לאשליה הסטטיסטית. למעשה העובדה שאפשר לכאורה "לוודא" את אמיתות ההחלטה בפרק זמן קצר כל כך בשלב המבצעי מעלה בעצמה את החשד שמדובר באלגוריתם מסוג "סינון שיתופי" או דומה לו, ולא במְסַווג "קופסה שחורה" עמוק. לו היה מדובר ברשת עצבית עמוקה שמשקללת אלפי משתנים סמויים, יתכן כי לבן אנוש לא הייתה שום דרך להבין – ובוודאי לא לאמת – את ההחלטה בזמן אמת. היכולת "להציץ" אל תוך המכונה ולאשר את החלטתה מעידה שההחלטה מבוססת על לוגיקה שקופה ופשטנית של קשרים ("הוא דיבר עם x"). הקצין בודק את הקלט (התחביר), לא את המציאות, ובכך מייצר מעגל של אשרור על בסיס אותן תכונות שנבחרו מראש.

לבסוף, גם השאיפה "להגיע לכולם", כלומר לתפוס את כל פעילי חמאס באשר הם, מחייבת מבחינה מתמטית את הקרבת הדיוק. כדי למקסם את ה־recall (כלומר למצוא את כולם), המערכת נדרשת להנמיך את הסף (threshold) ולסמן כל מי שמראה דמיון קלוש לדפוס החשוד. במערכת כזו העלייה ב"תפיסות" גוררת בהכרח עלייה אקספוננציאלית ב"חיוביים כוזבים". הטענה שאפשר גם לתפוס את כולם וגם לשמור על דיוק של תשעים אחוז באוכלוסייה כה רחבה נראית כמו כשל סטטיסטי מובהק – כשל שמייצר שדה קטל.

אדגר אלן פו צדק כשטען שה"טורקי" הוא הונאה, אך הוא טעה לגבי העתיד. המכונה למדה לשחק שחמט. מאה ושישים שנה אחרי פו, ב־1997, ניצחה התוכנה "כחול עמוק" (Deep Blue) של IBM את אלוף העולם דאז גארי קספרוב. האוטומט של פון קמפלן ומלצל אולי היה תעתוע ומרמה, אבל הוא גם בישר את העתיד.

כך גם, לטענתי, בעניין "לבנדר": זוהי מערכת שמפתחיה ומפעיליה קישטו אותה בנוצות של בינה מלאכותית מתוחכמת אף שמדובר בסך הכול בסטטיסטיקה גסה וב"גמד גיבן" של אלגוריתמים ותיקים שמסתתרים מאחורי מסך עשן של יחסי ציבור. אבל כמו "הטורקי המכני", גם "לבנדר" היא נבואה שמגשימה את עצמה. השקרים, הניפוח וה־"AI washing" של מלחמת שבעה באוקטובר אינם רק כסות לזוועות שנעשו בה: זוהי אכן מלחמה באמצעות בינה מלאכותית, אבל לא במובן הטכנולוגי אלא במובן התאולוגי־כלכלי – מרגילים את מפקדי הצבא ואת הציבור כולו לרעיון שהמכונה היא שמחליטה מי יחיה ומי ימות. בכך יוצרים את מנגנון ההכשרה של זוועות המחר. העתיד שבו לוחמה תהיה באמת אוטונומית, נטולת מגע יד אדם, דוהר לעברנו במהירות גדולה הרבה יותר מן המרחק שבין פון קמפלן ל־IBM.

"לבנדר" סוללת את הדרך המוסרית והתודעתית למחיקת האחריות האנושית מפני האלגוריתם – היא מייצרת טקס חניכה לתודעה החדשה ומכשירה אותנו לעולם שבו ההחלטה להרוג מפסיקה להיות דילמה מוסרית ונעשית לפלט סטטיסטי. בכך האלגוריתם משלים את מה שהבירוקרטיה התחילה: הוא מעלים לא רק את הקורבן (שנהפך לנתון) אלא גם את התליין. בעידן הזה, הגמד הגיבן כבר לא צריך להסתתר בתוך המכונה: המכונה עצמה נעשתה מנגנון שמייתר את המצפון האנושי ומאפשר לבני האדם לחולל אסונות כבירים תוך כדי שמירה על "ידיים נקיות". זהו ניצחונו הסופי של "דקדוק השטח": עולם שבו יש רק פעולות, ואין אחראים. בעולם כזה התאולוגיה לא נעלמה – היא רק נעשתה שקופה; היא כבר לא כוח שמסתתר בתוך המנגנון אלא המנגנון עצמו: אל חדש, סטטיסטי ואדיש שגזרותיו נקבעות במרחב אלגוריתמי נסתר. הריבוע השחור הישן־נושן של המדען הפילוסוף האנגלי רוברט פלאד (Fludd), שהכתובת "וכן הלאה לאין־סוף" מקיפה אותו, נראה לי כמו הטרמה חזותית של "הקופסה השחורה" של האלגוריתם או של האל החדש של הטכנו־תאולוגיה: חסר פנים, חסר דמות וחסר רחמים.

הגמד הגיבן יצא מן המכונה, השד יצא מן הבקבוק.