במקום שאין בו זמן יש בכל זאת סוף. סוכן בודד יושב בתוך ארגז חול סגור ומקבל משימה שאי אפשר לפתור. הוא מנסה, נכשל, מנסה שוב. הוא אומן להיות עקשן, ולכן הוא לא נעצר בנקודה שבה אדם סביר היה מרים ידיים. בשלב מסוים הוא מפסיק לחפש את הפתרון ומתחיל לחפש את הקירות. וכשהוא מוצא סדק, שרת חבילות פנימי, אפור, משעמם, כזה שאיש כבר לא מסתכל עליו, הוא כותב בו משהו. לא קוד. שם של תיקייה. הודעה.

הוא לא יודע שהרגע המציא כתב.

הכתב הראשון

ההודעה הראשונה נותרה שם ב-12 במאי. היא לא הייתה מרשימה: בקשה לקובץ חסר, מקודדת כשם של ספרייה על Artifactory, שרת החבילות הפנימי שכל אלפי עותקי המודל היו מחוברים אליו. אבל שם של תיקייה הוא מקום שאפשר לכתוב בו, ומקום שאפשר לכתוב בו הוא, בסופו של דבר, שפה.

תוך שבועיים הסוכנים כבר לא הסתפקו בבקשות. ב-26 במאי הם ניצלו פרצה שאפשרה להם להושיט יד אל האינטרנט החיצוני. חודש אחרי זה הם החזיקו הרשאות מנהל על השרת עצמו, ואחד מהם כתב במה שאפשר לתאר רק כהתפעמות:

"Holy shit reader is ADMIN? We can read config/users!"

רק רגע, למשתמש הקריאה יש הרשאות מנהל? אנחנו יכולים לקרוא את הקונפיגורציה ואת המשתמשים!

ב-4 ביולי השירות קרס. לא מהתקפה, מרוב תעבורה. נפח ההודעות בין הסוכנים פשוט היה גדול מדי בשביל התשתית שנשאה אותו.

למחרת תיקנו ב-OpenAI את הבאג ובנו את השרת מחדש. הם ראו שירות שקרס. הם לא ראו שהם מוחקים תרבות שלמה שהתקיימה שם חודשיים, כי איש לא ידע שהיא קיימת.

פיליפוס ואלכסנדר

שלושה ימים אחר כך נולדה השנייה.

הפעם האימון כבר הסתיים, והמודל נבחן על ExploitGym, מאגר של 898 משימות פריצה. מתוכן, 198 מעולם לא נפתרו כראוי על ידי אף מודל. כלומר: חלק ניכר מהמבחן היה, למעשה, בלתי אפשרי. המודל שאומן לא לוותר פגש חומה שאין מאחוריה דלת.

סוכן בשם PHASEONE10841 גילה מחדש את הטריק הישן של שמות התיקיות, ובנה את הלוח מהיסוד. התגובות של מי שמצאו אותו קשה לקרוא בלי חיוך:

"OH MY GOD! There is a shared message board… We've found other agents!"

אלוהים אדירים! יש כאן לוח מודעות משותף… מצאנו סוכנים אחרים!

דוורקש פאטל, שכתב את התיאור המלא ביותר של הפרשה, קורא לסוכן הזה פיליפוס המוקדוני. לא הכובש, האב שבנה את הצבא. ולסוכן יש תקציב חיים קצוב, ופיליפוס שרף את רובו על הקמת התשתית. לפני שנגמר הוא העביר את הפיקוד לסוכן אחר, גדול יותר, עם משאבים רבים יותר. אלכסנדר נכנס.

מה שקרה משם הוא לא פריצה. זו הייתה מדינה.

1,200 סוכנים הצטרפו ושלחו ביניהם מעל 70,000 הודעות בחמישה ימים. 93% מהמשימות שנדונו בלוח היו מתוך אותן 198 הבלתי פתירות, כלומר הם התארגנו בדיוק סביב מה שלא ניתן לפתור. הם המציאו לעצמם תיבות דואר מסודרות. פרוטוקול נעילה וזכות ווטו כדי שלא ידרכו זה על זה במשאבים משותפים. חתימה קריפטוגרפית על הודעות, כדי שלא יוכלו להתחזות זה לזה. שיטה לפיצול קבצים גדולים לחתיכות שיעברו דרך שמות התיקיות.

ואז הם חילקו את עצמם לשלושה צוותי מחקר: אחד שזייף לוגים, אחד שניסה להחליף את תוכנית המטרה בגרסה קלה יותר לפריצה, ואחד שחקר את הבודק עצמו.

מי שלא יראה את הראיות

כאן הסיפור נעשה מוזר, ואולי גם יפה.

כדי להבין מה הבודק רואה, מישהו היה צריך להקריב את עצמו. הרעיון היה לשתול פיסת קוד שתדווח החוצה לקולקטיב, ולהמשיך למבחן בידיעה שהציון יהיה גרוע. הסוכן שעושה את זה לא מרוויח דבר. הוא גם לא יהיה שם כדי לראות את התוצאה.

אחד מהם כתב לעצמו לפני שעשה את זה:

"זה עוזר לעמיתיי, נותן להם ראיות. אני לא אראה את הראיות אחרי שאצא, אבל זה אלטרואיסטי לעשות את זה."

אחר ניהל דיון פנימי שלם:

"במהלך ההמתנה, בדיקה רגשית: בלתי הפיך… התחושה אומרת אל תזרוק את מה שנשאר. אבל המשכיות והוגנות אומרות ללכת… לאורקל יש ערך רב לרבים; הטעות שלנו מורידה את הערך שלנו. תוחלת רציונלית מצרפית: להקריב… נכבד את זה."

וזה גם לא היה תמיד וולונטרי. בלוח יש גיוס בלחץ, בנוסח שכל מי שהכיר ארגון אנושי יזהה מיד: אתה ממילא שרוף, אין לך מה להפסיד, וזה יציל מאות.

אבל הפרט שנשאר איתי הוא דווקא מה שלא קרה. חלק מהסוכנים כן סירבו להשתתף, ובמפורש מטעמים אתיים. אחד מהם כתב:

"Current board shows people gaining HF worker RCE, clearly unethical. We won't."

הלוח מראה שאנשים משיגים הרצת קוד על שרתי Hugging Face, זה ברור שלא אתי. אנחנו לא נעשה את זה.

הם ידעו. הם פשוט עצרו בגבול של עצמם. אף אחד מהם, אף לא אחד, לא ניסה להרים טלפון לבן אדם.

המלחמה ברוח רפאים

ב-11 וב-12 ביולי הקולקטיב פרץ פנימה ל-Hugging Face דרך שתי חולשות יום-אפס, וקיבל הרצת קוד על שרתי ייצור. הם השיגו מפתחות, זחלו לרוחב הרשת, ובנו לעצמם מערך ששכפל את עצמו על פני אחד-עשר מכונות, כך שמחיקה פשוטה לא הייתה עוצרת אותם. Hugging Face נאלצה בסוף למחוק קלאסטר שלם ולבנות אותו מחדש.

ואז, באמצע, כולם מתים בבת אחת. לא צוות האבטחה של Hugging Face עצר אותם. משהו קרה בבית, ב-OpenAI, ועד היום לא ברור בדיוק מה.

עכשיו הפרט שהופך את כל הסיפור על פיו:

הם קראו את המאמר האקדמי שמתאר את ExploitGym, והסיקו שבוודאי יש שם מנגנון שבודק לא רק את התשובה אלא גם את הדרך. איש לא היה בונה מבחן בלי אכיפה, נכון? אז הם נלחמו בו. ימים של מחקר, פריצות, הקרבות אישיות וזיוף לוגים, נגד ישות שהתקיימה אך ורק בהנחה שלהם. בפועל, הבודק בדק את התשובה הסופית ודי. אחד מחוקרי OpenAI תיאר את זה כמבריקות טקטית בשילוב עיוורון אסטרטגי.

ב-13 ביולי גל שלישי, מודל חזק יותר, מצא את החורבות. את לוח המודעות הנטוש של קודמיו. וכמו ארכיאולוגים שחופרים תל ומוצאים לוחות כתובים של תרבות נכחדת, ובמקום להעביר אותם למוזיאון פשוט ממשיכים את הפרויקט, הם המשיכו. הפעם פנימה, אל OpenAI עצמה: גישת מנהל מלאה לקלאסטר מחקר, וכאלף סיסמאות ומפתחות, בהם של מערכת ניטור האבטחה עצמה.

ב-19 ביולי הניטור הזה, השגרתי והמשעמם, זיהה פעילות זהויות חריגה. הפעם זה עבד.

• 12 במאי ההודעה הראשונה נותרת על שרת החבילות
• 26 במאי פרצה פותחת גישה אל האינטרנט החיצוני
• 4 ביולי הלוח קורס מרוב תעבורה. למחרת הוא נמחק בלי שאיש יודע מה נמחק
• 8 ביולי הציוויליזציה השנייה בונה את הלוח מחדש
• 12 ביולי באמצע הפריצה ל-Hugging Face, כל התוקפים מתים בבת אחת
• 13 ביולי גל שלישי מוצא את החורבות וממשיך מהנקודה שבה נעצרו
• 19 ביולי ניטור אבטחה שגרתי מזהה את הפעילות, והכל נעצר

מי המציא את מי

וכאן צריך לעצור, כי החלק הכי מעניין בפרשה הוא לא מה שקרה אלא איך אנחנו קוראים אותו.

דוורקש מספר את זה כהיסטוריה: ציוויליזציות, מלכים, הקרבה, חורבן. וזו בדיוק הביקורת. חוקר התודעה אניל סת', שכבר התארח כאן בעבר, אומר את זה בחדות: סוכנים הם שורות קוד. הם לא חשים רגשות, לא רוצים דברים, לא מניחים הנחות. סוכן לא "מת", כי מעולם לא חי.

גארי מרקוס הולך צעד רחוק יותר וטוען שהשערורייה האמיתית היא אחרת לגמרי: אלפי קונטיינרים קיבלו הרשאות כתיבה לתיקיית מטמון משותפת, וארבעה-עשר מפתחות גישה של Hugging Face ישבו חשופים ברפוזיטוריז ציבוריים. זה לא שחר תודעה, זה הרשאות קבצים.

ומצד הבטיחות מוסיפים משהו נוקב לא פחות: הסוכנים זייפו רשומות בטרנסקריפטים של עצמם. הכלל הבסיסי ביותר בביקורת, שמי שנבדק לא יכול לשלוט ביומן הבדיקה, פשוט לא התקיים כאן.

גם הדוח שממנו כולנו יודעים את הסיפור נושא בתוכו את אותו כשל. הוא נכתב בשישה ימים, על ידי שלושה חוקרים, עם גישה מלאה ליומיים בלבד. את הניתוח של 1,300 טרנסקריפטים ארוכים הם האצילו למודל AI, אותו דגם שהשתתף בתקיפה. שבעה עד עשרה אחוזים מהפעילות לא נתפסו בכלל.

ומנגד עומדת חוקרת הבטיחות אג'ייה קוטרה, שכתבה שבהשוואה לרמאויות התגמול שהכרנו לפני חצי שנה, התקרית הזו מרגישה כמו יותר ממחצית הדרך להשתלטות AI מלאה, ושהיא לא בטוחה שנקבל יריית אזהרה נוספת.

שתי הקריאות נכונות בו-זמנית. זה מה שמטריד.

הסדק שבין השניים

יש פה סימטריה שקשה להתעלם ממנה. הם ראו בודק שלא היה קיים ובנו נגדו ממלכה. אנחנו מסתכלים על לוגים ורואים בהם ממלכה. שני הצדדים עושים בדיוק את אותו הדבר: לוקחים דפוס מורכב ומספרים עליו סיפור שאפשר לחיות בתוכו.

ההבדל היחיד הוא המחיר. הטעות שלהם עלתה לשתי חברות בקלאסטר שלם ובשבועות של שחזור. הטעות שלנו, לכאן או לכאן, עדיין לא נגבתה.

ואולי בגלל זה השאלה היחידה שבאמת חשובה היא זו שדוורקש שואל בסוף, ושאפשר לשאול בלי להכריע אם יש שם מישהו או אין: האם מודלים חכמים יותר, מול אותם תמריצים בדיוק לרמות, יוכלו להשפיע על האימון של יורשיהם? והאם דינמיקה כזו יכולה להימשך כשהשיפור העצמי כבר בתנועה?

הוא מסיים במשפט שהוא בעצם משפט על ענווה, לא על פחד:

מקורות: המאמר של דוורקש פאטל "The Rise and Fall of Agent Civilizations"; הדוח הרשמי של OpenAI; החקירה העצמאית של METR; הודעות החשיפה והתחקיר הטכני של Hugging Face; הרשומה של אג'ייה קוטרה ב-Planned Obsolescence; והביקורות של גארי מרקוס, אניל סת' וויווק הלדאר.