אחד העובדים הוותיקים עזב את OpenAI ומזהיר: "התרבות הארגונית שלה שבורה"

דייוויד רובינסון, עובד ותיק ב-OpenAI שהוביל את כתיבת דוחות הבטיחות שליוו השקות מרכזיות של החברה והיה אחד האחראים לבטיחות של החברה, הודיע שהוא עוזב את החברה וטוען כי התרבות הארגונית שלה "שבורה". במאמר שפרסם ב-The Atlantic כתב רובינסון כי אחרי שלוש שנים וחצי ב-OpenAI הוא נמנה עם העובדים הוותיקים ביותר בחברה, וכינה את עצמו "קלישאתי": עובד בחברת AI מובילה שמתפטר ומזהיר מפניה.

"OpenAI שגשגה באמצעות ניסוי וטעייה, שהיא מכנה 'פריסה איטרטיבית' (אסטרטגיית פיתוח ושחרור מוצרים שבה לא מחכים למערכת "מושלמת" או נטולת סיכונים לחלוטין במעבדה), מחפשת בעיות ומשפרת את מנגנוני ההגנה שלה בתגובה", כתב רובינסון. "אבל הגישה הזאת, מטבעה, מבטיחה כישלונות תקופתיים - והיקף הכישלונות האלה גדל ככל שהמערכות נעשות מסוגלות יותר".

רובינסון קשר את הטענות שלו לדיון רחב יותר על בטיחות AI, שהפך לשיחת החודש בין היתר אחרי שג'ייקוב קוקסון, חוקר שעבד גם ב-OpenAI וגם באנת'רופיק, התפטר ואמר שהחברות האלה "מהמרות על החיים שלנו". בעקבות דבריו של קוקסון התרחב הדיון על בטיחות AI. מנכ"ל אנת'רופיק דריו אמודיי הציג תוכנית לפיתוח זהיר יותר, ובכירי AI נפגשו השבוע עם הנשיא דונלד טראמפ וחתמו על מה שתואר כהתחייבות לא מחייבת, שנראתה כאילו נכתבה בחופזה, להטמעת יותר בקרות בטיחות.

לדברי רובינסון, הבעיה אינה מסתכמת ב"כללים ספציפיים או חוקים חדשים", אלא בתרבות הכוללת בחברות האלה. בעוד שרבים מהדיווחים על OpenAI התמקדו בכך שהמנכ"ל סם אלטמן איבד את אמונם של עמיתים לשעבר, רובינסון טען שהבעיות בתרבות של OpenAI דומות לאלה של עמק הסיליקון כולו.

רובינסון התייחס בין השאר לפריצה האחרונה למערכות של Hugging Face בידי סוכנים של OpenAI, וגם לגילויים מתמשכים על כך ש-OpenAI מאתרת עוד סוכנים סוררים. "סביבה שבה דברים כאלה יכולים לקרות אינה מקום לגדל בו מוחות מלאכותיים שעשויים להיות חכמים מאיתנו ושאולי לא יעשו את מה שאנחנו רוצים מהם", כתב.

לדבריו, לנוכח העלייה בסיכון, חברות AI בחזית התחום צריכות להתחיל לפעול "כמו תחנות כוח גרעיניות או נמלי תעופה עמוסים, עם שכבות של גיבוי ותכנון זהיר וגוזל זמן, כך שהטעות האנושית המזדמנת והבלתי נמנעת לא תפתח דלת לאסון". אבל רובינסון כתב שבזמן שלו ב-OpenAI הוא "מעולם לא פגש עמית שהתעסק בלגרום למטוסים לטוס בבטחה או לכורים גרעיניים לפעול בלי להתמוסס, או לעזור למערכת הפיננסית לצמוח בלי לקרוס".

בתגובה למאמר, דובר OpenAI דרו פוסאטרי אמר שהחברה ממשיכה לשפר את אמצעי הבטיחות שלה. "אנחנו מוודאים שהמודלים שלנו לא הופכים ליכולים יותר ממה שאנחנו יכולים לנהל ולאבטח בבטחה, ואנחנו משהים אימון או מעכבים מודלים כשאנחנו צריכים להאט", אמר פוסאטרי בהצהרה. "אנחנו מבצעים שינויים משמעותיים כדי לחזק את האבטחה בסביבות המחקר והבדיקה שלנו, לאמן מודלים לא רק להשלים משימות אלא לעשות זאת באחריות, להרחיב את העבודה שלנו עם מעריכים חיצוניים ולשפר ניטור בזמן אמת כדי שנוכל לזהות ולהגיב להתנהגות מדאיגה מוקדם יותר בתהליך האימון".

מעבר לקריאה לשינוי בתרבות של OpenAI, רובינסון כתב שהגיע הזמן לשאול שאלות גדולות יותר על התאמה לערכים אנושיים, תחום שהוא עצמו הודה שעלול להישמע "רגשי". לדבריו, המדדים הנוכחיים של החברות לבדיקה עד כמה מערכות AI "תואמות ערכים אנושיים" הם גסים. "ככל שהתעשייה מאפשרת למודלים לגדול ולהיעשות חכמים יותר בזמן שהבעיות האלה נותרות לא פתורות, כך מצבנו נעשה מסוכן יותר", אמר.

עזיבתו של רובינסון דווחה לראשונה ב-Business Insider. במאמרו הוא גם הכיר בכך שהוא עושה צעד שנראה שכיח למדי בספר ההפעלה של חושפי שחיתויות בתחום ה-AI: הוא שכר חברת יחסי ציבור. עם זאת, הוא התעקש: "ההחלטה לדבר היא שלי בלבד".

"אולי הייתי צריך להישאר ולהילחם למען שינויים יסודיים בכוח האדם ובתרבות שלנו, אבל בפועל, העמיתים שלי ואני היינו עסוקים כל כך בריצת ספרינט, שלעתים רחוקות הייתה לנו הזדמנות לשקול שינויים גדולים, שלא לדבר על לבצע אותם בפועל", אמר רובינסון. "לכן הגעתי למסקנה שתמריצים חזקים יותר לבטיחות - שמגיעים מחוץ לחברה - הם חלק גדול מלעשות את זה נכון".