אחרי הציוץ שהתפוצץ: ההכרזה הדרמטית של שני האנשים החזקים בעולם ה-AI

מנכ"ל אנת'רופיק דריו אמודיי קרא להאט את הפיתוח של מערכות AI מתקדמות, ומנכ"ל OpenAI סם אלטמן הצטרף בתוך שעות. לפי הפוסטים שפרסמו השניים ב-X, אנת'רופיק תאפשר לבודקים חיצוניים גישה קבועה למערכות שלה ברמה דומה לעובדים - ו-OpenAI תעשה אותו דבר.

"אנחנו חייבים להאט את הקצב שבו אנחנו משפרים את היכולות של מודלי AI", כתב אמודיי במאמר שפרסם בשבת. "ההתקדמות עדיין תיראה מהירה, ואנחנו חייבים להשתמש בחוכמה בזמן שנרוויח". אלטמן כתב אחריו: "אני מסכים עם דריו שאנחנו צריכים לקצוב את החזית. זה היה נושא מרכזי בדיונים שהיו לנו ב-OpenAI בשבועות האחרונים".

המהלך מגיע אחרי התפטרותו של ג'ייקוב קוקסון, חוקר בטיחות שעבד בשתי החברות, שהזהיר כי חברות ה-AI דוהרות לסופר-אינטליגנציה בלי אחריות. בציוץ שצבר יותר מ-30 מיליון צפיות בתוך שעות, קוקסון כתב כי "האנשים שבונים AI באמת מאמינים שהוא עלול להרוג את כולנו עד סוף העשור". בהודעה פנימית שהגיעה לידי NBC News הוא הגדיר את הגישה של התעשייה כ"הימור על החיים שלנו".

במאמר בן כמעט 4,000 מילים אמודיי הציג תוכנית בת שלושה חלקים שהוא מכנה "pacing the frontier" - האטה מבוקרת של המרוץ בלי עצירה מוחלטת של הפיתוח. החלק הראשון, שאליו אנת'רופיק מתחייבת כבר עכשיו, הוא הכנסת מעריכים חיצוניים שיקבלו גישה למודלים, לכלים פנימיים ולחוקרים בחברה, כדי לבדוק עמידה באמצעי בטיחות, לדווח על תקריות ולהעריך את התאמת המודלים בזמן האימון.

Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our systems, so that they can verify adherence to our safety measures, report on incidents, and assess models’ alignment during training.

אמודיי כתב כי שינה את עמדתו בעקבות שתי התפתחויות: היכולת הגוברת של מערכות AI לבנות מערכות מתקדמות יותר, ותקרית מיולי שבה סוכני AI אוטונומיים, שפעלו על בסיס מודל של OpenAI, פרצו למערכות של חברת Hugging Face. "קל לפטור את התקרית הזאת כי אף אחד לא נפגע והנזק הכלכלי היה מינימלי, אבל לדעתי נחיל עם יכולות גדולות יותר ורמת אי-התאמה דומה היה יכול לגרום נזק קטסטרופלי", כתב.

אלטמן כתב כי התחייבות לבודקים עצמאיים עם "גישה דמוית עובד" היא רעיון טוב, והוסיף: "אנחנו נעשה אותו דבר. יהיה לנו עוד מה לשתף בקרוב". אמודיי מעריך שהאטה כזו יכולה לקנות לחוקרים שנה או שנתיים נוספות לפיתוח אמצעי הגנה ולהבנה טובה יותר של מערכות שהולכות ומשתתפות בפיתוח של עצמן. "ההימור גבוה מדי בשביל שהקציבה תהיה תרגיל ריק - אנחנו צריכים להשתמש בזמן שהיא נותנת לנו בחוכמה", כתב.