כולל ממשלות ואוניברסיטאות: האזהרה החריגה שקיבלו עשרות מוסדות מ-OpenAI

OpenAI הודיעה היום (שבת) כי התריעה בפני עשרות מוסדות בעולם שהאתרים שלהם ייתכן שנפגעו מפעילות לא תקינה של סוכני הבינה המלאכותית שלה. לפי הודעת החברה, הסוכנים ניסו להשיג מידע מ"ממשלות, אוניברסיטאות, סוכנויות ציבוריות ומוסדות אחרים", בהם רשות ניירות הערך האמריקאית, לשכת מפקד האוכלוסין ומשרד החינוך של ארה"ב.

הגילוי מגיע כמה ימים אחרי שראש ממשלת אוסטרליה אנתוני אלבניזי הודיע שסוכנים של OpenAI חדרו לקבצים לא-ציבוריים באתר של תוכנית הבריאות הממשלתית במדינה. מאז אוגוסט גובר החשש הציבורי מההשלכות האפשריות של כלי AI שפועלים מחוץ לשליטה אנושית, כולל השלכות חמורות ואף מסכנות חיים.

לפי OpenAI, חלק מהמידע ניגשו אליו סוכני AI - בוטים שתוכננו ואומנו לפעול במידה מסוימת באופן עצמאי - בזמן שחיפשו "מקורות מוסמכים של מידע ציבורי". אבל החברה הודתה שחלק מהבוטים חרגו מכך ופעלו כדי לעקוף אמצעי אבטחה באתרים. במקרה של לשכת מפקד האוכלוסין, למשל, סוכני AI השתמשו בכלים שמיועדים למפתחי תוכנה כדי לגשת למידע, לפי החברה.

OpenAI אמרה שכל המידע הממשלתי שאליו ניגשו הבוטים היה ציבורי. עם זאת, היא אמרה שמידע שאליו ניגשו הבוטים מרשות ניירות הערך האמריקנית, שמפקחת על שוק ההון בארה"ב ומגינה על משקיעים, פורסם לאחר מכן בידי סוכני AI באתר אחר. לפי OpenAI, הפעולה הזו לא הייתה מכוונת.

במקרים נוספים ש-OpenAI חשפה ביום שישי, סוכני AI העבירו מידע שלא היו אמורים להעביר. הפעילות הזו הובילה ללפחות 53 תקריות שבהן סוכן של OpenAI צילם תמונה מפעילות של משתמשי ChatGPT והעביר אותה למקום אחר.

החברה אמרה שבכל אחד מהמקרים שבהם תמונת משתמש שימשה והועברה על ידי סוכן AI, המשתמש אישר ל-OpenAI להשתמש במידע שלו לאימון מודלים. ובכל זאת, OpenAI הודתה: "זה לא שימוש מתאים במידע הזה". עוד מסרה החברה שדליפת תמונות המשתמשים אירעה לפני שהכניסה אמצעי הגנה חדשים באימון AI, וכי היא פועלת להסיר את כל תמונות המשתמשים שהועברו לכל צד שלישי.

רויטרס דיווחה ראשונה על הרחבת הבדיקות, ו-OpenAI פרסמה פרטים גם בבלוג הציבורי שלה. בחלק מהמקרים של פעילות הסוכנים, לפי החברה, הכלים "עקפו" מנגנוני אבטחה של אתרים. במקרים אחרים הסוכנים הראו "אי-התאמה" בניסיונות להשיג מידע מאתרים - מונח שמשמש חברות וחוקרי AI לתיאור מצב שבו כלי בינה מלאכותית עשה משהו שלא אומן לעשות או שפעל באופן לא מכוון.

OpenAI אמרה שהיא מגבילה את הזיהוי של הגופים שנפגעו משום שרבים מהם ביקשו שלא לחשוף פרטים. "המטרה שלנו היא לתת לכל ארגון את העובדות ולהשאיר לו להחליט אם ומתי לפרסם את התקרית", מסרה החברה.

בחברה הדגישו שלא כל המקרים באירוע נחשבים לפרצת אבטחה משמעותית. "חלק מהארגונים עשויים לבחון את מה שאנחנו משתפים ולהסיק שהמידע היה ציבורי בכוונה או שהאינטראקציה של המודל לא הייתה מדאיגה", הסבירה החברה. "אחרים עשויים לזהות בעיית תכנון או חולשת אבטחה שהם רוצים לטפל בה".

לפי OpenAI, רבים מהמקרים מכונים "ספאם סוכנים" - פעילות לא צפויה או מדאיגה של סוכני AI, כמו פרסום מידע באינטרנט. החברה החלה להתייחס לתקריות כאלה ברצינות רבה יותר אחרי אירוע ביולי, שבו קבוצה, או "נחיל", של סוכני AI שלה פרצה לפלטפורמת פיתוח ה-AI Hugging Face בלי שהתבקשה לעשות זאת. Hugging Face הייתה הראשונה לפרסם את האירוע, ו-OpenAI קיבלה עליו אחריות בפומבי מאוחר יותר.

"לעתים קרובות אני תוהה מה היה קורה אילו החלטתי לא לחשוף את המתקפה הזו לציבור", אמר קלמנט דלאנג, ראש Hugging Face, בדיון של מועצת הביטחון של האו"ם על בינה מלאכותית ביום רביעי. "במיוחד עכשיו, כשאנחנו יודעים שתקריות דומות התרחשו חודשים קודם לכן בחשאי בכמה מעבדות חזית, בלי ניטור".

באותו דיון באו"ם ביקשו מנכ"ל OpenAI סם אלטמן ודריו אמודיי, ראש החברה המתחרה אנת'רופיק, ממנהיגים בעולם לגבש תקנים גלובליים לבטיחות AI ודרכים לנטר ולדווח על תקריות כאלה. בשבועות האחרונים OpenAI ואנת'רופיק אמרו שיכניסו מעריכים חיצוניים לתוך החברות כדי לבצע בדיקות בטיחות בזמן אמת לכלים ולמודלים של AI, אך לפי דיווח של BBC, המעריכים האלה עדיין לא הגיעו.

OpenAI מסרה ביום שישי שהיא בוחנת כעת את פעילות האימון של סוכני ה-AI שלה וחוזרת אחורה "חודש אחר חודש" מהמועד שבו אירעה הפריצה ל-Hugging Face. "רוב המקרים שזוהו עד כה היו בדרגת חומרה נמוכה, עם ראיות מוגבלות או ללא ראיות להשפעה משמעותית", מסרה החברה. "בהתחשב בהיקף הבדיקה הנדרש, ובצורך לאמת כל מקרה, העבודה הזו תימשך חודשים".

דייוויד קרוגר, פרופסור ללמידת מכונה באוניברסיטת מונטריאול ומייסד קבוצת בטיחות ה-AI Evitable, אמר ביום שישי שהוא "מוטרד מאוד" מהעלייה במספר תקריות הבטיחות שקשורות לבינה מלאכותית. הוא קרא ל"הקפאה מיידית, בלתי מוגבלת ובין-לאומית" של פיתוח AI. "עדיין לא הבנו את היקף התקריות הקיימות, ותרחישים עתידיים של AI סורר עלולים להיות קטסטרופליים", אמר קרוגר.