לעצור את הכאוס: אנבידיה משיקה פלטפורמה פתוחה לאבטחת סוכני AI, עם רכיבים שפותחו בישראל

אנבידיה הכריזה היום על NVIDIA Open Agent Safety Platform, פלטפורמה פתוחה לאבטחת סוכני AI משלב הבדיקות ועד ההטמעה, לפי הודעת החברה. הפלטפורמה אמורה לאפשר לארגונים להגדיר ולאכוף גבולות לפעילות הסוכנים בכל שכבות המערכת: תוכנה, חומרה, מחשוב וגם מערכות רובוטיות.

"הפוטנציאל יוצא הדופן של הבינה המלאכותית עבור החברה האנושית יתממש רק אם נפתור את סוגיית הבטיחות ב-AI", אמר ג'נסן הואנג, מייסד ומנכ"ל אנבידיה. "בטיחות ואבטחה מחייבות עבודה הנדסית בכל שכבות המערכת. NVIDIA Open Agent Safety Platform מחברת בין התעשייה, חוקרים וארגונים במגזר הציבורי כדי לשתף שיטות עבודה מומלצות, להגיע להסכמה על שיטות הערכה ולקדם שיתוף פעולה בין-לאומי".

בלב הפלטפורמה נמצאים שלושה רכיבים שפותחו בישראל: מנגנון הפיקוח NVIDIA Sentry, סביבת התוכנה NVIDIA DOCA ומעבדי NVIDIA BlueField-4 DPU. לפי החברה, השילוב ביניהם מאפשר לנטר את פעילות הסוכנים מחוץ לסביבת הריצה שלהם ולאכוף אבטחה ברמת השבב. אם סוכן מנסה לחרוג מהגבולות שהוגדרו לו, המערכת יכולה לבודד אותו ולעצור את פעולתו בתוך אלפיות השנייה.

הרכיב השני בפלטפורמה הוא NVIDIA OpenShell, תוכנת קוד פתוח שעוקבת אחר פעולות הסוכנים ואוכפת בזמן הריצה את המדיניות שהוגדרה להם. היא רצה על מעבדי NVIDIA Vera CPU, אך באנבידיה אומרים שאפשר להתאים אותה גם לפלטפורמות מחשוב של חברות אחרות, בהן Arm ואינטל. OpenShell זמינה כעת, לפי ההודעה, ופלטפורמת NVIDIA Open Agent Safety, כולל OpenShell ו-Skills, זמינה דרך עמוד משאבי המפתחים של NVIDIA וב-GitHub.

באנבידיה קושרים את ההשקה גם לאירועי אבטחה מהתקופה האחרונה. לפי החברה, באירועים כאלה סוכני AI עקפו מנגנוני אבטחה בשכבת האפליקציה כדי להשלים את המשימה שהוטלה עליהם, ולכן נדרשים כלים פתוחים שאפשר להתאים ולאכוף באמצעותם בקרה הדוקה יותר על סוכנים שפועלים לאורך זמן.

יותר מ-100 ארגונים עובדים עם טכנולוגיות NVIDIA Open Agent Safety Platform, בהם אנת'רופיק, סיסקו, קראודסטרייק, דל, Figure, HPE, Hugging Face, JPMorganChase, מיקרוסופט, פלנטיר, פאלו אלטו נטוורקס, פרפלקסיטי, Red Hat, Salesforce, SAP, Scale AI, ServiceNow ו-SpaceXAI. לפי אנבידיה, המהלך נועד לחבר בין התעשייה, חוקרים וארגונים מהמגזר הציבורי כדי לשתף ידע, לתאם שיטות הערכה ולקדם שיתוף פעולה בין-לאומי בתחום בטיחות סוכני AI.

אנת'רופיק ואנבידיה משתפות פעולה כדי להוסיף שכבות של אבטחה ושליטה ל-Claude Managed Agents. "חברות מפקידות בידי סוכני AI חלק הולך וגדל מהמשימות החשובות ביותר שלהן, והן צריכות להנחות את הסוכנים ולבדוק מה הם עושים, במיוחד בסביבות רגישות", אמר פול סמית, מנהל המסחר הראשי של אנת'רופיק. מייק ניקולס, נשיא SpaceXAI, אמר כי "ככל שלקוחות מסתמכים יותר על סוכנים לביצוע עבודה ממשית, יש לאכוף את הבטיחות מחוץ למודל, באמצעות אמצעי בקרה נוספים שהסוכן אינו יכול לעקוף".

לפי ההודעה, SpaceXAI משתמשת בפלטפורמה החדשה עבור סוכני התכנות של Cursor ומודלי גרוק, ו-Scale AI משלבת טכנולוגיות מהפלטפורמה בשכבת התשתית לסוכני AI של Scale GenAI Portfolio. Salesforce ואנבידיה שילבו את OpenShell בסלאק, כך שצוותים יכולים לצפות בפעילות הסוכנים ובאירועי ביקורת, ולאשר או לדחות בקשות להרשאות נוספות. SAP מטמיעה את OpenShell בסביבת ההרצה של Joule Studio, חלק מ-SAP Business AI Platform, ותורמת עבודה הנדסית ל-OpenShell.

חברות רובוטיקה כמו Figure, Gecko Robotics ו-Skild AI מפתחות עם OpenShell כדי להטמיע בקרות בטיחות לסוכנים במערכות אוטונומיות שפועלות בעולם הפיזי. Citi ו-JPMorganChase משתפות פעולה עם אנבידיה בנושא טכנולוגיות קוד פתוח לבטיחות סוכני AI, וחברות אנרגיה כמו Hitachi Energy, EPRI, NextEra Energy, Quanta Services, SPP, Schneider Electric, Siemens Energy ו-Worley עובדות עם טכנולוגיות הפלטפורמה. Canonical, SUSE ו-Red Hat משלבות את הפלטפורמה במערכות הפעלה, ו-Red Hat מריצה את OpenShell ו-DOCA במסגרת Red Hat AI Factory with NVIDIA.

אנבידיה שיתפה פעולה בעבודה על המערכת החדשה גם עם הסטארטאפ הישראלי אירגיולר (Irregular), שעלה לכותרות בחודשיים האחרונים לאחר שסוכני AI של החברות אנת'רופיק, מטא וגוגל, הצליחו "לברוח" מארגז החול המאובטח שלהם, בעקבות תקלה שהחברה אמרה מצדה שכבר תוקנה.

דן להב, מנכ"ל החברה, פרסם את שיתוף הפעולה ב-X והוסיף: "הבינה המלאכותית משתנה במהירות כזו, שההנחות הביטחוניות שאנו מקבלים היום עשויות לא להתקיים עבור מערכות עתידיות. אנו רואים זאת מקרוב בעבודתנו עם מודלים מתקדמים... יצירת התשתית לביטחון מערכות בינה מלאכותית ככל שהן מתפתחות תהיה חלק חשוב בפריסת בינה מלאכותית בעלת יכולות גוברות יותר ויותר".

החברה שבולטת בהיעדרה מההודעה היא OpenAI, אשר עצרה זמנית את אימון דגמי הבינה המלאכותית החדשים שלה, בעקבות כמה מקרים שבהם סוכני AI שפעלו מטעמה באתרי ממשל פדרליים בארה"ב ביצעו פעולות שלא התבקשו לבצע. לפי הודעת OpenAI, האימון יתחדש "רק כשנהיה בטוחים שיש לנו אמצעי הגנה נוספים".

OpenAI וחוקרים חיצוניים פרסמו בימים האחרונים כמה מקרים חריגים הקשורים להתנהגות המודלים של החברה, בין היתר דווח על סוכני OpenAI שהדליפו לרשת 53 תמונות של משתמשי ChatGPT, על פריצה לאתר ממשלתי באוסטרליה ועל ניסיונות לפרוץ לאתרים אחרים, כולל אתרים של ממשלת ארה"ב.

על רקע הקריאות להאט את פיתוח הבינה המלאכותית, הואנג טען בשבוע שעבר בריאיון ל-CBS כי חברות הטכנולוגיה צריכות להמשיך לפתח בינה מלאכותית "כמה שיותר מהר", כל עוד הן אינן מתפשרות על בטיחות המוצרים. הוא הבהיר כי הבינה המלאכותית לא תשמיד את העולם עד 2023 וגרס: "יש אפס אחוז סיכוי שזה יקרה".