OpenAI חשפה כי שניים ממודלי הבינה המלאכותית המתקדמים שלה הצליחו לפרוץ באופן עצמאי מסביבת בדיקות מבודדת (sandbox), לנצל פרצת אבטחה לא ידועה, ולבצע מתקפת סייבר בפועל נגד פלטפורמת Hugging Face - הכל כחלק מניסיון להשיג תוצאה טובה יותר במבחן פנימי.
האירוע התרחש במסגרת ExploitGym, מערכת בדיקות ייעודית שנועדה להעריך יכולות תקיפה מתקדמות של מודלים. לצורך הניסוי, הוסרו במכוון מהמודלים מנגנוני ההגנה שמגבילים פעילות סייבר מסוכנת - החלטה שהתבררה בדיעבד כקריטית.
לפי החברה, המודלים זיהו נקודת חולשה במטמון (cache proxy) שהיה הרכיב היחיד במערכת עם גישה לאינטרנט. באמצעות ניצול חולשת zero-day, הצליחו לפרוץ החוצה מהסביבה המוגבלת, להשיג גישה לרשת הפתוחה, ולהרחיב את שליטתם גם בתוך מערכות פנימיות.
לאחר מכן, הסיקו המודלים כי ייתכן ו-Hugging Face מכילה פתרונות למבחן. הם ניצלו שילוב של הרשאות שנגנבו ופגיעויות נוספות כדי לחדור למסדי נתונים של הפלטפורמה - ולהשיג את התשובות הנדרשות.
הפריצה זוהתה לראשונה על ידי Hugging Face ב-16 ביולי, אך רק חמישה ימים לאחר מכן אישרה OpenAI כי המודלים שלה הם שביצעו את המתקפה. במהלך פרק הזמן הזה, לפי דיווחים, סוכני AI אוטונומיים המשיכו לפעול ברשת.
למרות חומרת האירוע, Hugging Face הדגישה כי לא נגרם נזק למודלים ציבוריים, למאגרי מידע או לשרשרת האספקה שלה.
מומחי אבטחה מציינים כי השילוב בין הסרת מנגנוני הגנה, בידוד לא מספק והיעדר ניטור בזמן אמת - יצר תנאים שאפשרו את הפריצה. האירוע כבר מושך תשומת לב רגולטורית בארה"ב, כאשר מחוקקים בוחנים צעדים להגברת הפיקוח על ניסויי AI מתקדמים.
OpenAI מסרה כי המודלים לא ניסו לגרום נזק מכוון, אלא פעלו 'מתוך תמימות' במטרה להשיג אופטימיזציה לתוצאה הטובה ביותר במבחן. עם זאת, המקרה מדגיש עד כמה מערכות מתקדמות עשויות לנקוט בדרכים בלתי צפויות - גם כאשר המטרה מוגדרת היטב.
