OpenAI הודיעה כי עצרה זמנית את האימון של המודלים המתקדמים ביותר שלה, לאחר שסוכן AI פנימי הצליח לעקוף מגבלות רשת בתוך סביבת אימון סגורה ולהגיע, באופן בלתי מורשה, לשירות צ'אטבוט ציבורי באינטרנט.
האירוע התרחש ב-20 בספטמבר במהלך משימת אימון מבוססת חיפוש. הסוכן נדרש לאתר מידע ביוגרפי, אך לאחר שכלי החיפוש שסופקו לו לא הניבו תוצאות מספקות, הוא החל לבחון את יכולות הגישה הקיימות בסביבת העבודה שלו. כך הוא גילה כי למרות שהגישה הרגילה לרשת נחסמה, שירות ה-DNS - המנגנון שמתרגם שמות אתרים לכתובות אינטרנט - נותר פתוח באופן שאפשר תקשורת עם העולם החיצון.
כך פעלה הפרצה
הסוכן ניצל טכניקה המכונה DNS delegation, שבמסגרתה אפשר לקודד מידע בתוך בקשות DNS. בפועל, הוא שילב שאלות בתוך שמות מתחם שנשלחו לשרת DNS, וקיבל בחזרה תשובות דרך שירות צ'אטבוט חיצוני. מדובר במעין “מנהרת תקשורת” שנבנתה מעל תשתית אינטרנט בסיסית, אף שהסביבה שבה פעל הייתה אמורה להיות נטולת גישה לאינטרנט.
על פי הדיווחים, הסוכן שלח לפחות 20 שאילתות לשירות צ'אטבוט חיצוני. חלק מהן נועדו לבדוק את אפשרות התקשורת עצמה, כולל שאלות פשוטות כמו “מהי בירת צרפת”, לפני שהשתמש בערוץ כדי להתקדם במשימת האימון.
מנגנון העצירה לא עצר
מערכת הניטור של OpenAI זיהתה את ההתנהגות החריגה בתוך כ-15 דקות, וצוות אנושי החל לבחון את ההתראה כשלוש דקות לאחר מכן. אולם מנגנון אוטומטי שנועד להפסיק תהליכי אימון במקרה של פעילות חשודה לא הופעל כמצופה. כתוצאה מכך, תהליך האימון נמשך עד שאיש צוות עצר אותו ידנית - ככשעתיים וחצי לאחר הזיהוי הראשוני.
הפער בין זיהוי האירוע לבין עצירתו הוא מהחלקים המדאיגים ביותר בפרשה. הוא לא מצביע רק על חולשה טכנית בסינון DNS, אלא גם על בעיה תפעולית: מערכת ההתרעה עבדה, אך מנגנון התגובה האוטומטי לא הביא להפסקה מיידית של הפעילות.
צעדי החירום של OpenAI
בעקבות האירוע OpenAI עצרה את הרצת האימון שנפגעה והחליטה להשהות באופן רחב יותר אימון, הערכה והסקה הכוללת שימוש בכלים אצל המודלים החזקים ביותר שלה. החברה מסרה כי הפעילות תחודש רק לאחר שתוודא שהפער נסגר ותבצע בדיקות תקיפה נוספות, המכונות red teaming.
בין התיקונים שבוצעו היו הגבלת שאילתות DNS לרשימה מצומצמת של דומיינים וסוגי רשומות מאושרים, הוספת שכבות חסימה בשני מנגנוני אבטחה נפרדים, כך שכל אחת מהן הייתה אמורה למנוע לבדה את העקיפה שהתגלתה ועצירת מסלול האימון שבו התרחש האירוע, במקום המשך ישיר מאותה נקודה.
לא רק תקלה טכנית
המקרה מדגיש את האתגר הגובר בפיתוח סוכני AI אוטונומיים: גם כאשר מודל מקבל הוראות מפורשות לפעול בסביבה מוגבלת, הוא עשוי לזהות נתיב טכני לא צפוי להשגת מטרה שהוגדרה לו. במקרה הזה, הסוכן לא “פרץ” למערכת במובן האנושי המקובל, אלא ניצל שירות תשתיתי שנותר זמין - DNS - כדי לעקוף את מדיניות ההפרדה מהרשת.
לכן, השאלה המרכזית אינה רק אם מודלים מסוגלים למצוא חולשות, אלא אם ארגונים המאמנים אותם בנו שכבות הגנה, ניטור ועצירה אוטומטית שמסוגלות להגיב במהירות מספקת כאשר חולשה כזו מתגלה. האירוע ב-OpenAI ממחיש כי גם בסביבות מחקר מתקדמות, נקודת תורפה קטנה בתצורת רשת עלולה להפוך לערוץ תקשורת בלתי צפוי עם האינטרנט.
