חולשת אבטחה קריטית התגלתה באפליקציה פיננסית שקוד משמעותי ממנה נכתב באמצעות מודל הבינה המלאכותית Claude. הפרצה נחשפה במהלך בדיקת חדירות שערכה חברת הסייבר הישראלית סיגניה עבור מוסד פיננסי המנהל נכסים בשווי מיליארדי דולרים.
האפליקציה שימשה לקליטת לקוחות חדשים ונועדה לאפשר למי שהפסיקו את תהליך ההרשמה לחזור אליו מאוחר יותר, גם לפני שבחרו שם משתמש וסיסמה. כדי לזהות את הלקוחות החוזרים, המערכת הסתמכה על מזהה ייחודי מסוג GUID.
אלא שלפי החוקרים, מנגנון הגישה שנבנה באפליקציה הנפיק טוקן גישה על בסיס החזקת המזהה בלבד, מבלי לוודא כי האדם שמבקש להיכנס לתהליך הוא אכן בעל החשבון. המשמעות הייתה שמשתמש בעל הרשאות מינימליות, שהצליח להשיג או לנחש מזהה של משתמש אחר, עשוי היה לקבל גישה למידע שלא היה אמור להיות חשוף בפניו.
בין הנתונים שניתן היה לראות נמצאו מספרי זיהוי אישיים, בהם מספרי SSN בארצות הברית, פרטי קשר, מצב הטיפול בבקשות אשראי ומידע על שותפים פיננסיים או מגישים משותפים של בקשות.
בסיגניה הסבירו כי לא מדובר בהכרח בשגיאת תכנות רגילה, אלא בכשל לוגי בתכנון מנגנון ההרשאות. הקוד עשוי היה לפעול באופן תקין מבחינה טכנית, לעבור קימפול ואף לעמוד בבדיקות בסיסיות, אך עדיין להסתמך על הנחה שגויה שלפיה החזקת מזהה מעידה על בעלות או על הרשאה.
"קוד שעובד אינו זהה לקוד מאובטח", אמר זאק מיד, חוקר חדירות בכיר בסיגניה שהיה מעורב בבדיקה. לדבריו, כלים אוטומטיים לסריקת קוד מתקשים לעיתים לזהות חולשות מסוג זה, משום שהן נובעות מהאופן שבו תוכננו גבולות האמון וההרשאות במערכת, ולא בהכרח משורת קוד חריגה או מרכיב תוכנה פגיע.
באופן אירוני, החוקרים נעזרו גם הם במודל שפה כדי לבחון חלקים מהקוד ולאתר את נקודת הכשל. המקרה ממחיש כיצד אותם כלים המסייעים למפתחים לכתוב קוד במהירות יכולים לשמש גם חוקרי אבטחה, ולעיתים גם תוקפים, כדי לנתח מערכות ולאתר חולשות בתוך זמן קצר.
בדוח שפרסמה החברה תוארה התופעה כ"דמוקרטיזציה של חולשות". לפי הטענה, אדם אינו חייב להחזיק בידע מתקדם במיוחד בסייבר כדי לנתח קוד שהודלף או נחשף. הוא יכול להזין את הקוד למודל שפה, לשאול שאלות ממוקדות על מנגנוני הזדהות והרשאות ולקבל כיוונים אפשריים לניצול המערכת.
עם זאת, עצם השימוש בבינה מלאכותית לכתיבת קוד אינו מעיד בהכרח שהקוד פגיע. הסיכון עולה כאשר ארגונים משלבים קוד שנוצר באמצעות מודלים מבלי לבצע ביקורת אנושית, בחינה ארכיטקטונית ובדיקות אבטחה שמתמקדות גם בלוגיקה העסקית של המערכת.
המקרה מביא אותנו שוב אל לדיון המתרחב בענף הסייבר סביב שימוש לא מבוקר בכלי בינה מלאכותית בארגונים. לצד פיתוח רשמי באמצעות מודלים, עובדים עשויים להשתמש בכלים חיצוניים ללא אישור, להזין אליהם קוד או מידע פנימי ולהרחיב את החשיפה של הארגון לסיכוני דליפה ותקיפה.
בעקבות העלייה בשימוש הארגוני בבינה מלאכותית הודיעה סיגניה כי היא מרחיבה את פעילותה בתחום אבטחת מערכות AI. השירותים כוללים בחינת תשתיות וזרימת מידע, בדיקות חדירות לאפליקציות המבוססות על בינה מלאכותית וגיבוש מדיניות ארגונית לשימוש בכלים אלה.
לדברי איליה רבינוביץ', סמנכ"ל ייעוץ הסייבר בסיגניה, השאלה המרכזית עבור ארגונים כבר אינה האם להשתמש בבינה מלאכותית, אלא היכן היא כבר נמצאת בשימוש, לאילו נתונים היא מחוברת והאם מנגנוני האבטחה הקיימים מותאמים לסיכונים שהיא יוצרת.