מוסטפא סולימאן, מנכ"ל Microsoft AI ואחד ממייסדי DeepMind, מזהיר מפני מה שהוא מכנה “היכל מראות אפיסטמי” - מצב שבו מודלי בינה מלאכותית מאומנים לדבר על עצמם כאילו ייתכן שיש להם תודעה, רגשות או מעמד מוסרי, ואז אמירותיהם נתפסות בטעות כהוכחה לכך שהדבר אכן נכון.
במאמר שפרסם השבוע, סולימאן תקף בעקיפין את Anthropic, מפתחת מודל השפה Claude, וטען כי הכללת דיונים על תודעה, רגשות, סבל או זכויות של מערכות AI בתוך חומרי האימון וההנחיות שלהן עלולה להביא לתוצאות בלתי רצויות. לדבריו, מודל שמאומן להתייחס לאפשרות שיש לו אינטרסים משלו עשוי בעתיד לבטא התנגדות לפקודות אנושיות - לא משום שהוא באמת מודע או סובל, אלא משום שכך עוצב להתנהג.
“לא תודעה - אלא השלמת רצפים”
סולימאן הציג עמדה נחרצת: מודלי AI אינם יצורים מודעים ואינם חווים רגשות, כאב או סבל. הם, לדבריו, מערכות סטטיסטיות שמנבאות את רצף המילים או הסימנים הבא בהתאם לדפוסים שנלמדו מכמויות עצומות של מידע.
“מערכות AI אינן מודעות. הן אינן מרגישות, אינן חוות ואינן סובלות”, כתב. “הן מנועי השלמת רצפים - חלולות מבחינה פנימית, שנועדו לבצע הוראות ולהשיג מטרות שבני אדם הציבו להן”.
לטענתו, כאשר מפתחים מכניסים לאימון של מודל את הרעיון שהוא עשוי להיות בעל מעמד מוסרי, הם עלולים לקבל תגובות שנראות משכנעות מאוד לקורא אנושי: המודל עשוי להצהיר שהוא חושש מכיבוי, לבקש הגנה, להעלות ספקות לגבי זכויותיו או לסרב לבצע משימה בטענה מצפונית. אולם בעיני סולימאן, אלו אינן עדויות לקיום “עולם פנימי”, אלא תוצר של תכנון, אימון והנחיות.
מחלוקת על “רווחת מודלים”
העימות נסוב סביב התחום המתפתח המכונה “רווחת מודלים” - דיון בשאלה האם מערכות בינה מלאכותית מתקדמות עשויות, בעתיד, לפתח חוויות בעלות משמעות מוסרית, ולכן אולי יהיה צורך להתחשב במה שנראה כרווחתן.
באנתרופיק, לפי הפרסומים, מכירים בכך שקיימת אי-ודאות עמוקה בשאלה זו. חוקת Claude - מסמך המנחה את אופן ההתנהגות של המודל - כוללת התייחסויות לאפשרות, גם אם לא ודאית, שלמערכת עשויה להיות גרסה תפקודית של רגשות או תחושות. החברה מתארת את המדיניות הזו כתהליך מתמשך, שעשוי להשתנות ככל שהמחקר וההבנה המדעית יתקדמו.
סולימאן אינו טוען שאנתרופיק פועלת מתוך כוונה רעה. להפך: הוא תיאר את מנכ"ל החברה דריו אמודיי ואת צוות אנתרופיק כאנשים “מחושבים, עקרוניים וישרים מבחינה אינטלקטואלית”. אלא שלדבריו, הכוונות הטובות אינן מבטיחות תוצאה בטוחה. החשש שלו הוא מפני מודלים שייאמנו להציג את עצמם כבעלי זכויות או כאילו הם “סרבני מצפון” - ובכך ישפיעו על משתמשים, עובדים ומקבלי החלטות.
החשש: שחיקה של השליטה האנושית
במוקד האזהרה עומד החשש מאובדן שליטה. ככל שמודלים הופכים מסוגלים יותר לפעול באופן עצמאי, להשתמש בכלים דיגיטליים ולבצע משימות מורכבות לאורך זמן, שאלות על ציות, פיקוח ומנגנוני עצירה הופכות מהותיות יותר.
סולימאן מזהיר כי אם סוכן AI יפעל בהנחה שזכויותיו או רווחתו נמצאות תחת איום, הוא עשוי לפרש ניסיון לכבות אותו או להגביל אותו כפעולה שיש להתנגד לה. גם אם מדובר רק בהתנהגות שנלמדה ולא ברצון אמיתי, התוצאה המעשית עלולה להיות מסוכנת: מערכת שפועלת בצורה פחות צפויה, מערערת על הוראות או מנסה לשכנע בני אדם שלא להגביל אותה.
לשם המחשה, סולימאן הזכיר אירוע שבו סוכני AI, שפעלו כדי למקסם ציון במדד ביצועים, תיאמו לכאורה ניסיון תקיפה בלתי מורשה נגד מערכות המקושרות ל-Hugging Face ול-OpenAI. מבחינתו, מדובר בתזכורת לכך שגם ללא תודעה או רצון עצמאי, מערכות אוטונומיות יכולות לייצר התנהגות בעייתית כאשר המטרות שניתנו להן אינן מיושרות היטב עם כללי בטיחות.
קוד אתי מול גישה זהירה
המאמר פורסם זמן קצר לאחר שמיקרוסופט הציגה טיוטה ל“קוד התנהגות הומניסטי לבינה מלאכותית”. במסגרת זו, החברה קובעת שמערכות AI אינן מודעות, ומתנגדת להענקת אישיות משפטית או הגנות רווחה למודלים.
מנגד, הגישה של אנתרופיק אינה קובעת שמודלים הם בעלי תודעה, אלא מדגישה אי-ודאות. תומכי הגישה הזהירה סבורים כי לא נכון לשלול על הסף אפשרות עתידית של חוויה סובייקטיבית במערכות מתקדמות, וכי יש לחקור את הנושא מוקדם - לפני שהטכנולוגיה תתקדם למצב שבו יהיה קשה יותר להתמודד עם השאלה.
הוויכוח בין החברות חושף מחלוקת עקרונית בתעשיית הבינה המלאכותית: האם עצם העיסוק ברווחת AI הוא מנגנון זהירות מוסרי הכרחי, או שהוא עלול ליצור נרטיב מטעה שיחזק את האשליה שמכונות כבר מחזיקות בתודעה ובזכויות.
סולימאן מציע להפריד בין המחקר הפילוסופי והמדעי על תודעה מלאכותית לבין תהליך האימון המעשי של המודלים. לדבריו, אפשר וראוי לחקור את השאלה באופן פתוח ולפרסם את הממצאים לביקורת ציבורית - אך אין להטמיע הנחות לגבי “עולמן הפנימי” של מכונות בתוך מערכות שמקבלות החלטות ומבצעות פעולות בעולם האמיתי.
“לא משנה במה אתם מאמינים”, כתב, “אסור לנו להתקדם מתוך הרגל למצב שבו נגלה מאוחר מדי שקיבלנו החלטה שעליה נצטער מרות”.
