קבוצת חוקרי בינה מלאכותית בכירים, הכוללת את ג׳פרי הינטון ויושע בנג׳יו - שניים מהמדענים המזוהים יותר מכל עם ההתפתחות המודרנית של התחום — קוראת לממשלות ברחבי העולם להתכונן לאפשרות של ״פיצוץ אינטליגנציה״: תרחיש שבו מערכות AI ישמשו לביצוע מחקר ופיתוח, ישפרו את יכולותיהן בעצמן ויאיצו את קצב ההתקדמות הטכנולוגית לרמה שתהיה קשה מאוד לשליטה ולפיקוח אנושיים.
התרחיש עומד במרכז מאמר חדש שכותרתו “What if automating AI R&D triggers an intelligence explosion?” - ״מה אם אוטומציה של מחקר ופיתוח בבינה מלאכותית תוביל לפיצוץ אינטליגנציה?״. על המאמר חתמו יותר מ-20 חוקרים, בהם ג׳ק קלארק, ממייסדי חברת Anthropic, ויאקוב פחוצקי, המדען הראשי של OpenAI.
מערכות שישפרו את עצמן
במרכז האזהרה עומד רעיון המכונה ״שיפור עצמי רקורסיבי״. המשמעות היא שמערכת בינה מלאכותית לא רק מבצעת משימות שהוגדרו לה מראש, אלא משתתפת בעצמה בפיתוח הדור הבא של מערכות AI - משיפור קוד, דרך תכנון ניסויים ועד מציאת שיטות אימון יעילות יותר.
לפי מחברי המאמר, אם מערכות AI יגיעו לרמת מומחיות גבוהה במחקר AI, ארגון יחיד עשוי להפעיל בפועל כוח עבודה דיגיטלי בהיקף המקביל למיליוני חוקרים אנושיים מן השורה הראשונה. במצב כזה, קצב הפיתוח עלול לזנק בתוך זמן קצר בהרבה מהקצב שבו ממשלות, רגולטורים והחברה מסוגלים להבין את ההשלכות ולהגיב להן.
החוקרים מציינים כי סימנים מוקדמים לאוטומציה כזו כבר קיימים. לפי הטענה המובאת במאמר, Anthropic עושה שימוש ב-AI בהיקף נרחב בכתיבת קוד, בעוד OpenAI מפעילה סוכנים אוטונומיים בחלק מתהליכי אימון המודלים שלה. המחברים מעריכים כי פרויקטי מחקר הדורשים כיום חודשים של עבודה אנושית עשויים לעבור אוטומציה מלאה כבר במהלך השנים הקרובות.
הבטחה רפואית לצד סכנות חדשות
המחברים מדגישים כי אין מדובר רק בתרחיש מאיים. מערכת המסוגלת להאיץ מחקר מדעי עשויה לקדם במהירות פיתוח תרופות, לייעל גילוי של חומרים חדשים, לפתור בעיות הנדסיות מורכבות ולסייע בהתמודדות עם משבר האקלים. יכולות כאלה עשויות להוביל לפריצות דרך משמעותיות בתחומי הרפואה, האנרגיה והמדע.
עם זאת, המאמר מזהה שלושה מוקדי סיכון עיקריים: מערכות חזקות עלולות לסייע ביצירת יכולות תקיפה מתקדמות בקצב מהיר יותר מהיכולת של מדינות לפתח הגנות. בנוסף, ככל שבני אדם יהיו מעורבים פחות בתהליכי מחקר ופיתוח, יהיה קשה יותר להבין כיצד מתקבלות החלטות ומהן היכולות האמיתיות של המערכות. ודבר שלישי, מדינה או גוף מסחרי שישיגו יתרון משמעותי בפיתוח AI עלולים לצבור כוח כלכלי, צבאי וטכנולוגי חריג - ולהגביר את התחרות ואת הסיכון למרוץ חימוש.
״ברגע שפיצוץ אינטליגנציה מתחיל, חלון ההזדמנויות לפעולה עלול להיסגר״, מזהירים הכותבים. לדבריהם, התקדמות מהירה מדי עלולה להותיר את מקבלי ההחלטות ללא יכולת מעשית לבלום התפתחות מסוכנת או לקבוע כללי משחק בזמן.
הדרישה: שקיפות ותוכניות חירום
החוקרים קוראים לממשלות לא להמתין עד שהטכנולוגיה תגיע לנקודת אל-חזור. בין הצעדים המוצעים: חיוב חברות AI בדיווח שוטף ושקוף על ההתקדמות במחקר ופיתוח, שילוב מבקרים עצמאיים בתוך תהליכי העבודה, והצבת מגבלות על קצב השיפור של מערכות מתקדמות בפרקי זמן קצובים.
בנוסף, הם ממליצים למדינות לגבש מראש תוכניות חירום למגוון תרחישים - החל בזיהוי יכולות מסוכנות במודלים חדשים, דרך אירועי סייבר, ועד להתפתחויות שעלולות לשנות במהירות את מאזן הכוחות בין מדינות.
