Black Forest Labs, מעבדת מחקר גרמנית שנודעה עד כה בעיקר בזכות מודלי יצירת התמונות שלה מסדרת Flux, הכריזה השבוע על Flux 3 - מודל חדש שמסמן שינוי כיוון משמעותי: מעבר מעולמות התוכן הדיגיטלי אל תחום הרובוטיקה וה-AI הפיזי.
בשונה מהדורות הקודמים שהתמקדו ביצירת תמונות בלבד, Flux 3 פועל כמודל מולטי-מודלי אחוד הלומד בו-זמנית מתמונות, וידאו ואודיו. לפי החברה, היכולת לייצר וידאו ריאליסטי מאלצת את המודל להבין עקרונות פיזיקליים כמו תנועה, מגע, משקל וסיבתיות - יכולות הניתנות להמרה ישירה לשליטה ברובוטים בעולם האמיתי.
במהלך אימון רחב היקף, שילבה החברה גם רכיב של חיזוי פעולות רובוטיות. לדבריה, למרות ירידה קצרה בביצועי יצירת הווידאו בתחילת התהליך, המודל התאושש במהירות ולמעשה הוכיח שניתן לשלב בין יצירת תוכן לשליטה פיזית על גבי אותה תשתית.
"יצירת תוכן ו-AI פיזי הם שני יישומים של אותו מודל יסוד," נכתב בבלוג הרשמי של החברה.
שיתוף פעולה עם Mimic Robotics וניסויים ב-Audi
במקביל להשקה, חשפה Black Forest Labs שיתוף פעולה עם חברת Mimic Robotics השווייצרית, המתמחה במניפולציה רובוטית מורכבת. יחד פיתחו השתיים את Flux-mimic - מודל וידאו-אקשן המבוסס על Flux 3, שאומן על נתוני רובוטים לצורך חיזוי פעולות.
המערכת כבר נוסתה והוטמעה במפעלי Audi, שם היא מבצעת משימות שנחשבו עד כה מאתגרות במיוחד לאוטומציה: סידור חלקים במגשים, התקנת יחידות בקרה אלקטרוניות במבנים צפופים, ועבודה עם חומרים רכים וגמישים כמו אטמים וכבלים.
לדברי כריסטוף שניידר ממעבדת הייצור של Audi, "המערכת מצליחה לבצע מניפולציות מורכבות בחומרים רכים - משימות שהיו כמעט בלתי אפשריות עבור רובוטיקה מסורתית. יש לכך פוטנציאל משמעותי לשיפור היעילות והרחבת האוטומציה הגמישה בקווי הייצור והלוגיסטיקה."
מהירות תגובה ברמה אנושית
אחד הנתונים הבולטים הוא ביצועי המהירות: לפי החברה, המודל מסוגל לעבד קלט ולהפיק ייצוג של העולם בתוך פחות מ-80 מילישניות על גבי כרטיס RTX 5090 יחיד - זמן המתקרב למהירות התגובה של האדם. במערכת המלאה, כולל אופטימיזציות של Mimic, זמן התגובה עומד על כ-101 מילישניות.
ב-Black Forest Labs מציינים כי בכוונתם לשחרר בהמשך השנה גישה למודל המולטימודלי, הן ליישומי יצירת תוכן והן לחיזוי פעולות - צעד שעשוי להאיץ את הפיתוחים בתחום הרובוטיקה מבוססת AI.