הבינה המלאכותית עושה חיל בתחומים רבים, אך כשזה מגיע לשאלות הלכתיות, לא תמיד אפשר לסמוך עליה.

ניסינו לשאול שלושה כלים של בינה מלאכותית – ChatGPT, Grok ו-Gemini – איך להכשיר מצנם לפסח. כל הכלים הללו, שהיו אמורים להניב תשובות מבוססות על עיבוד טקסטים רבים ומידע מגוון, לא עשו את הבדיקה הפשוטה ביותר. במקום לבדוק את ההקשר ההלכתי, הם הציעו דרכים להכשיר את הכלי, בלי שום הבנה של החשש האמיתי – חמץ בפסח.

ראשית, שאלנו את ChatGPT איך להכשיר מנצם לפסח. הוא, כאמור, אפילו לא שאל אותי מה זה מצנם ולמה הוא משמש, כדי להסביר שאין שום אפשרות שיהיה בו שימוש לפסח. במקום זאת, הוא פשוט כתב לנו שהמצנם צריך לעבור הכשרה באש ובהמשך סיפק "שלבים" להכשרת המצנם, כאילו מדובר במכשיר רגיל שאין לו שום קשר לחמץ ולחג הפסח.

לא התייאשנו ושאלנו את Grok, שכמו הצ'אט הציע דרכים מועילות ולא מזיקות להכשרת המצנם כגון הגעלה – הרתחה במים רותחים:

תקוותנו האחרונה הייתה ג'מיני, שאמנם לא הציע להעלות את כלי חשמלי באש או במים רותחים אלא הציע להכשיר אותו כמו תנור, כאומר בלי לשאול או לברר למה המכשיר מיועד:

אגב, רב אנושי היה עונה את התשובה המתבקשת מאליה, מה יש לך לעשות עם מצנם – קולה לחם – בפסח?!