דיסקורד: באג במערכת AI חסם אלפי משתמשים לשווא

דיסקורד הודיעה כי באג במערכת המיון והאכיפה המבוססת בינה מלאכותית שלה הוביל בחודשיים האחרונים לחסימה שגויה של אלפי משתמשים, לאחר שתמונות תמימות סומנו בטעות כתוכן מזיק. לפי הודעת החברה, התקלה השפיעה על יותר מ-8,000 חשבונות מאז חודש מאי, ובסוף השבוע האחרון נוספו עוד כ-200 חסימות שגויות לפני שהצוות זיהה את הבעיה ותיקן אותה.

בחברה מסרו שכל החשבונות שנפגעו נמצאים כעת בתהליך השבה. המקרה בולט במיוחד משום שדיסקורד משמשת לא רק כזירת שיח לגיימרים, אלא גם ככלי עבודה, לניהול קהילות ולתקשורת יומיומית בין משתמשים ברחבי העולם. עבור חלק מהנחסמים, אובדן גישה לחשבון אינו תקלה שולית אלא פגיעה ישירה בקשרי עבודה, בקהילות ובמידע שנצבר לאורך שנים.

איך תמונות תמימות סומנו כתוכן אסור

לדברי דיסקורד, מערכת הבטיחות שלה פועלת בין היתר באמצעות השוואת קבצים שמעלים המשתמשים למאגרי מידע של חומרים אסורים ומוכרים. המטרה היא לזהות במהירות תוכן בלתי חוקי או פוגעני, אך החברה הודתה שהשיטה עלולה לייצר גם זיהויי שווא. במקרה הזה, תמונות לא מזיקות כלל — ובהן גיליונות אלקטרוניים, דפוסים של לוחות משבצות, טקסטורות גרפיות למשחקים וגם רקעים לבנים, אפורים או שקופים — זוהו בטעות כחומר אסור.

בדיסקורד הסבירו כי במצב התקין, גם כאשר המערכת האוטומטית מסמנת תוכן חשוד, חבר מצוות האמון והבטיחות אמור לעבור על המקרה לפני שננקטת סנקציה. אלא שלטענת החברה, הבאג גרם לכך שחשבונות מסוימים נחסמו מיידית, במקום להמתין לבקרה האנושית שנועדה למנוע בדיוק טעויות כאלה.

תלונות המשתמשים והפגיעה בפעילות היומיומית

ברשתות החברתיות, ובמיוחד ב-X וברדיט, הצטברו בימים האחרונים עדויות של משתמשים שטענו כי חשבונותיהם הושעו לצמיתות לאחר שהעלו תמונות עם דפוסים מרובעים או גרפיקה טכנית פשוטה. חלקם העריכו שהרגישות החריגה לדפוסי רשת נובעת מניסיונות קודמים של גורמים עברייניים להסוות תוכן מיני אסור באמצעות שכבות, מרקמים או מבני ריבועים שנועדו להקשות על מערכות זיהוי אוטומטיות.

ההסבר הזה לא אושר רשמית, אך הוא משקף את אחת הבעיות המוכרות בעולם ניהול התוכן: ככל שמערכות האכיפה נעשות אגרסיביות יותר כדי לתפוס חומר חמור, כך גדל גם הסיכון לפגוע בחומר לגיטימי. במקרה של דיסקורד, משתמשים טענו שהמחיר היה כבד במיוחד משום שהפלטפורמה משמשת לניהול שרתים, לצ'אטים מקצועיים, לתיאום משחקים, לשיחות בין חברים ולעתים גם לתקשורת עסקית שוטפת.

אחד המשתמשים כתב כי חשבונו נחסם לאחר שמערכת הזיהוי פירשה טקסטורות של משחק כחומר אסור, אף שהוא משתמש בדיסקורד לצורכי עבודה כמנהל פיתוח משחקים. משתמשים אחרים תיארו תחושת חוסר אונים מול חסימה קבועה שמבוצעת במהירות, לעתים בלי הסבר מפורט ובלי יכולת מיידית לערער באופן אפקטיבי.

לא רק דיסקורד: בעיה רחבה יותר בתעשייה

האירוע מצטרף לשורה של מקרים דומים בפלטפורמות גדולות אחרות, שבהם משתמשים ייחסו חסימות והשבתות נרחבות למערכות אוטומטיות. בשנה שעברה, משתמשים באינסטגרם ובקבוצות פייסבוק דיווחו על השעיות חשבונות לא מוסברות בהיקף רחב, ורבים מהם סברו שגם שם כלי בינה מלאכותית היו גורם מרכזי. מטא לא אישרה בפומבי שהטעויות נגרמו בגלל AI, אך הוויכוח על שקיפות, על זכות ערעור ועל מידת המעורבות האנושית באכיפה רק התחדד מאז. גם טאמבלר התמודדה עם תלונות דומות על השעיות המוניות ללא הסברים ברורים.

בדיסקורד אמרו כי הם פועלים להוסיף שכבות הגנה שימנעו הישנות של מקרה כזה. מעבר לתיקון הנקודתי, הפרשה ממחישה את המתח הקבוע בין צורך באכיפה מהירה בהיקפים עצומים לבין החובה להגן על משתמשים מפני החלטות שגויות של מערכות אוטומטיות. כשהחסימה היא מיידית והחשבון הוא שער לקהילה, לעבודה ולזהות דיגיטלית, גם טעות טכנית הופכת לאירוע בעל השלכות ממשיות מאוד.