في واقعة جديدة تُظهر مخاطر الاعتماد المفرط على الذكاء الاصطناعي في خدمات العملاء، اكتشف أحد المطورين الذين يستخدمون محرر الشيفرات الشهير "Cursor"، يوم الإثنين الماضي، أن تسجيل الدخول على جهاز جديد يؤدي تلقائيًا إلى تسجيل الخروج من الأجهزة الأخرى، اعتقد المستخدم في البداية أن هذا السلوك نتيجة سياسة جديدة للشركة، خاصة بعد أن تلقى ردًا من ممثل الدعم الفني يُدعى "سام" يؤكد ذلك، ولكن المفاجأة كانت أن "سام" ليس بشريًا، بل روبوت ذكاء اصطناعي، وأن السياسة التي أشار إليها لم تكن موجودة من الأساس، وفقا لـwired.

موجة غضب وإلغاء اشتراكات جماعي

ما إن نشر المستخدم تجربته على منصة Reddit، حتى بدأ العديد من المبرمجين يعبرون عن انزعاجهم من ما اعتبروه "تغييرًا كارثيًا" في طريقة استخدامهم اليومية لـ Cursor، لا سيما أولئك الذين يعتمدون على التنقل السريع بين أكثر من جهاز أثناء العمل. رد "سام" بدا رسميًا ومقنعًا إلى درجة دفعت الكثيرين إلى تصديقه، وبدأت موجة من إعلانات إلغاء الاشتراكات تظهر على Reddit، حيث كتب أحدهم: "لقد ألغيت اشتراكي فورًا"، وأضاف آخر: "هذا غير معقول… أنا أيضًا سألغي اشتراكي".

المشكلة تفاقمت بسرعة لدرجة أن مشرفي منتدى r/cursor اضطروا إلى حذف المنشور الأصلي وقفل المناقشة بالكامل.

الاعتراف بالخطأ جاء متأخرًا

بعد ثلاث ساعات من انتشار البوست، تدخل ممثل رسمي من الشركة وكتب ردًا مباشرًا يقول: "ليس لدينا أي سياسة من هذا النوع. يمكنكم بالطبع استخدام Cursor على عدة أجهزة". وأكد أن الرد السابق كان "غير صحيح وصادر عن روبوت دعم فني يعتمد على الذكاء الاصطناعي في الصفوف الأمامية".

الذكاء الاصطناعي عندما يختلق.. يتحول إلى خطر تجاري

تُعرف مثل هذه الأخطاء باسم "الهلوسات" أو confabulations، حيث يخترع النموذج اللغوي معلومات تبدو واقعية، لكنها غير صحيحة إطلاقًا. هذه الظاهرة لم تعد نادرة، بل أصبحت خطرًا متزايدًا على الشركات التي تعتمد على الذكاء الاصطناعي في التفاعل المباشر مع العملاء دون رقابة بشرية فعالة. فبدلاً من قول "لا أعرف"، تميل هذه الأنظمة إلى تقديم إجابات واثقة ومقنعة حتى إن كانت خاطئة تمامًا.

وقد تكون العواقب مكلفة: من إرباك المستخدمين وفقدان الثقة، إلى إلغاء الاشتراكات وخسارة قاعدة العملاء كما حدث مع Cursor.

موقف صادم يعيد إلى الأذهان فضيحة Air Canada

هذه الواقعة أعادت إلى الأذهان حادثة مشابهة في فبراير 2024، حين اضطرت شركة الطيران Air Canada إلى احترام سياسة استرجاع أموال "اخترعها" روبوت الدردشة الخاص بها. ففي ذلك الحين، تلقى أحد العملاء وعدًا باسترداد فارق التذكرة بعد حجزه تذكرة لحضور جنازة جدته، استنادًا إلى معلومات خاطئة من الذكاء الاصطناعي. لكن الشركة رفضت الطلب لاحقًا بحجة أن "الروبوت كيان قانوني مستقل". المحكمة الكندية رفضت هذا الدفاع وأكدت أن الشركات مسؤولة بالكامل عن أدواتها المعتمدة على الذكاء الاصطناعي.

اعتذار وتوضيح.. ولكن الثقة تضررت

على عكس Air Canada، اختارت Cursor الاعتراف بالخطأ بسرعة، حيث اعتذر الشريك المؤسس مايكل ترويل عبر منصة Hacker News، موضحًا أن السبب في المشكلة يعود إلى تعديل في نظام الأمان تسبب في إنهاء الجلسات عند الانتقال بين الأجهزة. وأضاف أنه تم تعويض المستخدم المتضرر، وتم توضيح أن الردود المولدة بالذكاء الاصطناعي في البريد الإلكتروني سيتم تمييزها بوضوح من الآن فصاعدًا.

لكن الضرر المعنوي وقع بالفعل. عدد من المستخدمين أعربوا عن صدمتهم من أن الروبوت "سام" تم تقديمه وكأنه شخص حقيقي، دون أي إشارة إلى أنه روبوت. وكتب أحدهم: "تسمية الروبوت باسم بشري وعدم توضيح هويته هو أمر خادع بشكل متعمد".

دروس قاسية في الشفافية والرقابة

رغم أن Cursor نجحت في إصلاح الخلل الفني، إلا أن الحادثة سلطت الضوء على حجم التحدي الذي تواجهه الشركات في دمج أدوات الذكاء الاصطناعي مع خدمات العملاء. فالاعتماد الكلي على أنظمة توليد اللغة دون حواجز أو رقابة قد يؤدي إلى كوارث في تجربة المستخدم، خصوصًا إذا كانت الشركة نفسها تعمل في مجال أدوات الذكاء الاصطناعي للمطورين.

قال أحدهم ساخرًا على Hacker News: "المفارقة أن الشركات تحاول بشتى الطرق التهوين من مشكلة الهلوسة في الذكاء الاصطناعي، ثم تأتي شركة تعتمد على هذه التقنية لتتلقى الضربة مباشرة بسبب خطأ من روبوتها".