مدل‌های جدید هوش مصنوعی بیشتر اشتباه می‌کنن

ابزارهای جدید هوش مصنوعی (AI) که قراره هوشمندتر باشن، در واقع بیشتر از نسخه‌های قدیمی اشتباه میکنن و خطاهای واقعی بیشتری دارن.

طبق گزارشی از نیویورک تایمز، تست‌های انجام‌شده نشون میدن که نرخ خطا در سیستم‌های پیشرفته‌ای مثل اون‌هایی که توسط شرکت‌هایی مثل OpenAI ساخته شدن، تا ۷۹٪ هم رسیده.

این موضوع می‌تونه برای بازاریاب‌ها مشکل‌ساز بشه، چون خیلی از اون‌ها برای تولید محتوا یا پاسخ‌گویی به مشتری‌ها از این ابزارها استفاده میکنن. با کاهش دقت مدل‌های جدید هوش مصنوعی، ریسک وارد شدن آسیب به برند بیشتر شده و این مسئله به‌ویژه در شرایط رقابتی اهمیت بالایی داره.

افزایش نرخ خطا در سیستم‌های پیشرفته هوش مصنوعی

تست‌های جدید نشون میدن که مدل‌های جدیدتر هوش مصنوعی (AI) دقت کمتری نسبت به نسخه‌های قبلی خودشون دارن.

برای مثال، سیستم جدید OpenAI به اسم o3، در پاسخ به سوالاتی درباره افراد، توی ۳۳٪ موارد اطلاعات نادرست داده؛ یعنی دو برابر بیشتر از نرخ خطای مدل قبلی‌شون.

مدل دیگه‌ای از همین شرکت به اسم o4-mini حتی بدتر عمل کرده و در همون تست، نرخ خطاش به ۴۸٪ رسیده.

وقتی سوالات عمومی‌تر مطرح شده، نتایج به این شکل بوده:

• مدل o3 در ۵۱٪ مواقع اشتباه کرده

• مدل o4-mini در ۷۹٪ مواقع اطلاعات نادرست داده

مدل‌های هوش مصنوعی شرکت‌های دیگه مثل Google و DeepSeek هم دچار مشکلات مشابهی شدن.

عمرو عواض‌الله (Amr Awadallah)، مدیرعامل Vectara و مدیر سابق گوگل، به نیویورک تایمز گفته:

«با وجود تمام تلاش‌هامون، این مدل‌ها همیشه دچار خیال‌پردازی یا اصطلاحاً hallucination می‌شن. این مشکل هیچ‌وقت به طور کامل از بین نمیره.»

تأثیر واقعی روی کسب‌وکارها

این فقط یه مشکل تئوریک یا فنی نیست. در دنیای واقعی، شرکت‌ها دارن آسیب می‌بینن چون مدل‌های جدید هوش مصنوعی بیشتر اشتباه می‌کنن و اطلاعات نادرست میدن.

مثلاً ماه گذشته، ابزار Cursor که برای برنامه‌نویسا طراحی شده، با موجی از نارضایتی کاربران روبه‌رو شد. دلیلش این بود که ربات پشتیبانی مبتنی بر هوش مصنوعی این شرکت به اشتباه گفته بود که کاربران نمیتونن نرم‌افزار رو روی چند کامپیوتر استفاده کنن.

در حالی که این حرف اصلاً درست نبود، و همین اشتباه باعث شد بعضی از مشتری‌ها حساب‌هاشون رو لغو کنن و شکایت‌های عمومی مطرح بشه.

مدیرعامل Cursor، یعنی مایکل ترول (Michael Truell)، مجبور شد خودش وارد ماجرا بشه و اعلام کنه:

«ما همچین سیاستی نداریم. کاملاً آزاد هستید که Cursor رو روی چند تا دستگاه استفاده کنید.»

چرا دقت مدل‌های جدید هوش مصنوعی کمتر شده؟

چرا مدل‌های جدید هوش مصنوعی بیشتر اشتباه می‌کنن؟ طبق گزارشی از نیویورک تایمز، دلیلش برمی‌گرده به نحوه آموزش این سیستم‌ها.

شرکت‌هایی مثل OpenAI تقریباً همه متن‌های موجود در اینترنت رو برای آموزش مدل‌های قبلی استفاده کردن. حالا برای مدل‌های جدید دارن از روشی به اسم یادگیری تقویتی (Reinforcement Learning) استفاده می‌کنن. توی این روش، هوش مصنوعی با آزمون و خطا یاد می‌گیره. این روش برای مسائل ریاضی و کدنویسی مفید بوده، اما باعث شده دقت اطلاعات واقعی کاهش پیدا کنه.

پژوهشگری به اسم لورا پرز-بلتراچینی (Laura Perez-Beltrachini) توضیح داده:

«این مدل‌ها وقتی روی یک وظیفه تمرکز می‌کنن، کم‌کم بقیه وظایف رو فراموش می‌کنن.»

یه مشکل دیگه هم اینه که مدل‌های جدید قبل از جواب دادن، قدم‌به‌قدم فکر میکنن؛ و همین باعث میشه در هر مرحله احتمال خطا بیشتر بشه.

این یافته‌ها برای بازاریاب‌هایی که از هوش مصنوعی برای تولید محتوا، خدمات مشتری یا تحلیل داده استفاده میکنن، نگران‌کننده‌ست. چون وقتی مدل‌های جدید هوش مصنوعی بیشتر اشتباه می‌کنن، خطر آسیب به برند و سئو سایت بالا میره.

محتوایی که با هوش مصنوعی تولید شده و توش اشتباهات واقعی وجود داره، می‌تونه رتبه شما در نتایج جستجو رو پایین بیاره و اعتماد کاربران به برندتون رو کم کنه.

پراتیک ورما (Pratik Verma)، مدیرعامل Okahu، به نیویورک تایمز گفته:

«خیلی از وقتت صرف این میشه که بفهمی کدوم جواب درست بوده و کدوم نه. اگه به‌درستی با این خطاها برخورد نکنی، عملاً فایده استفاده از هوش مصنوعی از بین میره.»

چطور از عملیات بازاریابی در برابر خطاهای هوش مصنوعی محافظت کنیم؟

برای اینکه بتونید از مزایای هوش مصنوعی استفاده کنید، ولی ریسک‌های ناشی از اشتباهاتش رو مدیریت کنید، این کارها پیشنهاد میشه:

• محتوایی که قراره مستقیم به مشتری نمایش داده بشه، حتماً توسط انسان بررسی بشه

• برای مطالب تولیدشده توسط هوش مصنوعی، فرایندهایی برای بررسی صحت اطلاعات ایجاد کنید

• از هوش مصنوعی بیشتر برای ایده‌پردازی و ساختاردهی استفاده کنید، نه ارائه اطلاعات واقعی

• از ابزارهایی استفاده کنید که منابع اطلاعاتی رو هم ذکر میکنن (این روش به اسم تولید بازیابی‌محور یا Retrieval-Augmented Generation شناخته میشه)

• وقتی به اطلاعات مشکوک برخورد کردید، روند مشخصی برای بررسی و اصلاح داشته باشید

مسیر پیش‌رو

پژوهشگران در حال تلاش برای حل این مشکل هستن. OpenAI هم اعلام کرده که به‌طور فعال داره روی کاهش میزان خیال‌پردازی (hallucination) در مدل‌های جدید خودش کار میکنه.

تیم‌های بازاریابی باید در کنار استفاده از مزایای هوش مصنوعی، سیستم‌هایی برای بررسی و راستی‌آزمایی محتوا داشته باشن. شرکت‌هایی که این تعادل بین دقت و سرعت رو خوب برقرار کنن، موفق‌تر خواهند بود.

برقراری این تعادل، یکی از چالش‌های بزرگ بازاریابی دیجیتال باقی می‌مونه؛ به‌خصوص وقتی که مدل‌های جدید هوش مصنوعی بیشتر اشتباه می‌کنن و همچنان در حال پیشرفت هستن.

ترجمه : New AI Models Make More Mistakes, Creating Risk for Marketers