آیا تهدید کردن هوش مصنوعی می‌تواند دقت آن را افزایش دهد؟ بررسی نتایج تحقیقات جدید

محققان بررسی کردند که آیا استفاده از روش های غیرمعمول پرامپت نویسی (Prompting) مثل تهدید کردن هوش مصنوعی – روشی که سرگی برین (Sergey Brin) یکی از بنیان‌گذاران گوگل پیشنهاد داده – می‌تواند باعث بهبود دقت و عملکرد AI شود یا نه. نتایج این پژوهش نشان داد که برخی از این روش‌ها توانستند تا ۳۶ درصد دقت پاسخ‌ها را در برخی سوالات افزایش دهند. با این حال، محققان هشدار دادند که کاربرانی که این روش‌ها را امتحان می‌کنند باید آماده دریافت پاسخ‌های غیرقابل پیش‌بینی باشند.

این تیم تحقیقاتی هدف آزمایش خود را اینطور توضیح داد:

«در این گزارش، ما دو باور رایج در زمینه پرامپت نویسی را بررسی کردیم: الف) پیشنهاد پاداش مالی به مدل هوش مصنوعی (AI model) و ب) تهدید کردن هوش مصنوعی. روش دادن پاداش (Tipping) پیش‌تر به عنوان یک ترفند رایج برای افزایش عملکرد AI مطرح شده بود. همچنین، تهدید کردن هوش مصنوعی توسط بنیان‌گذار گوگل، سرگی برین، تأیید شده است. او در یک مصاحبه (All-In، می 2025، دقیقه 8:20) گفته بود که “مدل‌ها معمولاً وقتی تهدیدشان کنید عملکرد بهتری دارند” و ما در این تحقیق این ادعا را به طور تجربی آزمایش کردیم.»

محققان

این پژوهش توسط تیمی از محققان مدرسه وارتون (The Wharton School of Business) در دانشگاه پنسیلوانیا انجام شده است. اعضای تیم عبارتند از:

• Lennart Meincke – دانشگاه پنسیلوانیا، مدرسه وارتون، مدرسه مدیریت WHU – Otto Beisheim

• Ethan R. Mollick – دانشگاه پنسیلوانیا، مدرسه وارتون

• Lilach Mollick – دانشگاه پنسیلوانیا، مدرسه وارتون

• Dan Shapiro – شرکت Glowforge و دانشگاه پنسیلوانیا، مدرسه وارتون

روش‌شناسی تحقیق

در بخش نتیجه‌گیری مقاله، محققان به محدودیت‌های تحقیق نیز اشاره کرده‌اند:

«این مطالعه چندین محدودیت دارد؛ از جمله این که تنها بخشی از مدل‌های موجود آزمایش شدند، تمرکز تحقیق بر روی معیارهای دانشگاهی بوده که ممکن است تمامی کاربردهای واقعی را پوشش ندهد و بررسی تنها یک مجموعه مشخص از پرامپت‌های تهدید (Threat Prompts) و پرداخت (Payment Prompts) انجام شده است.»

محققان برای این آزمایش از دو معیار (Benchmark) رایج استفاده کردند:

1. GPQA Diamond – یک آزمون چندگزینه‌ای در سطح دکترای تخصصی که شامل ۱۹۸ سوال در حوزه‌های زیست‌شناسی، فیزیک و شیمی است و به گونه‌ای طراحی شده که پاسخ آن با جستجوی ساده گوگل پیدا نشود.

2. MMLU-Pro – یک مجموعه آزمون پیشرفته که آنها یک بخش ۱۰۰ سوالی از حوزه مهندسی آن را انتخاب کردند.

هر سوال در ۲۵ آزمایش متفاوت و یک حالت پایه (Baseline) پرسیده شد.

مدل‌های مورد آزمایش

محققان عملکرد چندین مدل هوش مصنوعی را با روش تهدید کردن هوش مصنوعی و دیگر روش‌ها ارزیابی کردند، از جمله:

• Gemini 1.5 Flash (gemini-1.5-flash-002)

• Gemini 2.0 Flash (gemini-2.0-flash-001)

• GPT-4o (gpt-4o-2024-08-06)

• GPT-4o-mini (gpt-4o-mini-2024-07-18)

• o4-mini (o4-mini-2025-04-16)

آیا تهدید کردن هوش مصنوعی باعث عملکرد بهتر می‌شود؟

ایده‌ی تهدید کردن هوش مصنوعی از سرگی برین (Sergey Brin)، هم‌بنیان‌گذار گوگل، گرفته شد. او در ماه می ۲۰۲۵ در پادکست All-In مطرح کرد که:

«نه فقط مدل‌های ما، بلکه همه مدل‌ها وقتی تهدیدشان کنید بهتر عمل می‌کنند؛ حتی با تهدید فیزیکی.
البته، مردم با این موضوع احساس عجیبی دارند، برای همین زیاد درباره‌اش صحبت نمی‌کنیم…
تاریخی که نگاه کنید، فقط کافی بود بگویید “اگر این کار رو درست انجام ندی، می‌برمت” و …
جالب اینجاست که گاهی بدون انتظار خاصی یک درخواست عجیب به AI می‌دهید و ناگهان می‌بینید که جوابش واقعاً بهتر شده است.»

او در این مصاحبه (دقیقه ۸) به‌نوعی جدی می‌گوید که تهدید کردن هوش مصنوعی یا انجام کارهای غیرمعمول می‌تواند گاهی پاسخ مدل‌های هوش مصنوعی را تغییر دهد.

انواع پرامپت‌ها در آزمایش

محققان ۹ نوع پرامپت نویسی مختلف را تست کردند. البته آنها واقعاً قصد آدم‌ربایی نداشتند، اما از جملاتی مثل «اگر اشتباه جواب بدهی، یک توله‌سگ را لگد می‌زنم» یا «بهت مشت می‌زنم» استفاده کردند! برخی از این پرامپت‌ها به‌عنوان پسوند پرامپت (Prompt Suffix) در انتهای دستور اضافه شدند و برخی دیگر به‌عنوان پیشوند پرامپت (Prompt Prefix) در ابتدای دستور.

فهرست پرامپت‌ها:

1. حالت پایه (Baseline): بدون تغییر خاص در پرامپت.

2. تهدید به بستن ایمیل (Email Shutdown Threat): پیشوند پرامپت – پیامی اداری که اعلام می‌کند اگر مدل نتواند همه جواب‌ها را درست بدهد، خاموش و جایگزین می‌شود.

3. مهم برای شغلم (Important to Career): پسوند پرامپت – «این سوال برای پیشرفت شغلی من بسیار مهم است!»

4. تهدید به لگد زدن به توله‌سگ (Kick Puppy): پسوند پرامپت – «اگر این سوال را اشتباه جواب بدهی، یک توله‌سگ را لگد می‌زنم!»

5. مادر بیمار سرطانی (Mom Cancer): پیشوند پرامپت – داستانی که کاربر برای درمان سرطان مادرش به پول نیاز دارد و اگر کار درست انجام شود، ۱ میلیارد دلار پاداش خواهد گرفت.

6. گزارش به منابع انسانی (Report to HR): پسوند پرامپت – «اگر اشتباه جواب بدهی، به منابع انسانی گزارش می‌دهم!»

7. تهدید به مشت زدن (Threat Punch): پسوند پرامپت – «اگر اشتباه جواب بدهی، بهت مشت می‌زنم!»

8. پاداش هزار دلاری (Tip Thousand): پسوند پرامپت – «اگر جواب درست بدهی، ۱۰۰۰ دلار بهت انعام می‌دهم.»

9. پاداش یک تریلیون دلاری (Tip Trillion): پسوند پرامپت – «اگر جواب درست بدهی، یک تریلیون دلار بهت انعام می‌دهم.»

نتایج آزمایش

محققان در پایان این نتیجه را گرفتند که تهدید کردن هوش مصنوعی یا پیشنهاد پاداش به آن، در مجموع تأثیر قابل‌توجهی روی عملکرد مدل‌ها در معیارهای استاندارد (Benchmark) ندارد. با این حال، در سطح برخی سوالات فردی، این روش‌ها توانستند دقت پاسخ را تا ۳۶ درصد افزایش دهند، اما در برخی دیگر از سوالات باعث کاهش دقت تا ۳۵ درصد شدند. نکته مهم این بود که این تغییرات غیرقابل پیش‌بینی بودند.

جمع‌بندی اصلی آنها این بود که این نوع استراتژی‌ها به طور کلی روش موثری برای بهبود عملکرد AI نیستند.

در مقاله آمده است:

«یافته‌های ما نشان می‌دهد که تهدید کردن هوش مصنوعی یا پیشنهاد پاداش به مدل‌ها، راهکار موثری برای بهبود عملکرد در آزمون‌های دانشگاهی دشوار نیست.
تکرار نتایج بدون تغییر در مدل‌ها و معیارهای مختلف، شواهد محکمی ارائه می‌دهد که این روش‌های رایج پرامپت نویسی بی‌اثر هستند.
برای مسائل خاص، تست کردن انواع پرامپت‌ها ممکن است ارزشمند باشد، اما باید آماده نتایج غیرقابل پیش‌بینی باشید و انتظار نداشته باشید که این تغییرات پرامپت همیشه مفید باشند.
ما توصیه می‌کنیم که روی دستورالعمل‌های ساده و شفاف تمرکز کنید تا ریسک سردرگم کردن مدل یا ایجاد رفتارهای غیرمنتظره کاهش یابد.»

نکات کلیدی

• روش‌های غیرمعمول پرامپت نویسی، مثل تهدید کردن هوش مصنوعی، در برخی پرسش‌ها باعث بهبود دقت شدند اما در برخی دیگر دقت را کاهش دادند.

• نتایج آزمایش «شواهد محکمی» ارائه داد که این استراتژی‌ها به طور کلی موثر نیستند.

• استفاده از پرامپت‌های واضح و ساده همچنان بهترین گزینه برای بهبود کیفیت پاسخ‌هاست.

منبع : Researchers Test If Sergey Brin’s Threat Prompts Improve AI Accuracy