پث‌وایز

پرامپت‌نویسی برای هوش مصنوعی (Prompt Engineering) · درس ۸ از ۱۲ · ۱۲ دقیقه

هم بذار مدل خودش استدلالش رو بازبینی کنه، هم خودت راستی‌آزماییش کن

ازش استدلال، فرض‌ها و میزان اطمینان بخواه تا ببینی جواب کجاش ممکنه غلط باشه. بعد چیزهای مهم رو تو منبع اصلی راستی‌آزمایی کن، و به منبعی که خودت بازش نکردی اعتماد نکن.

لایه‌ی اول

استدلال گام‌به‌گام (Chain of Thought)

برای هر چیزی که منطق یا حساب‌وکتاب داره، از مدل بخواه قبل از دادن جواب، قدم‌به‌قدم حلش کنه. این معمولاً نتیجه رو بهتر می‌کنه، چون هر قدم می‌شه متنی که قدم بعدی روش ساخته می‌شه. تازه می‌تونی ببینی کجای کار خراب شده. این رو هم اضافه کن: «هر فرضی که کردی رو لیست کن.» فرض‌ها همون‌جایی‌ان که یه جواب به‌ظاهر معقول، بی‌سروصدا دیگه درباره‌ی تو نیست.

قدم‌ها چیزی‌ان برای وارسی، نه مدرک. یه توضیح می‌تونه مرتب به نظر بیاد و باز یه قدم غلط داشته باشه؛ پس مثل چرک‌نویس یه همکار بخونش، نه مثل یه گواهی.

کارت ماهانه‌ی حمل‌ونقل ۹۰۰ تومنه. هر سفر تکی ۲۵ تومن. برای من می‌صرفه کارت ماهانه بگیرم؟ قدم‌به‌قدم حساب کن و هر فرضی که می‌کنی رو لیست کن.

خروجی

فرض‌ها:
- ماهی ۲۲ روز کاری رفت‌وآمد می‌کنی.
- روزی ۲ تا سفر داری.
- سفر دیگه‌ای نداری.

قدم‌ها:
۱. تعداد سفر تو ماه: ۲۲ × ۲ = ۴۴
۲. هزینه بدون کارت: ۴۴ × ۲۵ = ۱٬۱۰۰
۳. کارت ۹۰۰ تومنه، پس ۲۰۰ تومن صرفه‌جویی می‌شه.

جواب: آره، با این فرض‌ها کارت ماهانه می‌صرفه.

حسابش درسته. ولی فرض کن هفته‌ای دو روز دورکاری: حدود ۱۳ روز، ۲۶ سفر، ۶۵۰ تومن. کارت می‌بازه. بدون لیست فرض‌ها فقط یه «آره» می‌دیدی. (عددها فقط مثالن.)

خودت رو امتحان کن

تو مثال بالا، خواستن فرض‌ها دقیقاً چی به کاربر داد؟

  1. راهی برای این‌که قبل از عمل کردن به جواب، ببینه «۲۲ روز کاری» به زندگیش نمی‌خوره
  2. ضمانت این‌که جواب نهایی درسته
  3. یه جواب طولانی‌تر، که همیشه قابل‌اعتمادتره
  4. مدرک این‌که مدل حساب رو درست انجام داده
جواب رو ببین

راهی برای این‌که قبل از عمل کردن به جواب، ببینه «۲۲ روز کاری» به زندگیش نمی‌خوره

درسته. مدل مجبور بود چیزی که بهش نگفته بودن رو حدس بزنه. لیست کردن حدس‌ها اون‌ها رو میاره جایی که بتونی ببینی و اصلاحشون کنی.

ادامه‌ی لایه‌ی اول

بپرس چقدر مطمئنه

دستیار به‌طور پیش‌فرض درباره‌ی همه‌چی یه‌جور مطمئن حرف می‌زنه. مجبورش کن ادعاهای خودش رو دسته‌بندی کنه: «کنار هر نکته بنویس: مطمئن، نسبتاً مطمئن، یا حدس»، یا «کدوم بخش‌های این رو باید دوباره چک کنم؟» این برچسب‌ها کاملاً دقیق نیستن و یه «مطمئن» هم می‌تونه غلط باشه. ولی برچسب «حدس» یه هدیه‌ست: دقیقاً بهت می‌گه اول کجا رو نگاه کنی.

برای سؤال‌های اطلاعاتی این هم ارزش اضافه کردن داره: «اگه نمی‌دونی، به‌جای حدس زدن همین رو بگو.» این به مدل یه راه خروج می‌ده که یه واقعیت ساختگی نیست.

خودت رو امتحان کن

رضا از دستیارش تاریخ اجرایی شدن یه قانون رو می‌پرسه. بعد می‌پرسه «مطمئنی؟» و جواب می‌گیره «بله، کاملاً مطمئنم.» حالا اون تاریخ راستی‌آزمایی شده.

جواب رو ببین

نادرست

جواب دوم از همون مدل با همون دانش میاد. متن بیشتره، نه مدرک بیشتر. همچین تاریخی وقتی راستی‌آزمایی می‌شه که رضا تو متن خود قانون یا یه صفحه‌ی رسمی پیداش کنه.

منبع اصلی یا دست‌اول (Primary Source)

اسم · پژوهش

جایی که یه واقعیت در اصل از اون‌جا اومده، نه بازگویی یه نفر دیگه ازش: متن خود قانون، جدول خود مرکز آمار، خود مقاله‌ی پژوهشی، صفحه‌ی خود شرکت، قراردادی که امضا کردی. جواب دستیار هیچ‌وقت منبع اصلی نیست. تو بهترین حالت یه تابلوی راهنماست به سمت اون.

«یه پژوهش نشون داده که...» بازگوییه. چکیده و نتایج خود اون پژوهش منبع اصلیه. اصلاً وجود داره؟ همین رو می‌گه؟

لایه‌ی دوم: روال چک کردن خودت

  1. ادعاهای مهم رو انتخاب کن

    همه‌چی رو نمی‌شه چک کرد. چیزی رو چک کن که قراره بر اساسش کاری بکنی یا به کسی تحویلش بدی؛ اول از چهار ناحیه‌ی پرخطر درس ۳: منبع، عدد دقیق، اطلاعات کم‌یاب، اتفاق جدید.

  2. بپرس کجا رو نگاه کنی

    «این رو کجا می‌تونم راستی‌آزمایی کنم؟ نوع منبع رو بگو، نه لینک.» پیشنهادی مثل «مرکز آمار» قابل‌اتکاتر از یه لینکه که ممکنه ساختگی باشه.

  3. خودت منبع رو باز کن

    جست‌وجوش کن و با دست خودت به صفحه یا فایل واقعی برس.

  4. خود جمله یا عدد رو پیدا کن

    نه «موضوعش به نظر درسته». خود رقم، خود بند.

  5. پیداش نکردی؟ استفاده‌ش نکن

    ادعای راستی‌آزمایی‌نشده یا از متنت می‌ره بیرون، یا می‌مونه ولی واضح نوشته می‌شه که تأیید نشده.

خودت رو امتحان کن

کدوم‌ها واقعاً راستی‌آزمایی یه ادعا حساب می‌شن؟

  • باز کردن مقاله‌ای که بهش استناد شده و پیدا کردن همون جمله
  • دوباره پرسیدن همون سؤال از همون دستیار
  • چک کردن عدد تو سایت مرکز آمار
  • این‌که لینکش رسمی به نظر میاد
  • خوندن همون بند تو متن خود قرارداد
  • این‌که جواب یه شماره‌ی مرجع هم داره
جواب رو ببین

راستی‌آزمایی واقعی: باز کردن مقاله‌ای که بهش استناد شده و پیدا کردن همون جمله, چک کردن عدد تو سایت مرکز آمار, خوندن همون بند تو متن خود قرارداد

فقط حسش رو می‌ده: دوباره پرسیدن همون سؤال از همون دستیار, این‌که لینکش رسمی به نظر میاد, این‌که جواب یه شماره‌ی مرجع هم داره

قانون منبع

  • منبعی که خودت بازش نکردی رو به کسی تحویل نده. نه تو مقاله، نه گزارش، نه پست، نه پیام به مدیرت.
  • چک کن که منبع وجود داره و همون چیزی رو می‌گه که جواب ادعا می‌کنه. از منبع واقعی هم غلط نقل می‌شه.
  • حتی وقتی یه ابزار تو وب می‌گرده و لینک نشون می‌ده، روش کلیک کن. خلاصه‌ای که کنار لینک نوشته هنوز می‌تونه غلط باشه.
  • اگه چک کردنش بیشتر از ارزش اون ادعا وقت می‌گیره، ادعا رو حذف کن.

خودت رو امتحان کن

هر نگرانی رو به پرامپتی که جوابشه وصل کن

جواب رو ببین
  • «شاید درباره‌ی موقعیت من یه چیزهایی رو حدس زده» → «هر فرضی که کردی رو لیست کن.»
  • «نمی‌تونم بخش‌های محکم رو از بخش‌های لرزون تشخیص بدم» → «کنار هر نکته بنویس: مطمئن، نسبتاً مطمئن، یا حدس.»
  • «این محاسبه ممکنه غلط باشه» → «از یه راه دوم حلش کن و نتیجه‌ها رو مقایسه کن.»
  • «ممکنه برای پر کردن جای خالی یه واقعیت بسازه» → «اگه نمی‌دونی، به‌جای حدس زدن همین رو بگو.»

خودت رو امتحان کن

فصل پایان‌نامه‌ی نگار منبع لازم داره. یه دستیار پنج تا منبع بهش می‌ده، هر کدوم با نویسنده، مجله، سال و شماره‌ی صفحه. فقط یه شب وقت داره. چی‌کار کنه؟

  1. از یه دستیار دیگه بپرسه این منبع‌ها واقعی به نظر میان یا نه
  2. از هر پنج‌تا استفاده کنه، چون جزئیات دقیق‌تر از اونه که ساختگی باشه
  3. استفاده‌شون کنه، ولی اول از دستیار بخواد درست قالب‌بندی‌شون کنه
  4. هر کدوم رو جست‌وجو کنه، فقط اون‌هایی که می‌تونه بازشون کنه رو نگه داره، و قبل از استناد بخش مربوطش رو بخونه
جواب رو ببین

هر کدوم رو جست‌وجو کنه، فقط اون‌هایی که می‌تونه بازشون کنه رو نگه داره، و قبل از استناد بخش مربوطش رو بخونه

آره. منبع پرخطرترین خروجی ممکنه. هر کدوم که پیدا نشد حذف می‌شه، و هر کدوم که پیدا شد باید واقعاً همون چیزی رو گفته باشه که نگار می‌خواد بهش نسبت بده.

مرور درس

  • حل قدم‌به‌قدم و لیست فرض‌ها رو بخواه تا خطاها و حدس‌های پنهان دیده بشن.
  • بپرس از کدوم بخش‌ها مطمئن نیست و اجازه بده بگه «نمی‌دونم». این‌ها سرنخ‌های مفیدی‌ان، نه ضمانت.
  • «مطمئنی؟» هیچی رو راستی‌آزمایی نمی‌کنه. یه روش دوم یا یه منبع بیرونی می‌کنه.
  • ادعاهای مهم رو تو منبع اصلی چک کن و منبعی که خودت بازش نکردی رو به کسی تحویل نده.

فقط نخونش، نگهش دار

پث‌وایز هر ایده رو درست قبل از اینکه فراموشش کنی با یه سؤال کوتاه برمی‌گردونه. رایگان روی اندروید و وب، به فارسی و انگلیسی.

Cafe Bazaar Myket باز کردن نسخه‌ی وب

همه‌ی درس‌های این دوره

  1. کارش حدس زدن کلمه‌ی بعدیه
  2. همه‌چی به کانتکست برمی‌گرده
  3. چرا از خودش می‌بافه
  4. چهار تکه: نقش، زمینه، کار، قالب
  5. فقط نگو، نشون بده
  6. محدودیت بذار، قدم‌به‌قدم بهترش کن
  7. کار بزرگ رو تکه‌تکه کن
  8. هم بذار مدل خودش استدلالش رو بازبینی کنه، هم خودت راستی‌آزماییش کن
  9. کار با متن طولانی
  10. نوشتن و ویرایش با هوش مصنوعی
  11. یاد گرفتن هر چیزی، سریع‌تر
  12. کتابخونه‌ی پرامپت‌هات و حواس‌جمع موندن