ادعا و مدرک (Claims and Evidence)
یه ادعای قابل‌چک رو از یه نظر جدا می‌کنی و مدرک‌ها رو از قصه‌ی یه دوست تا توافق چندین تحقیق رتبه‌بندی می‌کنی.
سه جور ادعا
واقعیت، نظر، پیش‌بینی
ادعا یعنی هر جمله‌ای که می‌گه یه چیزی این‌طوریه. ادعای واقعی (factual) رو می‌شه چک کرد، دست‌کم در اصل. نظر یا قضاوت ارزشی درباره‌ی سلیقه‌ست یا اینکه چی مهمه. پیش‌بینی درباره‌ی آینده‌ست، پس فعلاً هیچ‌کس نمی‌تونه چکش کنه. خیلی از پست‌ها هر سه‌تا رو تو یه جمله قاطی می‌کنن، و اولین مهارت اینه که تیکه‌ی قابل‌چک رو بیرون بکشی.
«دماوند بیشتر از ۵۰۰۰ متر ارتفاع داره» یه ادعای واقعیه (حدود ۵۶۰۰ متره). «دماوند قشنگ‌ترین کوه دنیاست» نظره. «سال دیگه قیمت مجوز صعود دو برابر می‌شه» پیش‌بینیه.
خودت رو امتحان کن
یه پیام فورواردی درباره‌ی یه دمنوش گیاهی جدید. هر تیکه رو دسته‌بندی کن.
- این دمنوش از اسفند تو تهران اومده بازار
- مزه‌ش خیلی از چای سبز بهتره
- به‌زودی همه‌ی داروخونه‌ها میارنش
- توش زنجبیل و زردچوبه هست
- بطریش از همه‌ی بطری‌های قفسه قشنگ‌تره
- تا زمستون قیمتش دو برابر می‌شه
جواب رو ببین
واقعیت قابل‌چک: این دمنوش از اسفند تو تهران اومده بازار, توش زنجبیل و زردچوبه هست
نظر: مزه‌ش خیلی از چای سبز بهتره, بطریش از همه‌ی بطری‌های قفسه قشنگ‌تره
پیش‌بینی: به‌زودی همه‌ی داروخونه‌ها میارنش, تا زمستون قیمتش دو برابر می‌شه
کلمه‌های مبهم ادعا رو قایم می‌کنن
مبهم
«کارشناس‌ها می‌گن این دمنوش ممکنه کمک کنه و با کمتر سرما خوردن ارتباط داره، تا ۸۰٪.»
کدوم کارشناس‌ها؟ به چی کمک کنه؟ چه جور ارتباطی؟ «تا ۸۰٪» ممکنه یعنی ۲٪.
دقیق
«تو یه تحقیق روی ۲۰۰ تا بزرگسال، کسایی که سه ماه هر روز خوردنش کمتر از کسایی که نخوردن سرما خوردن.»
حالا می‌دونی کی، چی، چندتا و در مقایسه با چی. حالا می‌شه چکش کرد.
ادعا: «پزشک‌ها هشدار می‌دن: صفحه‌نمایش داره چشم بچه‌ها رو نابود می‌کنه.»
کی؟ کدوم پزشک‌ها، کجا؟
چی؟ دقیقاً کدوم مشکل چشم؟
چندتا؟ چندتا بچه، چقدر تغییر؟
در مقایسه با؟ بچه‌هایی که کمتر پای صفحه‌ان؟
از کِی؟ تو چه بازه‌ای؟بازنویسی‌شده: «طبق تحقیق Y، بچه‌هایی که روزی بیشتر از X ساعت
پای صفحه‌نمایشن بیشتر از بقیه نزدیک‌بین می‌شن.»لازم نیست هنوز جوابا رو بدونی. همین که این پنج‌تا سؤال رو بپرسی، یه شعار ترسناک می‌شه یه جمله که می‌شه دنبالش گشت.
خودت رو امتحان کن
زیر نقد یه گوشی کامنت گذاشتن. کدومشون یه ادعای واقعیِ قابل‌چکه؟
- «این گوشی زشته.»
- «این گوشی سال ۲۰۲۳ اومده بازار.»
- «این گوشی حسابی می‌ترکونه.»
- «برای هر کی عاشق عکاسیه بهترین گوشیه.»
جواب رو ببین
«این گوشی سال ۲۰۲۳ اومده بازار.»
درسته. تاریخ عرضه رو می‌شه پیدا کرد. حتی ممکنه غلط از آب دربیاد، ولی از اون چیزاییه که می‌شه تکلیفش رو روشن کرد.
کی باید نشونش بده
بار اثبات (Burden of Proof)
کسی که ادعا می‌کنه، همونه که باید مدرک بیاره. «ثابت کن غلطه» مدرکی برای درست بودن نیست: نمی‌تونی هر درمان من‌درآوردی رو رد کنی، و این باعث نمی‌شه هیچ‌کدومشون جواب بده. و هر چی ادعا عجیب‌تر باشه، مدرکش باید محکم‌تر باشه. کارل سیگن این رو معروف کرد: ادعای خارق‌العاده مدرک خارق‌العاده می‌خواد.
«این کافه هفته‌ی پیش باز شده» مدرک زیادی نمی‌خواد: یه عکس، یه آدرس روی نقشه. «این چای دیابت رو درمان می‌کنه» کلی از پزشکی رو زیر و رو می‌کنه، پس آزمایش‌های محکم و تکرارشده می‌خواد.
خودت رو امتحان کن
یه پست می‌گه: «هیچ‌کس ثابت نکرده این درمان جواب نمی‌ده، پس احتمالاً جواب می‌ده.» این استدلال منصفانه‌ایه، چون شکاک‌ها هیچ مدرکی نیاوردن.
جواب رو ببین
نادرست
غلطه. بار اثبات روی دوش کسیه که می‌گه درمان جواب می‌ده. «کسی ردش نکرده» درباره‌ی بی‌شمار درمان من‌درآوردی هم صدق می‌کنه. تا وقتی یکی نشون نده که جواب می‌ده، موضع صادقانه «ثابت نشده»ست، نه «احتمالاً درسته».
یه نردبون تقریبی مدرک (برای ادعاهای سلامتی)
- یه قصه‌ی شخصی یا تعریف یه نفر
«رو من که جواب داد.» واقعیه، ولی باز هم یه موردِ تنهاست که با هیچی مقایسه نشده.
- نظر یه متخصص بدون داده
از قصه‌ی یه غریبه آگاهانه‌تره، ولی نظر، اندازه‌گیری نیست.
- یه تحقیق مشاهده‌ای
پژوهشگرها کاری رو که آدما خودشون می‌کنن نگاه می‌کنن و گروه‌ها رو مقایسه می‌کنن. به‌دردبخوره، ولی ممکنه گروه‌ها از جهت‌های دیگه هم با هم فرق داشته باشن.
- یه کارآزمایی تصادفی‌شده (RCT)
آدما به‌صورت شانسی تقسیم می‌شن: یه گروه درمان رو می‌گیره و یه گروه نمی‌گیره، پس مقایسه منصفانه‌تره.
- چندتا تحقیق هم‌نظر، یا یه مرور نظام‌مند
تیم‌های مختلف، آدمای مختلف، یه جواب. از اینجا می‌شه کم‌کم نسبتاً مطمئن شد.
خودت رو امتحان کن
این‌ها رو از ضعیف‌ترین تا محکم‌ترین مدرک مرتب کن: چندتا کارآزمایی هم‌نظر، تعریف یه مشتری، یه کارآزمایی تصادفی‌شده.
- یه کارآزمایی تصادفی‌شده، تعریف مشتری، چندتا کارآزمایی هم‌نظر
- تعریف مشتری، چندتا کارآزمایی هم‌نظر، یه کارآزمایی تصادفی‌شده
- تعریف مشتری، یه کارآزمایی تصادفی‌شده، چندتا کارآزمایی هم‌نظر
- چندتا کارآزمایی هم‌نظر، یه کارآزمایی تصادفی‌شده، تعریف مشتری
جواب رو ببین
تعریف مشتری، یه کارآزمایی تصادفی‌شده، چندتا کارآزمایی هم‌نظر
آره. یه قصه پله‌ی آخره، یه مقایسه‌ی منصفانه بهتره، و چندتا مقایسه‌ی منصفانه‌ی هم‌نظر از همه بهتر.
یه مورد
قصه در برابر داده
قصه (anecdote) یعنی یه ماجرای تکی. می‌تونه کاملاً درست باشه و باز هم تقریباً هیچی درباره‌ی یه الگو نگه، چون یه مورد نمی‌تونه نشون بده یه چیزی چقدر پیش میاد یا اگه اون کار نمی‌شد چی می‌شد. داده به خیلی از آدما نگاه می‌کنه و گروه‌ها رو مقایسه می‌کنه.
«عموم یه عمر سیگار کشید و ۹۵ سال عمر کرد» ممکنه درست باشه. ولی هیچی درباره‌ی ریسک نمی‌گه؛ ریسک فقط وقتی معلوم می‌شه که هزاران سیگاری رو با هزاران غیرسیگاری مقایسه کنی.
خودت رو امتحان کن
- یه پست فورواردی: پنج نفر می‌گن یه پماد گیاهی ظرف یه هفته کمردردشون رو خوب کرده. هر قصه هم یه عکس خندون کنارشه.
- یه کارآزمایی: ۳۰۰ نفر با کمردرد به‌صورت شانسی تقسیم می‌شن. نصفشون پماد رو می‌زنن، نصفشون یه کرم ساده. بعد از یه هفته هر دو گروه تقریباً به یه اندازه بهتر شدن.
چرا این دوتا این‌قدر ماجرای متفاوتی تعریف می‌کنن؟
- اون پنج نفر حتماً دروغ می‌گن
- پست هیچ گروه مقایسه‌ای نداره، و کمردرد خیلی وقتا خودش ظرف یه هفته بهتر می‌شه
- ۳۰۰ نفر برای یه آزمایش منصفانه زیادیه
- کرم ساده یواشکی همون گیاه‌ها رو داره
جواب رو ببین
پست هیچ گروه مقایسه‌ای نداره، و کمردرد خیلی وقتا خودش ظرف یه هفته بهتر می‌شه
دقیقاً. تعریف‌ها می‌تونن صادقانه باشن. بدون گروهی که پماد نزده، نمی‌تونی اثر پماد رو از گذشت زمان جدا کنی. کارآزمایی نشون می‌ده بهتر شدن در هر صورت اتفاق افتاده.
سه‌تا اشتباه رایج
- اینکه «یه تحقیق می‌گه» رو حرف آخر بدونی. یه تحقیق نقطه‌ی شروعه.
- اینکه نظر رو دروغ حساب کنی. نظرها مثل واقعیت‌ها درست و غلط ندارن.
- اینکه «هنوز مدرکی نیست» رو «مدرکی بر غلط بودنش» بدونی. گاهی هنوز کسی چکش نکرده.
خودت رو امتحان کن
تو گروه خانوادگی خاله مینا می‌نویسه: «مادربزرگم هر روز صبح این چای رو می‌خورد و هیچ‌وقت مریض نشد.» این به‌عنوان مدرک چیه؟
- اثبات اینکه این چای جلوی مریضی رو می‌گیره
- یه قصه: یه مورد، بدون مقایسه
- نظر یه متخصص، چون از نزدیک دیده
- یه تحقیق مشاهده‌ای کوچیک
جواب رو ببین
یه قصه: یه مورد، بدون مقایسه
درسته. ممکنه یه خاطره‌ی قشنگ و واقعی باشه. ولی باز هم یه نفره، و راهی نیست بفهمیم بدون چای چی می‌شد.
مرور درس
- یه ادعا می‌تونه واقعیت قابل‌چک، نظر یا پیش‌بینی باشه؛ اول تیکه‌ی قابل‌چک رو بیرون بکش.
- قابل‌چک بودن به معنی درست بودن نیست؛ فقط یعنی در اصل می‌شه فهمید.
- ادعای مبهم رو بازنویسی کن: کی، چی، چندتا، در مقایسه با چی، از کِی.
- کسی که ادعا می‌کنه مدرک میاره، و ادعای عجیب‌تر مدرک محکم‌تری می‌خواد.
- مدرک از یه قصه تا توافق چندین تحقیق بالا می‌ره؛ یه مورد نمی‌تونه الگو نشون بده.