جمع‌بندی: خوندن یه تیتر (Reading a Headline)
یه تیتر واقعی‌نما رو با کل این دوره از هم باز می‌کنیم: کدوم میانگین، چه نمونه‌ای، چه نوع پژوهشی، نسبی یا مطلق، و چطور کشیده شده.
سؤال ۱ · درس ۸
نسبی یا مطلق؟
«۵۰ درصد کمتر» یه تغییر نسبیه. عددهای واقعی مقاله: توی ده سال، بیماری Z توی حدود ۲ نفر از هر ۱۰۰۰ غیرقهوه‌خور و ۱ نفر از هر ۱۰۰۰ قهوه‌خور دیده شده. این یعنی ۵۰ درصد کاهش، و در عین حال فقط ۱ مورد کمتر از هر ۱۰۰۰ نفر، یا ۰٫۱ واحد درصد. یه جور دیگه بگیم: حدود ۱۰۰۰ نفر باید ده سال قهوه بخورن تا یه مورد کمتر پیش بیاد، اون هم فقط اگه قهوه واقعاً علتش باشه.
همون عددها، دوتا تیتر: «۵۰ درصد کمتر» و «ده سال، ۱ مورد کمتر از هر ۱۰۰۰ نفر».
خودت رو امتحان کن
خطر بیماری Z از ۲ در ۱۰۰۰ به ۱ در ۱۰۰۰ می‌رسه. تغییر مطلق کدومه؟
- ۵۰ درصد
- ۱ در ۱۰۰۰، یا ۰٫۱ واحد درصد
- ۱ واحد درصد
- از ۲ به ۱، یعنی نصف شدن
جواب رو ببین
۱ در ۱۰۰۰، یا ۰٫۱ واحد درصد
درسته. تغییر مطلق همون فاصله‌ی ساده‌ست: ۲ − ۱ = ۱ مورد از هر ۱۰۰۰ نفر، که می‌شه ۰٫۱ واحد درصد. «۵۰ درصد» و «نصف شدن» نسخه‌ی نسبیشن.
قدم‌به‌قدم ببین
کارت تیتر یه کارت تیتر با یه Z کوچیک گوشه‌ش و یه −50% بزرگ و نارنجی وسطش: قهوه‌خورها ۵۰ درصد کمتر به بیماری Z مبتلا می‌شن. هنوز هیچی بررسی نشده. بیا بررسیش کنیم.
بررسی ۱: نسبی یا مطلق؟ اولین ردیف بررسی کنار کارت ظاهر می‌شه، با یه دایره‌ی خالی و 2 → 1 / 1000. زیر −50% روی کارت یه = −0.1 pt کوچیک اضافه می‌شه. خطر از ۲ به ۱ در هر ۱۰۰۰ نفر رسیده: یه کاهش واقعی، ولی خیلی کوچیک.
بررسی ۲ و ۳: چه پژوهشی، چند نفر؟ دوتا ردیف دیگه ظاهر می‌شن. obs با یه پیکان خط‌چین یعنی مطالعه‌ی مشاهده‌ای: یه همبستگی، نه اثبات علت. n = 300 با یه دسته نقطه‌ی کوچیک، تعداد آدم‌هاست. وقتی خطر ۱ یا ۲ در هر ۱۰۰۰ نفره، یه گروه ۳۰۰ نفره خیلی کوچیک‌تر از اونه که بتونه فرقی به این کمیابی رو اندازه بگیره.
بررسی ۴، و عدد کوچیک می‌شه ردیف چهارم نوشته p = 0.04، 1 / 20: یه نتیجه‌ی «معنادار» بین ۲۰ خوراکی آزمایش‌شده، تقریباً همونی که شانس تنهایی می‌داد. هر چهار ردیف تیک بنفش می‌خورن و −50% روی کارت از نارنجی به خاکستری کم‌رنگ می‌شه. بعد از چهار تا سؤال، عددی که ترسناک به نظر می‌اومد خیلی کوچیک‌تر و خیلی نامطمئن‌تر شده.
خودت رو امتحان کن
پژوهش فقط آدم‌هایی رو مشاهده کرده که خودشون انتخاب کردن قهوه بخورن یا نه. کدوم فعل تیتر صادقانه‌ست؟
- «قهوه خطر Z رو کم می‌کنه»
- «قهوه با خطر کمتر Z مرتبطه»
- «قهوه جلوی Z رو می‌گیره»
- «قهوه Z رو درمان می‌کنه»
جواب رو ببین
«قهوه با خطر کمتر Z مرتبطه»
درسته. آدم‌ها عادت قهوه‌خوردنشون رو خودشون انتخاب کردن، و قهوه‌خورها ممکنه از نظر درآمد، سلامت یا سیگار کشیدن فرق داشته باشن. مطالعه‌ی مشاهده‌ای یه ارتباط نشون می‌ده؛ «کم می‌کنه» و «جلوش رو می‌گیره» ادعای علتی رو می‌کنن که پژوهش نمی‌تونه نشون بده.
سؤال ۳ و ۴ · درس‌های ۴، ۵ و ۱۰
کیا، چند نفر، و چقدر مطمئن؟
پژوهش ۳۰۰ نفر از یه درمونگاه رو دنبال کرده. این یه گروه کوچیکه، و نمونه‌ی تصادفی از هیچ‌کس نیست جز بیمارهای همون درمونگاه. برای یه بیماری این‌قدر کمیاب هم زیادی کوچیکه: با ۱ یا ۲ مورد از هر ۱۰۰۰ نفر، بین ۳۰۰ نفر انتظار می‌ره خیلی کمتر از یه مورد پیش بیاد، پس بپرس مقایسه واقعاً روی چندتا مورد بنا شده. بازه‌ی مقاله، «بین ۱۰ تا ۸۰ درصد کمتر»، خیلی پهنه، که یه جور دیگه‌ی گفتن اینه که تخمین لرزونه. و p = 0.04ـش یه موفقیت بین ۲۰ خوراکی بوده که پژوهشگرها آزمایش کردن، تقریباً همونی که شانس تنهایی می‌سازه.
وقتی عددهای یه تیتر با اندازه‌ی نمونه جور درنمیان، همین به‌تنهایی دلیلیه که منتظر یه پژوهش بزرگ‌تر بمونی.
دوتا بررسی دیگه: میانگین و نمودار
کدوم میانگین؟ (درس‌های ۱ تا ۳)
یه جمله‌ی دیگه توی خبر می‌گه «یه قهوه‌خور معمولی روزی ۴ فنجون می‌خوره».
چندتا آدم که خیلی زیاد قهوه می‌خورن می‌تونن میانگین رو تا ۴ بالا بکشن، در حالی که میانه، یعنی قهوه‌خور معمولی، ۲ فنجون می‌خوره.
چطور کشیده شده؟ (درس ۹)
نمودار میله‌ای مقاله از دوتا خطر، محورش رو از ۰٫۸ در ۱۰۰۰ شروع کرده.
میله‌های ۱ و ۲ می‌شن ۰٫۲ و ۱٫۲ واحد: یه خطر شش برابر اون یکی به نظر میاد، در حالی که واقعاً دو برابره.
خودت رو امتحان کن
هر بررسی رو به چیزی که توی تیتر قهوه پیدا کرد وصل کن
جواب رو ببین
- نسبی یا مطلق؟ → «۵۰ درصد کمتر» یعنی ۱ مورد کمتر از هر ۱۰۰۰ نفر
- چه نوع پژوهشی؟ → مشاهده‌ای: یه ارتباط، نه یه علت
- کیا و چند نفر؟ → ۳۰۰ نفر از یه درمونگاه
- معناداره، و مهمه؟ → p = 0.04، یه موفقیت بین ۲۰ خوراکی
- چطور کشیده شده؟ → محور میله‌ها از ۰٫۸ در ۱۰۰۰ شروع شده
سؤال ۷ · درس‌های ۷ و ۱۱
نرخ پایه و تصویر بزرگ‌تر
بیماری Z از اول کمیابه، حدود ۲ در ۱۰۰۰ توی ده سال، پس حتی یه نصف شدن واقعی هم برای هر آدمی خیلی کم فرق ایجاد می‌کنه. یه پژوهش هم یعنی مجموعه‌ی شواهد نیست. سؤال آخر اینه که پژوهش‌های دیگه چی می‌گن: مرورهای نظام‌مند یا کارآزمایی‌های بزرگ درباره‌ی قهوه و Z چیزی دیدن؟ اگه یه مطالعه‌ی مشاهده‌ای کوچیک با یه عالمه پژوهش بزرگ‌تر مخالف باشه، معمولاً اون عالمه پژوهش برنده‌ست.
«نرخ پایه چنده؟» و «پژوهش‌های دیگه چی می‌گن؟» دوتا سؤالین که بیشتر تیترها هیچ‌وقت جوابشون رو نمی‌دن.
چک‌لیستی که باید نگه داری
- نسبی یا مطلق؟
خطرِ شروع رو پیدا کن. «از چند نفر؟»
- چه نوع پژوهشی؟
کارآزمایی تصادفی یا مشاهده‌ای؟ حیوون یا آدم؟ «مرتبط با» یا «باعث»؟
- کیا و چند نفر؟
یه نمونه‌ی تصادفی یا یه درمونگاه؟ ده‌ها، صدها یا ده‌ها هزار نفر؟
- چقدر نامطمئن؟
بازه یا حاشیه‌ی خطا چقدر پهنه؟ یه مقدار p خوش‌شانس بین کلی آزمون بوده؟
- کدوم میانگین، و چه پراکندگی‌ای؟
میانگین یا میانه؟ ممکنه چندتا عدد خیلی بزرگ یا کوچیک کشیده باشنش؟
- چطور کشیده شده؟
محور از کجا شروع می‌شه؟ تعداده یا نرخ؟ کدوم تاریخ‌ها؟
- نرخ پایه چنده، و پژوهش‌های دیگه چی می‌گن؟
از اول کمیاب بوده؟ یه پژوهشه، یا مجموعه‌ای از شواهد؟
خودت رو امتحان کن
کدوم تیتر بازنویسی‌شده دقیق‌ترینه؟
- «قهوه خطر بیماری Z رو نصف می‌کنه»
- «دانشمندها ثابت کردن قهوه از آدم در برابر Z محافظت می‌کنه»
- «توی یه مطالعه‌ی مشاهده‌ای کوچیک، قهوه‌خورها موردهای کمی کمتری از Z داشتن (۱ در برابر ۲ از هر ۱۰۰۰ نفر)»
- «قهوه هیچ اثری روی Z نداره»
جواب رو ببین
«توی یه مطالعه‌ی مشاهده‌ای کوچیک، قهوه‌خورها موردهای کمی کمتری از Z داشتن (۱ در برابر ۲ از هر ۱۰۰۰ نفر)»
درسته. عددهای مطلق رو می‌گه، می‌گه پژوهش کوچیک و مشاهده‌ای بوده، و ادعای علت نمی‌کنه. کمتر هیجان‌انگیزه، و خیلی نزدیک‌تر به چیزیه که پژوهش می‌تونه پشتش بایسته.
خودت رو امتحان کن
وقتی یه تیتر از چندتا از این بررسی‌ها رد نمی‌شه، می‌تونی نتیجه بگیری قهوه هیچ اثری روی بیماری Z نداره.
جواب رو ببین
نادرست
غلطه. بررسی‌ها نشون می‌دن این پژوهش نمی‌تونه پشت یه ادعای محکم بایسته. این با نشون دادن اینکه هیچ اثری نیست فرق داره. نتیجه‌ی صادقانه اینه که «هنوز نمی‌دونیم»، و قدم بعدی دیدن اینه که پژوهش‌های بزرگ‌تر و بهتر چی می‌گن.
مرور دوره
- «۵۰ درصد کمتر» یعنی ۲ ← ۱ مورد از هر ۱۰۰۰ نفر توی ده سال: یه کاهش ۰٫۱ واحد درصدی.
- یه مطالعه‌ی مشاهده‌ای روی ۳۰۰ نفر از یه درمونگاه می‌تونه ارتباط نشون بده، نه علت، و برای بیماری‌ای به این کمیابی خیلی کوچیکه.
- p = 0.04 بین ۲۰ خوراکی آزمایش‌شده تقریباً همونیه که شانس تنهایی می‌داد.
- بپرس کدوم میانگین، نمودار چطور کشیده شده، نرخ پایه چنده و پژوهش‌های دیگه چی می‌گن.
- چک‌لیست عددهای محکم رو از سست جدا می‌کنه؛ آخرش خودت تیتر صادقانه رو بنویس.