مقدار p به زبون ساده (P-values)
مقدار p فقط یه سؤال می‌پرسه: اگه هیچ خبری نبود، این نتیجه چقدر عجیب بود؟ و جواب سؤال‌هایی که معمولاً فکر می‌کنن رو نمی‌ده.
فرض صفر (Null hypothesis)
فرض اولیه‌ای که می‌گه هیچ خبری نیست: سکه سالمه، دارو هیچ اثری نداره، دوتا گروه یکسانن. یه پژوهش فرض صفر رو ثابت نمی‌کنه؛ می‌پرسه اگه این فرض درست بود، داده‌ها عجیب به نظر می‌اومدن یا نه.
برای اینکه بفهمی یه سکه کج هست یا نه، فرض صفر اینه که «سکه سالمه»، یعنی نصف وقت‌ها شیر میاد.
همون یه سؤال
اگه هیچ خبری نبود، چقدر عجیب بود؟
مقدار p (P-value) جواب می‌ده: اگه فرض صفر درست بود، چند وقت یه بار فقط از روی شانس نتیجه‌ای دست‌کم به همین شدت می‌دیدیم؟ مقدار p کوچیک یعنی نتیجه تحت فرض «هیچ خبری نیست» کمیاب بوده، و همین باور کردن اون فرض رو سخت‌تر می‌کنه. مقدار p بزرگ یعنی نتیجه از اون چیزهاییه که شانس همیشه می‌سازه.
یه سکه‌ی سالم که ۱۰۰ بار انداخته بشه، معمولاً یه جایی بین حدود ۴۰ تا ۶۰ بار شیر میاد. نتیجه‌ی ۵۲ معمولیه؛ نتیجه‌ی ۶۵ کمیاب بود.
خودت رو امتحان کن
مینا می‌خواد ببینه یه کود جدید به رشد گیاه‌ها کمک می‌کنه یا نه. فرض صفر چیه؟
- کود گیاه‌ها رو سریع‌تر رشد می‌ده
- کود هیچ فرقی توی رشد ایجاد نمی‌کنه
- کود به گیاه‌ها آسیب می‌زنه
- گیاه‌ها دقیقاً ۱۰ درصد سریع‌تر رشد می‌کنن
جواب رو ببین
کود هیچ فرقی توی رشد ایجاد نمی‌کنه
درسته. فرض صفر همون نقطه‌ی شروع «هیچ خبری نیست»ـه: هیچ فرقی. بعد پژوهش می‌پرسه اگه این درست بود، نتیجه‌ها عجیب بودن یا نه.
قدم‌به‌قدم ببین
یه سکه‌ی سالم توی ۱۰۰ پرتاب چی کار می‌کنه یه منحنی زنگوله‌ای بنفش روی محور تعداد شیر، با علامت‌های ۴۰، ۵۰، ۶۰ و ۶۵. اگه سکه سالم باشه، ۱۰۰ پرتاب معمولاً حدود ۵۰ بار شیر می‌ده؛ منحنی نشون می‌ده هر نتیجه چند وقت یه بار پیش میاد، بیشتر از همه روی ۵۰ و هرچی از دو طرف دورتر، کمتر.
۶۰ بار شیر اومد یه نشونه‌ی نارنجی روی محور، روی ۶۰، می‌افته؛ روی شونه‌ی سمت راست منحنی. سکه رو ۱۰۰ بار انداختیم و ۶۰ بار شیر اومد. این برای یه سکه‌ی سالم عجیبه؟
هر دو دُم رنگ شدن: p ≈ 0.06 دوتا دُم منحنی نارنجی می‌شن: ۶۰ بار شیر یا بیشتر سمت راست، و ۴۰ یا کمتر سمت چپ. نتیجه‌هایی که دست‌کم این‌قدر از ۵۰ دورن، به هر طرف، با یه سکه‌ی سالم حدود ۶ درصد وقت‌ها پیش میان. همین سهم، یعنی p ≈ 0.06، مقدار pـه.
با ۶۵ بار شیر: p ≈ 0.004 نشونه می‌ره روی ۶۵ و دُم‌های رنگی، یعنی ۶۵ یا بیشتر و ۳۵ یا کمتر، به دوتا باریکه‌ی نازک ته منحنی تبدیل می‌شن. یه سکه‌ی سالم فقط حدود ۴ بار از ۱۰۰۰ بار این‌قدر از ۵۰ دور می‌افته، p ≈ 0.004. حالا باور کردن «سکه سالمه» سخته.
خودت رو امتحان کن
۱۰۰ پرتاب، ۶۰ بار شیر داده و p ≈ 0.06. کدوم جمله درسته؟
- ۶ درصد احتمال داره سکه سالم باشه
- ۹۴ درصد احتمال داره سکه کج باشه
- اگه سکه سالم بود، نتیجه‌ای این‌قدر دور از ۵۰ حدود ۶ درصد وقت‌ها پیش می‌اومد
- سکه ۶ درصد بیشتر از حد معمول شیر میاره
جواب رو ببین
اگه سکه سالم بود، نتیجه‌ای این‌قدر دور از ۵۰ حدود ۶ درصد وقت‌ها پیش می‌اومد
درسته. مقدار p با این فرض شروع می‌کنه که سکه سالمه و می‌پرسه شانس تنهایی چند وقت یه بار نتیجه‌ای به این شدت می‌ده. مستقیماً هیچی درباره‌ی احتمال سالم بودن سکه نمی‌گه.
خطی که از روی عادت کشیده شده
معنادار آماری: p کمتر از ۰٫۰۵
طبق یه قرارداد، که برمی‌گرده به یه قاعده‌ی سرانگشتی از آمارشناسی به اسم رونالد فیشر (R. A. Fisher)، به نتیجه‌ای که p < 0.05 داشته باشه می‌گن معنادار آماری (Statistically significant). این یه عادته، نه قانون طبیعت. p برابر ۰٫۰۴۹ و p برابر ۰٫۰۵۱ عملاً یه اندازه شاهدن، با اینکه به یکی می‌گن معنادار و به اون یکی نه. نتیجه‌ی «غیرمعنادار» هم ثابت نمی‌کنه هیچ اثری نیست: شاید پژوهش فقط اون‌قدر کوچیک بوده که نتونسته ببینتش.
سکه‌ی ما با ۶۰ بار شیر (p ≈ 0.06) فقط یه ذره به خط نمی‌رسه. این سکه رو سالم نمی‌کنه؛ یعنی ۱۰۰ پرتاب برای مطمئن شدن کافی نیست.
خودت رو امتحان کن
نتیجه‌ی p = 0.01 یعنی ۹۹ درصد احتمال داره درمان جواب بده.
جواب رو ببین
نادرست
غلطه. p = 0.01 یعنی اگه درمان هیچ اثری نداشت، نتیجه‌هایی دست‌کم به این شدت حدود ۱ درصد وقت‌ها پیش می‌اومدن. این با احتمال جواب دادن درمان یکی نیست؛ اون به اینکه از اول چقدر محتمل بوده و پژوهش چقدر خوب انجام شده هم بستگی داره.
مقدار p چی نیست
- احتمال درست بودن فرض صفر نیست.
- احتمال اینکه نتیجه، به معنی روزمره، «فقط یه تصادف» باشه نیست.
- معیار بزرگی یا اهمیت اثر نیست.
- این نکته‌ها از بیانیه‌ی سال ۲۰۱۶ انجمن آمار آمریکا (American Statistical Association) درباره‌ی مقدار p میان، که به خاطر رایج بودن همین برداشت‌های غلط نوشته شد.
معنادار با مهم یکی نیست
پژوهش خیلی بزرگ، اثر خیلی کوچیک
۵۰۰٬۰۰۰ نفر. یه قرص فشار خون رو به‌طور میانگین ۰٫۵ واحد پایین میاره.
مقدار p خیلی کوچیکه، ولی اندازه‌ی اثر (Effect size) کوچیک‌تر از اونه که برای سلامت کسی مهم باشه.
پژوهش کوچیک، اثر بزرگ
۴۰ نفر. یه درمان به نظر میاد درد رو یک‌سوم کم می‌کنه.
ممکنه مقدار p بیشتر از ۰٫۰۵ باشه. ارزش یه پژوهش بزرگ‌تر رو داره، نه اینکه نادیده گرفته بشه.
خودت رو امتحان کن
یه پژوهش روی ۵۰۰٬۰۰۰ نفر نشون می‌ده یه رژیم باعث کاهش وزن معنادار آماری به اندازه‌ی ۰٫۱ کیلوگرم می‌شه. منصفانه‌ترین برداشت چیه؟
- معناداره، پس رژیم خیلی خوب جواب می‌ده
- احتمالاً مهم نیست: با نمونه‌ای به این بزرگی، حتی یه اثر خیلی کوچیک هم می‌تونه معنادار بشه
- حتماً اشتباهه، چون پژوهش‌های بزرگ نمی‌تونن اثرهای کوچیک پیدا کنن
- ۰٫۱ کیلوگرم معناداره، پس ارزش داره به همه توصیه بشه
جواب رو ببین
احتمالاً مهم نیست: با نمونه‌ای به این بزرگی، حتی یه اثر خیلی کوچیک هم می‌تونه معنادار بشه
درسته. نمونه‌های خیلی بزرگ می‌تونن اثرهای خیلی کوچیک رو هم پیدا کنن، پس مقدار p کوچیک یعنی اثر بزرگ نیست. همیشه اندازه‌ی اثر رو بپرس: اینجا ۰٫۱ کیلوگرم، که تقریباً برای هیچ‌کس مهم نیست.
خودت رو امتحان کن
- یه پژوهشگر از قبل یه آزمون برنامه‌ریزی می‌کنه: خوردن لوبیا کلسترول رو پایین میاره؟ به p = 0.04 می‌رسه.
- یه پژوهشگر دیگه ۲۰ خوراکی مختلف رو در برابر یه بیماری آزمایش می‌کنه، و فقط همونی رو گزارش می‌ده که p = 0.04 داشته.
هر دو به p = 0.04 رسیدن. چرا باید به نتیجه‌ی دوم کمتر اعتماد کنی؟
- لوبیا از بقیه‌ی خوراکی‌ها سالم‌تره
- با ۲۰ بار امتحان، فقط از روی شانس انتظار می‌ره حدود یه نتیجه نزدیک p = 0.05 دربیاد
- پژوهشگر دوم از مقدار p کوچیک‌تری استفاده کرده
- بیماری‌ها رو نمی‌شه با مقدار p بررسی کرد
جواب رو ببین
با ۲۰ بار امتحان، فقط از روی شانس انتظار می‌ره حدود یه نتیجه نزدیک p = 0.05 دربیاد
دقیقاً. همون مقدار p وقتی بهترینِ ۲۰ بار امتحانه، ارزش کمتری داره. یه آزمون برنامه‌ریزی‌شده که به p = 0.04 می‌رسه شاهد متوسطیه؛ اون یه برنده‌ی خوش‌شانس بین ۲۰ تا تقریباً همونیه که شانس تنهایی بهت می‌داد.
مرور درس
- فرض صفر همون فرض «هیچ خبری نیست»ـه، مثل «سکه سالمه».
- مقدار p یعنی اگه فرض صفر درست بود، شانس تنهایی چند وقت یه بار نتیجه‌ای دست‌کم به این شدت می‌داد: ۶۰ شیر از ۱۰۰ پرتاب می‌شه p ≈ 0.06، و ۶۵ شیر p ≈ 0.004.
- p < 0.05 یه عادته، نه قانون؛ ۰٫۰۴۹ و ۰٫۰۵۱ عملاً یکی‌ان، و «غیرمعنادار» ثابت نمی‌کنه اثری نیست.
- مقدار p احتمال درست بودن فرض صفر نیست، اندازه‌ی اثر هم نیست: همیشه بپرس فرق چقدر بزرگه.
- ۲۰ تا چیز بی‌فایده رو آزمایش کن، حدود یکیشون از روی شانس معنادار به نظر میاد؛ پس به یه موفقیت تنها بین کلی آزمون شک کن.