حاشیه‌ی خطا: همون به‌علاوه‌منهای (Margin of Error)
«۵۲ درصد، به‌علاوه‌منهای ۳» واقعاً یعنی چی، چرا هزار نفر معمولاً کافیه، و کی جلو بودن تو یه نظرسنجی اصلاً جلو بودن نیست.
حاشیه‌ی خطا (Margin of Error یا MoE)
اینکه نتیجه‌ی یه نظرسنجی فقط به‌خاطر اینکه اتفاقی کی‌ها انتخاب شدن چقدر ممکنه با عدد واقعی فاصله داشته باشه. نتیجه، به‌علاوه و منهای این حاشیه، یه بازه می‌ده به اسم بازه‌ی اطمینان (confidence interval): عددهایی که احتمالاً مقدار واقعی بینشونه.
«۵۲٪ ± ۳» یعنی عدد واقعی احتمالاً یه جایی بین ۴۹٪ و ۵۵٪ـه.
خودت رو امتحان کن
یه نظرسنجی می‌گه ۴۰٪ از یه پارک جدید حمایت می‌کنن، با حاشیه‌ی خطای ±۴ واحد. حمایت واقعی احتمالاً کجاست؟
- دقیقاً ۴۰٪
- بین ۳۶٪ و ۴۴٪
- بین ۳۸٪ و ۴۲٪
- هر جایی از ۰٪ تا ۱۰۰٪
جواب رو ببین
بین ۳۶٪ و ۴۴٪
درسته. ۴۰ منهای ۴ می‌شه ۳۶، و ۴۰ به‌علاوه‌ی ۴ می‌شه ۴۴. این بازه همون بازه‌ی اطمینانه.
قدم‌به‌قدم ببین
نظرسنجی از ۱٬۰۰۰ نفر: ۵۲٪ به ۴۸٪ دوتا ستون روی یه محور از ۴۰٪ تا ۶۰٪: نامزد A با ۵۲٪ و نامزد B با ۴۸٪، از یه نظرسنجی ۱٬۰۰۰ نفره (n = 1000). اگه فقط ستون‌ها رو ببینی، انگار A جلوئه.
±۳ رو اضافه کن: بازه‌ها روی هم می‌افتن خط‌های بنفش کم‌رنگ حاشیه‌ی خطا رو نشون می‌دن، ±۳ واحد: A در واقع می‌تونه هر جایی از ۴۹٪ تا ۵۵٪ باشه، و B از ۴۵٪ تا ۵۱٪. نوار نارنجی از ۴۹٪ تا ۵۱٪ جاییه که دو بازه روی هم افتادن، پس این نظرسنجی نمی‌تونه بگه کی جلوئه.
از ۴٬۰۰۰ نفر بپرس: حاشیه می‌شه ±۱٫۶ برچسب می‌شه n = 4000 و خط‌ها کوتاه می‌شن تا حدود ±۱٫۶ واحد: A از ۵۰٫۴٪ تا ۵۳٫۶٪، B از ۴۶٫۴٪ تا ۴۹٫۶٪. نوار نارنجیِ هم‌پوشانی دیگه نیست. حالا فاصله‌ی بینشون از نویز بزرگ‌تره.
چهار برابر آدم، نصف حاشیه یه یادداشت سمت راست خلاصه‌ش می‌کنه: n × 4، یه فلش، بعد MoE ÷ 2. چهار برابر آدم فقط حدوداً نصف حاشیه رو می‌خره، برای همینه که بیشتر نظرسنجی‌های سراسری حدود هزار یا دو هزار نفر نگه می‌دارن.
خودت رو امتحان کن
نظرسنجی از ۱٬۰۰۰ نفر: A ۵۲٪، B ۴۸٪، حاشیه‌ی خطا ±۳. روزنامه می‌تونه بگه A جلوئه؟
- آره، ۵۲ از ۴۸ بیشتره
- نه، بازه‌ها روی هم افتادن، پس خیلی نزدیکه و نمی‌شه گفت
- آره، ولی دقیقاً با ۴ واحد اختلاف
- نه، چون نظرسنجی باید از همه می‌پرسید
جواب رو ببین
نه، بازه‌ها روی هم افتادن، پس خیلی نزدیکه و نمی‌شه گفت
درسته. بازه‌ی A (۴۹ تا ۵۵) و بازه‌ی B (۴۵ تا ۵۱) روی هم افتادن، پس ترتیب واقعی می‌تونه هر کدوم باشه. خبرنگارها به این می‌گن تساوی آماری (statistical tie).
«احتمالاً» یعنی چی
اطمینان ۹۵ درصدی
حاشیه‌ی خطا معمولاً با اطمینان ۹۵ درصدی (95% confidence) حساب می‌شه. تصور کن همون نظرسنجی رو، به همون روش، صد بار انجام بدی، هر بار با یه نمونه‌ی تصادفی تازه. هر بار یه نتیجه و یه بازه‌ی خودش رو می‌ده. حدود ۹۵ تا از اون ۱۰۰ بازه عدد واقعی رو در بر می‌گیرن؛ حدود ۵ تا از دستش می‌دن. پس بازه‌ی یه نظرسنجی به احتمال خیلی زیاد، نه قطعاً، عدد واقعی رو داره.
اگه توی یه فصل انتخابات ۲۰ نظرسنجی صادقانه منتشر بشه، عادیه که حدود یکیشون فقط از روی شانس بیشتر از حاشیه‌ی اعلام‌شده‌ش خطا داشته باشه.
قاعده‌ی سرانگشتی برای یه نمونه‌ی تصادفی ساده
(اطمینان ۹۵٪، نتیجه‌هایی نه‌چندان دور از ۵۰٪):
حاشیه‌ی خطا ≈ ۱ / √n
n = ۱۰۰ → ۱ / ۱۰ = ۰٫۱۰
n = ۴۰۰ → ۱ / ۲۰ = ۰٫۰۵
n = ۱۰۰۰ → ۱ / ۳۱٫۶ ≈ ۰٫۰۳۲
n = ۴۰۰۰ → ۱ / ۶۳٫۲ ≈ ۰٫۰۱۶n = ۱۰۰ → حدود ±۱۰ واحد
n = ۴۰۰ → حدود ±۵ واحد
n = ۱۰۰۰ → حدود ±۳ واحد
n = ۴۰۰۰ → حدود ±۱٫۶ واحدرفتن از ۱٬۰۰۰ به ۴٬۰۰۰ نفر چهار برابر خرج داره و حاشیه رو فقط نصف می‌کنه. همین حساب‌وکتابه که باعث می‌شه بیشتر نظرسنجی‌های سراسری حدود ۱٬۰۰۰ تا ۲٬۰۰۰ نفر نگه دارن.
خودت رو امتحان کن
نمونه‌ی معمولِ ۱٬۰۰۰ نفره‌ی یه نظرسنج حدود ±۳ واحد حاشیه می‌ده. اون حدود ±۱٫۵ می‌خواد. تقریباً چند نفر لازم داره؟
- حدود ۱٬۵۰۰
- حدود ۲٬۰۰۰
- حدود ۴٬۰۰۰
- حدود ۱۰٬۰۰۰
جواب رو ببین
حدود ۴٬۰۰۰
درسته. نصف کردن حاشیه چهار برابر آدم می‌خواد: ۱٬۰۰۰ می‌شه حدود ۴٬۰۰۰.
خودت رو امتحان کن
نظرسنجی از ۱٬۰۰۰ نفر برای یه کشور کوچیک جواب می‌ده، ولی یه کشور بزرگ چیزی حدود ۱۰۰٬۰۰۰ نفر لازم داره.
جواب رو ببین
نادرست
غلطه. وقتی جامعه خیلی بزرگ‌تر از نمونه باشه، اندازه‌ش تقریباً مهم نیست. ۱٬۰۰۰ نفر تصادفی، چه توی یه کشور ۵ میلیونی چه ۳۰۰ میلیونی، حدود ±۳ واحد حاشیه می‌ده.
خوندن ریزنویس‌ها
- حاشیه‌ی خطای فاصله‌ی بین دو نامزد تقریباً دو برابر حاشیه‌ی اعلام‌شده‌ست. با ±۳، جلو بودنِ ۴ واحدی توی همون نویزه.
- زیرگروه‌ها حاشیه‌ی بزرگ‌تری دارن. اگه فقط ۱۰۰ نفر از اون ۱٬۰۰۰ نفر ۱۸ تا ۲۴ ساله بودن، عددشون حدود ±۱۰ـه.
- تغییر ۱ یا ۲ واحدی بین دو نظرسنجی معمولاً حرکت واقعی نیست.
- یه کشور بزرگ‌تر نمونه‌ی خیلی بزرگ‌تری لازم نداره.
خودت رو امتحان کن
حاشیه‌ی خطا در برابر کدوم یکی از این‌ها محافظت نمی‌کنه؟
- شانسِ اینکه اتفاقی کی‌ها انتخاب شدن
- نمونه‌ای که فقط از صاحب‌های تلفن ثابت گرفته شده
جواب رو ببین
نمونه‌ای که فقط از صاحب‌های تلفن ثابت گرفته شده
درسته. شانس دقیقاً همون چیزیه که حاشیه اندازه می‌گیره. نمونه‌ای که فقط تلفن ثابت‌دارها توشن سوگیرانه‌ست: کل چند گروه رو جا می‌ندازه، و هیچ به‌علاوه‌منهایی حسابش نمی‌کنه.
خودت رو امتحان کن
- هفته‌ی ۱: یه نظرسنجی تصادفی از ۱٬۰۰۰ نفر، حزب X رو ۴۴٪ نشون می‌ده، حاشیه‌ی خطا ±۳.
- هفته‌ی ۲: یه نظرسنجی تصادفی تازه از ۱٬۰۰۰ نفر، با همون روش، حزب X رو ۴۶٪ نشون می‌ده. یه تیتر می‌گه «جهش حزب X».
منصفانه‌ترین برداشت از این دو نظرسنجی چیه؟
- حزب X به‌وضوح ۲ واحد حمایت بیشتر گرفته
- تغییر ۲ واحدی کاملاً توی نویزه؛ شاید حمایت اصلاً تکون نخورده باشه
- نظرسنجی دوم حتماً سوگیرانه‌ست
- حزب X حمایت از دست داده
جواب رو ببین
تغییر ۲ واحدی کاملاً توی نویزه؛ شاید حمایت اصلاً تکون نخورده باشه
دقیقاً. هر نظرسنجی ممکنه از روی شانس حدود ۳ واحد خطا داشته باشه، پس تغییر ۲ واحدی بین دوتاشون همون چیزیه که حتی اگه هیچی عوض نشده باشه انتظارش رو داری. «جهش» یعنی نویز رو خبر خوندن.
مرور درس
- حاشیه‌ی خطا می‌گه یه نظرسنجی فقط به‌خاطر اینکه اتفاقی کی انتخاب شد چقدر ممکنه خطا کنه: ۵۲٪ ± ۳ یعنی احتمالاً ۴۹٪ تا ۵۵٪.
- با اطمینان ۹۵٪، حدود ۹۵ تا از ۱۰۰ بازه‌ی این‌شکلی عدد واقعی رو در بر می‌گیرن.
- با A روی ۵۲٪ و B روی ۴۸٪ و ±۳، بازه‌ها روی هم می‌افتن: نمی‌شه گفت کی جلوئه. با n = 4000 حاشیه حدود ±۱٫۶ می‌شه و هم‌پوشانی از بین می‌ره.
- چهار برابر آدم، نصف حاشیه رو می‌خره، و اندازه‌ی جامعه تقریباً مهم نیست.
- زیرگروه‌ها حاشیه‌ی بزرگ‌تری دارن، و حاشیه هیچ‌وقت سوگیری یا سؤال بد رو پوشش نمی‌ده.