مقدمه: بحران تکرارپذیری چیست؟
از زمان شیوع بیماری کرونا به دفعات شاهد آن بودیم که شواهدی عرضه شده است مبنی بر اینکه داروی الف (یا شیوه‌ی درمانی الف) در کاهش علائم بیماری یا درمان آن مؤثر است. اما با گذشت تنها چند روز شواهد دیگری عرضه شده‌اند مبنی بر نادرستی شواهد نخست. اگر بپذیریم که پارادایم رایج در پزشکی امروز، پارادایمی است معروف به «پزشکی مبتنی بر شواهد» پرسش این خواهد بود که چه هنگامی موجه خواهیم بود که شواهد له یا علیه یک نظریه (مثلا اینکه داروی الف علائم کرونا را تخفیف می‌دهد) را در پزشکی مبنای اقدامات درمانی قرار دهیم. ساده‌ترین پاسخ به این پرسش آن است: «هر گاه شواهد محصول روش‌های پژوهش موثق و مبتنی بر آمار باشند». پیش‌فرض این پاسخ آن است که اگر شواهد محصول روش‌های پژوهش موثق مبتنی بر آمار باشند در تکرارهایِ بعدیِ همان پژوهش، کمابیش همان نتایج را خواهیم داشت و بنابراین به نحوی مشابه بیماران را نیز، همانند گروه مورد آزمایش، درمان خواهند شد. اگر این شواهد فرضیه‌ی مورد آزمون را در گام نخست قبول یا رد کرده باشند انتظار بر آن است که در گام بعدی نیز چنین کنند. در گفتار حاضر ابتدا نشان خواهیم داد پیش‌فرض ظاهراً مقبول ذکرشده با چالش‌های زیادی مواجه شده است؛ چالشی که در سال ۲۰۱۲ «بحران تکرارپذیری» نام گرفت. در گام دوم به علل این بحران می‌پردازیم و در انتها به راههای برون رفت از آن اشاره خواهیم کرد.
به طور سنتی فیلسوفان زیادی، به ویژه در سنت قاره‌ای، بودهاند که شأن ممتازی را که علم در جهان امروز دارد به چالش کشیده‌اند (به عنوان نمونه هیدگر را ببینید که با فهم پوزیتویستی رایج در زمان خود ازعلم مخالف بود). فیلسوفانی نیز در سنت تحلیلی بودهاند که خنثی بودن مشاهدات را به پرسش گرفتند و اعلام کردند که همه‌ی مشاهدات وابسته‌اند به نظریه‌ها و پیش‌فرض‌های نظری مشاهده‌گر. فیلسوفان دیگری از همین سنت نیز عینیت آزمایش را به پرسش گرفته‌اند. اما اینبار تفاوت در آنجا بود که چالش از سوی خود دانشمندان پیشِ رو نهاده شده بود و در واقع برخی یافته‌های تجربی گواهی بودند بر اینکه عموم داده‌هایی که گمان داشتیم موثق‌اند چندان هم موثق نبوده‌اند.
مطابق فهم عرفی دانشمندان وقتی یک فرضیه آماری در سطح آلفای پنج‌صدم به چاپ می‌رسد به معنای آن است که اگر ۱۰۰ بار آزمایش یاد شده تکرار شود انتظار آن است که درحدود ۹۵ بار همان نتایج قبلی بدست آید. (در ادامه خواهیم دید که یک فیلسوف علم، الکساندر برد، این فهم عرفی را به چالش کشیده است.) اما تکرار آزمایش‌های یاد شده در این مقالاتِ نشریافته نتایج کاملاً متفاوتی را نشان می‌داد. در یکی از پژوهش‌ها که در ادامه معرفی می‌شود نشان داده شد که ۶۵ درصد مقالات نتیجه‌ای متفاوت از پژوهش چاپ شده داشتند. ۶۵ درصد به میزان قابل توجهی از عدد مورد انتظار، یعنی پنج درصد بیشتر است. پرسش این بود که به چه میزان می‌توان به یافته‌های علمی موجود در نشریات معتبر اعتماد کرد؟ پرسش دیگر اینکه علل بوجود آمدن این بحران کدامند؟ در ادامه تلاش می‌شود دلایل اصلی بحران معرفی شوند اما قبل از آن اشاره‌ی مختصر به نحوه‌ی آشکار شدن بحران خواهیم داشت.
آگاهی از وجود بحران
تجربه‌ی مشترکی میان عموم دانشجویان رشته‌هایی که دروس آزمایشگاهی داشته‌اند وجود دارد: اینکه بارها تمامی دستورالعمل‌های توصیه شده برای به ثمر رسیدن یک آزمایش را رعایت کرده‌اند اما به نتیجه‌ی مطلوب نرسیده‌اند. تا بیست سال پیش کمتر کسی گمان آن داشت که این تجربه به بحرانی در علم بیانجامد. سال ۲۰۰۵ مقاله‌ای توسط یوانیدِس، پژوهشگر علوم پزشکی به چاپ رسید با این عنوان که «چرا عمده‌ی یافته‌های پژوهشی چاپ شده نادرست‌اند». اینبار نه دانشجویان کم‌تجربه، بلکه پژوهشگری به نام مدعی شده بود که اگر درصدد آزمون مجدد یافته‌های نشریافته در مجلات معتبر برآیید درخواهید یافت که آن یافته‌ها کاذبند. بنابراین کوتاهی از جانب دانشجویان نبوده است، تقصیری اگر هست متوجه خود مقالات است.
همانطور که اشاره شد دهه‌ها بود که فیلسوفانی در نقد عینی انگاشتن یافته‌های پژوهش علمی سخن گفته بودند؛ اما اینبار دانشمندی نامدار، نقدی بسیار تند بر اعتبار علم وارد می‌کرد و نه فیلسوفی که بتوان با زدن انگ ناآشنایی با علم نقدهای او را نادیده گرفت. بنابراین بحث وارد مرحله‌ای جدید شد. با بالا گرفتن بحث دانشگاه ویرجینیا در آمریکا بودجه‌ا‌ی اختصاص داد تا دعاوی‌ای از این سنخ بررسی شوند و بیش از این اعتبار علم خدشه برندارد. به عنوان نمونه سه مجله‌ی معتبر روان‌شناسی انتخاب، و ۱۰۰ مقاله که در سال ۲۰۰۸ در این مجله‌ها چاپ شده بودند به صورت نمونه‌گیری تصادفی از میان آنها گزینش شدند و تلاش شد آزمایش‌ها به نحوی حتی‌الامکان مشابه مقاله‌ی اصلی تکرار شوند. یافته‌های جدید در سال ۲۰۱۱ چاپ شد و نتیجه بسیار مأیوس‌کننده بود. تنها یافته‌های ۳۵ مقاله تکرار شدند؛ آنهم با آلفایی بسیار بیش از آنچه در مقالات اصلی ادعا شده بود و بنابراین نشان داده شد احتمال خطای نوع اول، یعنی چاپ شدن مقاله‌ای که مدعی وجود رابطه‌ای بین پدیده‌هاست در حالیکه در واقع چنین رابطه‌ای وجود ندارد، بسیار بالاتر از دعوی مقالات است. (آلفا احتمال خطای نوع اول یا مثبت کاذب است.) اگر ارزش پی را به طور متعارف در حد پنج‌صدم در نظر بگیریم و بپذیریم مقالات چاپ شده نیز همگی الفایی کمتر از پنج صدم داشته‌اند، مطابق فهم عرفی دانشمندان، بدان معنا است که انتظار داشتیم حداقل ۹۵ یافته تکرار شوند. اما تنها ۳۵ مقاله تکرار شده بود. یعنی حق با یوانیدس بود. (در ادامه خواهیم دید که برد نشان می‌دهد عدد مورد انتظار باید ۶۷ باشد و نه ۹۵، اما حتی در آن‌صورت نیز ۳۵ بسیار کمتر از حد انتظار است.)
سال متعاقب نشر این پژوهش آماج حملات متوجه روان‌شناسی بود، زیرا عموماً ترجیح داده می‌شد که کسی متوجه این بحران در سایر رشته‌ها نشود. در حالیکه بحث یوانیدس عمدتاً متوجه پزشکی بود.
وقتی سال ۲۰۱۲ نام «بحران تکرارپذیری» وضع شد وجود مشکلی اساسی به رسمیت شناخته شد. حال پرسش این بود که اولاً چقدر مشکل جدی‌ست و ثانیاً علل آن کدامند؟ اگر می‌توانستیم به این دو پرسش پاسخی درخور دهیم آنگاه راه برون رفت نیز می‌توانست پیدا شود.
پرسش نخست این بود که «مشکل چقدر جدی‌ست». می‌توان به نحوی پیشینی درباره‌ی شدت یک بحران و عوارض آن سخن گفت. اما دانشمندان ترجیح می‌دهند پاسخ چنین پرسش‌هایی را به نحوی تجربی بدست آورند. بنابراین همه‌پرسی بزرگی از خود دانشمندان صورت گرفت و نتیجه در ویدئویی که در نیچر ۲۰۱۶ منتشر شد که همین پرسش را از ۱۵۷۶ دانشمند برتر جهان می‌پرسید. تنها سه درصد گفتند بحرانی وجود ندارد. هفت درصد ابراز بی‌اطلاعی کردند و نود درصد وجود مشکل را پذیرفتند. این نود درصد به دو زیرگروه تقسیم می شدند: ۳۸ درصد مشکل را خفیف دانستند و ۵۲ درصد مشکل را حاد ارزیابی کردند. بنابراین از منظر اکثریت دانشمندان مشکل جدی ارزیابی شد. در همان نظرخواهی از دانشمندان درباره‌ی علل بحران نیز نظرسنجی شد. دو علت بیش از سایرین مورد توجه بودند: مشکلات پیرامون آمار و روش تحقیق، و فشارهای اجتماعی که بر دانشمندان برای چاپ سریع مقالات وارد می‌شود. اما در ادامه تلاش می‌شود علاوه بر شرح این دو، به سایر عوامل دخیل نیز اشاره شود.
برگرفته از مقاله‌ی
صمدی، هادی، «بحران تکرارپذیری و ضرورت تغییر در سیاست‌گذاری چاپ مقالات علمی»، روش‌شناسی علوم انسانی، دوره ۲۷ شماره ۱۰۸، پاییز ۱۴۰۰، صص ۴۶-۳۳
هادی صمدی، استادیار فلسفه علم، واحد علوم و تحقیقات، دانشگاه آزاد