شماره 216: کتابِ حرف مفت می‌زنه!

قسمت سوم وآخر از بررسی کتاب Bull shit قسمت سوم ترجمه‌ی «کتاب حرف مفت می‌زند» را دنبال می‌کنیم. خوب اگر خاطرتان باشد درکتاب بیشتر تاکید بر این بود که در خیلی مواقع ممکن است که دادهای آماری آن نتیجه‌گیری‌ای که خیلی‌ها ادعا می‌کنند را، نشان ندهند و در واقع ما شاهد این هستیم که در برخی موارد ژورنالیست‌ها، خود نویسنده‌ها یا آن‌هایی که می‌آیند این مقالات پایه را می‌خوانند، می‌آیند به صورت گزینشی و انتخاب شده بخش‌هایی از آن را بازنمایی می‌کنند که در جریان این بازنمایی ممکن است دستخوش یک قلب واقعیت هم بشوند و در واقع چیزهایی را به خواننده منتقل می‌کنند که از آن پژوهش قابل استخراج نیست و حتی گفتیم خیلی از این پژوهش‌ها صرفا تنها چیزی که نشان می‌دهند، یک همبستگی آماری است نه پدیده علیتی. و باز اشاره کردیم که ما متاسفانه شاهد این هستیم که با گسترش و فراوانی و ارزان شدن این شبکه‌های اجتماعی، خیلی از افراد این داده‌های پایه را می‌گیرند، می پرورانند و سعی می‌کنند به کمک آنها دیدگاهشان را به طرف مقابل منتقل کنند و گاهی اوقات با استفاده از بعضی سفسطه‌های کلامی و کلام پیچیده و آوردن کلمات قلمبه و سلمبه و بازی با آمار سعی می‌کنند که خواننده را متاثر کنند و آن فرد هم آن نظریه‌ها را بپذیرد. در ادامه علاوه بر اینکه کتاب سعی می‌کند بگوید که ما باید با متود‌های آماری آشنایی داشته باشیم، با روانشناسی آشنایی داشته باشیم، با مسئله علیت در مقابل همبستگی آشنایی داشته باشیم، مثال‌های دیگری می‌زند برای تقویت توان ما برای مقابله با فریب خوردن‌های شبه علمی. یکی از پدیده‌ها می‌گوید ممکن است شما در بعضی حوزه‌ها اطلاعات دقیق نداشته باشید ولی می‌توانید یک شَمی را در خودتان پرورش بدهید. در واقع سعی کنید که یک ایده در مورد مسائل جهان درذهنتان شکل بگیرد که به راحتی فریب نخورید. مثلا گفتم یک ادعایی را در کتاب مثال می‌زند و گفتم که کتاب پر است از مثال‌های جالب و آموزنده که آقای Mo brooksیکی از نمایندگان کنگره آمریکا است و در جایی رفته استدلال کرده و سخنرانی کرده که: این مسئله که می‌گویند گرمایش زمین باعث شده سطح اقیانوس‌ها بالا بیاید، صحت ندارد. سطح اقیانوس‌ها به این دلیل بالا نمی‌آید. من رفتم پژوهش کردم و دیدم که در انگلستان و برخی از سواحل کالیفرنیا این صخره‌ها را موج می‌زند و صخره‌ها شسته می‌شوند و می‌ریزند درون آب، به خصوص منطقهDoverدر انگلستان. مثلا سفری رفته آن جا و دیده این تکه سنگ‌هایی که از صخره جدا می‌شوند، همان طور که این‌ها می‌ریزند در اقیانوس سطح اقیانوس می‌آید بالاو یک سری از طرفدارانش هم این قضیه را باور کردند. منتها مثالی که این کتاب می‌زند می‌گوید که ممکن است که شما فیزیک‌دان نباشید، ممکن است که شما زمین‌شناس نباشید ولی یک ایده‌ای در ذهنتان است که مگر کل کشور انگلستان و سواحل کالیفرنیا چقدر سنگ دارد که بخواهد در اقیانوس به آن عظمت بریزد و سطح اقیانوس را بیاورد بالا؟ این را در واقع به مسائلی می‌گوییم که فیزیکدان برنده جایزه نوبل به اسم enrico Fermi، انریکو فرمی، سال‌ها قبل مطرح کرد و به مسائل فِرمی معروف است. من فکر می‌کنم یکی از راه‌هایی که شما می‌توانید قدرت خودتان را افزایش بدهید و مصون بشوید در مقابل فریب‌های تبلیغاتی این است که بتوانید مسائل فِرمی را حل کنید. این مسائل پیچیده ریاضی نیست، مسائل تخمینی است. مثلا می‌گویند شما فکر می‌کنید در شهر نیویورک چند نفر شغلشان کوک کردن پیانو باشد؟ ممکن است شما بگویید اولا من در نیویورک زیاد آمار ندارم، من شهرداری نیویورک نیستم، من موسیقی‌دان نیستم ولی شما یک ایده‌ای در ذهن‌تان هست، صد نفر، هزار نفر ، ده هزار نفر. و خیلی جالب است انریکو فِرمی می‌گوید اگر شما با مضرب ۱۰، یعنی توان ۱۰ ، در واقع به توان برسد بشود ۱۰۰.۱۰و ۱۰۰۰ و به صورت توان افزایش دهنده باشد، یعنی بشود ده به توان دو ، ده به توان سه ، ده به توان چهار، هر چقدر خطا بکنی این باز قابل قبول است. یعنی بتوانی در محدوده ایی حدست را بگویی که لااقل در آن توان مربوطه باشد. یعنی مثلا شما تخمین بزنید صدنفر هستند و یا هزار نفر و یا ده هزار نفر. و این باز قابل قبول است و بسیاری از مردم حتی این کار را هم نمی‌توانند بکنند. مثلا یکی از مثال‌هایی که می‌گوید خیلی جالب است و در مقاله نشنال جئوگرافیک بود که می‌گوید سالانه ۹ میلیارد تن پلاستیک در اقیانوس‌ها رها می‌شود. رها شدن پلاستیک در اقیانوس‌ها فاجعه است، خیلی ناگوار است، خیلی از حیوانات آسیب می‌بینند. شما می‌بینید ماهی‌ها و لاک پشت‌ها و کوسه‌ها ممکن است این هارا ببلعند و بمیرند؛ ولی آیا این عدد ۹میلیارد تن به نظر شما شدنی هست؟ شما نیاز نیست اقیانوس‌شناس باشید، فقط از راه تفکر فِرمی که بتوانید از عمق قضایا تخمینی بزنید این خودش کمک می‌کند که بتوانید به نتیجه برسید. حالا پیش خودتان فکر کنید آیا واقعا می‌شود سالانه ۹ میلیارد تن پلاستیک در اقیانوس‌ها رها بشود؟ و جواب این است که ممکن است شما بگویید من چه بدانم؟ من که پتروشیمی نخواندم، من که پلاستیک‌شناس نیستم ولی نگاه کن جمعیت کره زمین ۹میلیارد نیست، حدود ۸ میلیارد و خرده‌ای است. یعنی اگر این آمار درست باشد به ازای هر نفر که روی کره خاکی هست، یک تن پلاستیک باید در اقیانوس رها بشود و شما این جوری فکر کن به ازای هر آدم یعنی حتی انبوهی از آدم‌های فقیر که در کشور‌های پرجمعیت می‌بینید به سختی برای خودشان یک دمپایی فراهم می‌کنند و یک لباس دارند، یعنی این‌ها هم در سال باید یک تن پلاستیک صاحب بشوند و دور بریزند و تازه بخشی از آن به اقیانوس راه پیدا بکند. یعنی عملا تخمین شما این است که به ازای هر آدم سالی سه الی چهار تن پلاستیک ممکن است مصرف شود و شما فکر کن، شما که در یک کشور نفت‌خیز هستید، آیا شما سالی ۴ تن پلاستیک مصرف می‌کنید؟ بعد که مقاله را دیدند متوجه شدند که آن خبرنگار که داشته مصاحبه می‌کرده آن ارقام را خوب نمی‌فهمیده، شما این را در مطبوعات ایران هم زیاد می‌بینید. فرق میلیارد و میلیون را به درستی نمی‌دانند و رقم درستش ۹ میلیون تن هست یعنی ۱۰۰۰برابر، یعنی ده به توان سه، خطا کرده و اگر ما تفکر فرمی را داریم ما می‌توانیم با تخمین‌های فرمی به خیلی از حرف‌های ناشایست‌ شبه‌علمی پاسخ بدهیم. شما شاهد این هستید که می‌گویند بودجه فلان دستگاه اینقدر است، هزینه فلان پژوهش اینقدر بوده و شما باید بتوانید تخمین فرمی بزنید، که یک ایده‌ای داشته باشید و نهایتا این است که فرض کنید ده به توان سه را، ده به توان چهار بگویی ولی ده به توان سه را ده به توان ۷ اشتباه تخمین بزنی یعنی شما تبحری در شناختن جهان بیرون خود ندارید. و کتاب‌های خوبی است که تخمین‌هایی را از این بابت به شما ارائه می‌دهد. که مثلا حجم یخ روی زمین چقدر است. حجم دی اکسید کربنی که تولید می‌شود چقدر است، حجم پروتینی که مصرف می‌شود چقدر است، تعداد دام و طیوری که روی کره خاکی هست چقدر است؟ که شما یک ایده‌ای داشته باشید که به راحتی تحت تاثیر این پدیده‌ها قرار نگیرید. پس یک راهنمایی که این کتاب می‌کند و به نظر من هم خوب است این است که شما در مسائل فرمی فکر کنید. حتی بعضی شرکت‌ها آمدند برای استخدام افراد به جای تست هوش و شخصیت از مسائل فرمی استفاده کردند. مثلا همین داستان پلاستیک را می‌توانند بگویند (از کارمند بپرسند) و آن کارمند که می‌تواند دید نقادانه داشته باشد در جواب بگوید: «من نمی‌دانم ولی احساس می‌کنم ۹ میلیارد تن نمی‌شود. برای این که با یک بررسی ساده می‌شود هر آدم یک تن باید زباله تولید کند که این مقدار زیادی هست.» یا مثلا شما راجع به برخی آمارها و مرگ و میرها و تلفات چیزهایی می‌شنوید و به نظر من هم درست می‌گوید. اگر مدیرانی دارند این را گوش می‌دهند و شما می‌خواهید فردی را استخدام کنید و هوش‌اش را بسنجید آن تست هوش وکسلر خیلی به دردت نمی‌خورد، یک چند تا مسئله فرمی از او بپرس و این مسائل فرمی را به او ارائه بده. ممکن است کارمند حتی ۱۰برابر هم خطا کند ولی باز این یک معرف خوب از توانایی ذهنی فرد است. باز مثال‌های دیگری می‌زند. یک جمله‌ای دارد که مکرر در کتاب تکرار می‌کند و فکر می‌کنم این جمله هم برای شما می‌تواند کمک کننده باشد که درواقع چگونه من چرندیات را از امور واقعی علمی متمایز کنم و جمله‌اش این است که می‌گوید اگر یک چیزی TO GOOD TO BE TRUE یعنی بیش از حد خوب هست که بتواند درست باشد و اشاره می‌کند در پژوهش‌های علمی به ندرت شما جواب‌های قاطع دارید. اکثرا مبهم اند. فقط یک تمایز یا تمایل کم رنگ و متوسط دارند نشان می‌دهند. پس شما اگر دید بعضی پژوهش‌ها خیلی خوب است، مثلا می‌گوید ما چگونه روانشناسی زرد را تشخیص بدهیم، چه جوری حواسمان باشد کلاه نمی‌گذارند، اگر آمدند خیلی قشنگ و دقیق، Sharpبه قول خارجی‌ها، خط تمایز گذاشتند، شما فکرکنید که این احتمالا تقلبی هست. در روانشناسی ما آنقدر خط تمایز نداریم. در علوم شناختی نداریم و تشخیص‌ها نمی‌توانند اینقدر دقیق باشد. شما مثل ابزار‌های سنجش دقیق که می‌گویند مثلا تا یک هزارم میلیمتر را هم می‌سنجند، ندارید. مثلا دو پهلو در می‌آیند. مثلا بسیاری از پژوهش‌ها اختلال در آن‌ها هست و جواب قاطع به شما نمی‌دهد. مثلا یک پژوهشی را نام می‌برد. این پژوهش مثلا به عنوان دفاع از حقوق زنان و اشاره به اجحاف حق آن‌ها در جامعه بوده که البته (اجحاف حقوق بانوان) دارد صورت می‌گیرد. خوب نقد ما به پژوهش است نه اجحاف حقوق بانوان و اشاره کرده بود که این‌ها رفتند آن نامه‌های توصیه، توصیه‌نامه‌هایی که اساتید می‌نویسند برای دانشجویانشان، آن‌ها را آنالیز کردند که ببیند وقتی استاد توصیه‌نامه را برای دانشجوی پسر نوشته چه لغت‌هایی را به کار برده و وقتی برای دانشجوی دختر نوشته چه لغت هایی را به کار برده است. در این مقاله در آوردند که این سمت چپی لغاتی است که برای پسرها به کاربرده شده: excellentعالی، supreme، unique منحصر به فرد wonderful، fabulous، brain، amazing، unparalleled، exceptionalاستثنایی، خیلی باهوش و خیلی توانمند، نابغه، با استعداد، منحصر به فرد، متبحر. و از این طرف این‌ها لغاتی است که برای خانم‌ها نوشتند: hardworkingپرکار، dependableقابل اعتماد، busy مشغول، reliable معتبر. و اشاره‌شان این بود که وقتی شما دارید برای دخترها توصیه نامه می‌نویسید بیشتر به این اشاره می‌کنید که آن دختر قابل قبول است و قابل اعتماد است، آدم درستکاری است و سخت کوش هست ولی وقتی برای پسرها می‌نویسی، می‌نویسید که نابغه است و تک و ستاره درخشان است و درواقع یک چیزwonderfulهست. یک چیز خارق‌العاده و استثنایی است. این مقاله خیلی صدا کرده بود که ببینید چقدر در جامعه دارد اجحاف می‌شود، چقدر مردم سوگیری دارند و چقدر استاد‌ها سوگیری جنسیتی دارند. ولی همین مسئله را کتابCalling Bullshit بررسی کرده. طبق اصلی که من عرض کردم وقتی چیزی خیلی به نظر خوب می‌آید به آن شک کن و وقتی رفته بودند آمار را بررسی کرده بودند دیدند نخیر اصلا اینطور نیست. جواب این بود که یک سوگیری ملایمی به سمت استفاده از این لغات دیده می‌شود، در سمت چپ در آقایان و به سمت راست در خانوم‌ها، ولی در عمل حدود ۸۸٪ توصیه‌نامه‌ها قابل تمایز نیستند که برای دختر نوشته شده و یا برای پسر. یعنی ببیند یک چیزی را که خیلی خفیف و ملایم و سوگیری ملایم بوده برای اینکه تیتر اخبار بکنند آمده‌اند اینقدر پر رنگ کردند. و شما اگر عبارت‌هایی مثل راه‌های منحصر به فرد نبوغ، ۱۰ ویژگی استثنائی افراد نابغه و ۲۰ ویژگی استثنایی افراد موفق، ۵ کاری که همه آدم‌های موفق می‌کنند و ناموفق نمی‌کنند، دیدید، چنین خط مرز‌های تیزی که به شما راهکار دقیق می‌دهند، شما باید فکر کنید که احتمالا این چیزها ساختگی است. در روان انسان‌ها ما اینقدر هم پوشانی داریم که به این راحتی نیست. پس ما واقعا اگر تستی پیدا کردیم که به شما می‌گوید شما موفق خواهید شد، شما دکتر خوبی خواهید شد، شما مهندس خوبی خواهید شد و قطعا اشتباه محض است آن یکی رشته را بروی، فراموش نکنید که در اکثر یافته‌های علوم شناختی هم‌پوشانی‌ها بسیار پر رنگ است. من در کتاب تستوسترون شهریار، testosterone rex اشاره کردم که حتی ما وقتی راجع به صفات زنان و مردان مقایسه می‌کنیم، چیزی به نام مغز مردانه و زنانه نداریم و در واقع مخلوط و آمیزه‌ای از هر دو است و منتها ممکنه یک مقدار مختصری هر یک از صفات، آن هم نه به صورت ثابت، بلکه به صورت گذرا بیشتر باشند. پس یک راه حل دیگه برای اینکه شما گول نخورید و بتوانید تشخیص بدهید این است که رمز‌های موفقیت و رمز‌های پول دار شدن و شناخت انسان‌ها و شناخت چهره‌ها، پی بردن به شخصیت افراد، پیش بینی کردن ازدواج‌ها، این که دو نفر به هم می‌آیند یا نه اینقدر مرزهای مشخص ندارد که شما مثلا بگویید ما سه تا شخصیت داریم که این سه تا شخصیت در مقابل این چهار تا شخصیت‌اند، اگر این با اون ازدواج بکند چه می‌شود و اگر این با این ازدواج بکند چه اتفاقی می‌افتد. برای این چه خوب است برای او چه خوب است و شما در بهترین حالت خواهید دید که هم پوشانی‌هایی پررنگ وجود دارد و چیزهایی که دو تا طیف مجزا از هم به دست بیایند، به دست نخواهد آمد. یک پژوهش دیگر هم اشاره کرده. این پژوهش در خیلی جاها بهش اشاره شده، در کتاب‌های جالبی به آن اشاره شده و درواقع می‌خواهد بگوید شما هر پژوهشی را وحی منزل نبینید. مرز‌های علم به این راحتی جابه جا نمی‌شوند. علم به صورت تدریجی و قدم به قدم و آهسته جابه‌جا می‌شود و این پژوهش داستانش این است که این را در واقع craig Bennettدرسال ۲۰۱۰چاپ کرده بود که این مسخره هم نیست و واقعا نشان داده بود که چنین چیزی شدنی است و این یک مقدار تاخته بود به مرزهای قاطعی که یک عده در صنعت تصویرسازی مغزی می‌کشند، چون اخیرا می‌شود گفت بعضی علوم شبه علمی، دارند ادای علم را در می‌آورند. ادعایشان این است که ما از طریق تصویرسازی مغز شما، از طریق MRIمی‌توانیم شخصیت شما را ببینیم. می‌توانیم بگوییم مثلا شما چه تیپ آدمی هستید یا کی با کی ازدواج کند خوب است، کی چه رشته‌ای برود خوب است یا حتی راجع به بازاریابی این را می‌گویند، می‌گویند ما می‌توانیم کله مشتری را بگذاریم در دستگاهFMRI و از آن‌ها تصویر بگیریم و با قاطعیت بگوییم این‌ها چه جنسی را می‌خرند یا چه تبلیغی روی این‌ها اثر می‌کند و معمولا هم چون تعداد زیادی گراف نشان می‌دهند و عکس نشان می‌دهند و یک سری اصطلاحات ریاضی به کار می‌برند، آن مشتری یا خواننده به این نتیجه می‌رسد که قطعا درست است دیگر. یعنی رفتند مغز طرف را اسکن کردند و به این نتیجه رسیدند که مثلا این آدم فلان گرایش را دارد و تمایز شخصیت یا مثل همان تشخیص چهره که مثال زدم خدمت‌تان و در اینستاگرام هم به صورت جداگانه مطرح کردم بعضی‌ها حتی این نگرانی را پیدا کرده بودن که مثلا اگر سیستم‌ها بخواهند مثلا از مغز ما عکس بگیرند اون موقع می‌فهمند که داریم به چه فکر می‌کنیم آن وقت باید چکار کنیم؟ این هم برای اینکه بگوید به این راحتی نیست و گاهی اوقات خطا داریم و ما می‌توانیم حتی کاملا یافته‌های nonsenseعلمی، در واقع چرند علمی را به نوعی با دستکاری علمی و این‌ها معنی کنیم. این مثال را می‌زند که یک دانه ماهی سالمون مرده را گذاشتند در دستگاهFMRI، و تصاویر افرادی را با هیجانات مختلف مثل ترسان و خندان به او نشان می‌دهند و دیدند تفاوت‌های معنی داری در بعضی قسمت مغز سالمون مرده درنگاه کردن به هیجان انسان پیدا شده Neural correlates of interspecies perspective Taking in the postmortem Atlantic salmon. می‌شود گفت شما به هر یافته‌ای اعتماد نکن. در این تقلب نکرده، دیده با خیلی از روش‌هایی که در این تصویرسازی‌ها است، می‌شود همین کار را هم کرد. یعنی برحسب تصادف می‌بینید که چیزهای معناداری هم در میاید. یک تفاوت‌هایی را هم نشان می‌دهد پس اینها تصادفی معنی دار شدند. تصادفی یک تفاوت پنج صدم یا یک صدم پیدا کردن به معنی این نیست که این فرضیه تایید می‌شود. این را گفتم در کتاب‌های دیگری به آن اشاره کرده، یکی از پر استناد‌ترین مقاله‌هایی است که شکاکان و اونهایی که خیلی نگران که انسان‌ها تحث تاثیر مقالات شبه علمی قرار بگیرند، استناد می‌کنند. یکی از کتاب‌هایی که در آن استناد شده این است، این هم کتاب خوبی است منتهی یک مقدار از آن گذشته، من چند بار راجع به این سخنرانی کردم به نامbrain WASHEDیعنی شستشو مغزی. brain washedیعنی شستشو مغزی دادن و یک روانپزشک به نام خانم سلی ستل و یک روانشناس مشهور به نام اسکالتی اینفید این را نوشته، The seductive appeal of mindless neuroscience و در واقع اشاره‌اش به جذابیت اغوا کننده علوم اعصاب بدون ذهن است. بدون ذهن به معنی این است که بیشتر مثلا خیلی هوشمند نیست و اشاره می‌کند گاهی اوقات ما متاسفانه شاهد انبوهی از ادعا‌ها هستیم که آره مثلا فلان چیز در مغز عکس برداری شده و این نشان می‌دهد که زن‌ها اینجوری اند، نمی دانم ایرانی‌ها این جوری‌اند، آفریقایی‌ها این جوری‌اند و شما خیلی بیش از حد یک مقاله را باور نباید ‌کنید. در مقاله قبلی دیدین که حتی در سالمون مرده می‌تواند بر حسب تصادف در واکنش به چهره تغییرات مغزی رخ بدهد. خطا در آن دستگاه شناخته بشودف یعنی آن دستگاه شناسایی‌اش دقیق دقیق هم نیست، هیچ چیز وحی منزل نیست و اگر چیزی خیلی متمایز است شما یک ذره در آن شک کنید که می تواندحتی به خطا بیفتد و همچین چیزی را نشان بدهد. این هم کتاب جالبی است. اشاره می‌کند که چگونه مردم ممکن است ازآن‌ور بام بیفتند و اینطور تصور کنند هر جا اسم از نورون و ناقل شمیایی و تصویرسازی مغزی هست این‌ها حتما دارند درست می‌گویند. مثلا ما براساس تصویرسازی مغزی ثابت کردیم مثلا خانم‌ها موجودات درونگرا‌تر هستند یا برونگراتر هستند یا بر اساس تصویرسازی مغزی ما ثابت کردیم که آدم‌های باهوش این ویژگی‌ها را دارند. این جملات پشتش یک مقدار فریب‌های شبه علمی هست و شما به راحتی در تله نیفتید و این کتاب هم کتاب بدی نیست به خصوص که فصل اولش جالب شروع می‌شودThis is YOUR BRAIN ON Ahmadinejadاین مغز شماست روی احمدی نژاد!که اشاره به آقای احمدی نژاد رییس جمهور اسبق ایران است. این تحقیق مال سال ۲۰۱۳بوده واین گونه شروع می‌شود: این تصویرسازی‌های ذهنی هست که تو مدام استناد می‌کنی به آن، خب ما می‌آییم و با یکی مصاحبه می‌کنیم، از او تست می‌گیریم، رفتارش را نگاه می‌کنیم ولی وقتی از مغزش تصویر گرفتیم این دیگر قاطع است. دستگاه که اشتباه نمی‌کند، آن کامپیوتر عریض و طویل اشتباه نمی‌کند، یک تعداد افراد به خصوص آقای جفری کوردبرد که یک یهودی افراطی است، سر این آقا را گذاشتند درFMRIو تصویر آقای احمدی نژاد را به او نشان دادند و آمدند ببینند کدام قسمت مغزش فعال می‌شود. نتیجه‌ای که گرفتند اینقدر متفاوت بوده که این به طنز گفته که تو یک فرد یهودی افراطی هستی و اینقدر مخالف ایشون هستی چرا مناطق شادابی‌ات زنده شده؟ پس این نشان می‌دهد اینقدر هم راحت نیست، دو دوتا چهار تا نیست. شما به راحتی نمی‌توانید سر افراد را بکنید در دستگاه و گرایش‌های سیاسی‌شان را بفهمید و امیال پنهان جنسی‌شان را بفهمید. هر جا دید این ادعاها را مطرح می‌کنند و گفتند نه و این دستگاه ثابت کرده که اینطوری شده این‌ها فقط به شما سوگیری‌هایی می‌دهد که بعد‌ها بتوانید به کمک شواهد دیگه اونها رو تکمیل بکنید و هنوز ما این را نداریم و در واقع می‌گوییم تیتر قوی انتخاب کرد که ما می‌توانیم با تصویر مغز افراد پی ببریم که چه چیزی در ذهنشان می‌گذرد، این خیلی درست نیست. باز کتاب دیگری است به نام HOW NOT TO BE WRONG و این را یک ریاضی‌دان به نام جردن الن برگ نوشته که منابع مشترک با این کتاب دارد. برای اینکه ببینید که یک کتاب یا مقاله خوب هست یا نه یکی از راه ها این است که منابع مشترک مقالات و پژوهش ها را ببینید. پژوهش‌های استخوان‌دار در چند کتاب بهشان اشاره می‌شود. کتاب‌های خوب پژوهش‌های خوب دارند. مثلا پژوهش سالمون مرده در خیلی از کتاب‌هایی که بهشان استناد می‌شود و منتقد جریان تقلیل گرایانه ذهن به برخی نورون و مراکز ذهنی هستند که معتقد‌اند هر جای مغز ویژگی خاص خودش را دارد، یکی برای خندیدن، یکی برای شادی و دیگری برای نفرت است و بدین صورت مغز را ساده می‌کنند، وجود دارد و این راه حل خوبی است برای شناسایی مقالات و کتاب های خوب که توسط مولفین مورد استناد و نقد قرار گرفته است.