הסבירות אך לא המדע שלטה בדיונים הציבוריים על מגיפת קוביד

"התקפות עליי, למען האמת, הן התקפות על מדע." ~ אנתוני פאוצ'י, 9 ביוני 2021 (MSNBC).

מְגוּחָך.

דבר אחד, ד"ר פאוצ'י לא דיווח במדויק על שאלות מדעיות לאורך מגיפת קוביד-19. אחרת, הדיאלקטיקה המהותית של המדע היא ויכוחים, שאלה, ויכוחים. ללא ויכוח, המדע הוא לא יותר מתעמולה. 

עם זאת, ניתן לשאול, כיצד ניתן היה להציג חומר טכני לציבור האמריקאי, אם לא לציבור הבינלאומי, במשך כמעט שלוש שנים ולהשיג הבנה כללית שהעניינים הם "מדעיים", בעוד שלמעשה הם לא היו. ? אני טוען שמה שהוזן לציבורים הללו באמצעות התקשורת המסורתית במהלך המגיפה היה במידה רבה סבירות, אך לא מדע, וכי גם הציבור האמריקאי והבינלאומי, כמו גם רוב הרופאים והמדענים עצמם, אינם יכולים לדעת. ההבדל. עם זאת, ההבדל הוא מהותי ועמוק.

המדע מתחיל בתיאוריות, השערות, שיש להן השלכות אמפיריות שניתן לבחון. אף על פי כן, התיאוריות הללו אינן מדע; הֵם להניע מַדָע. מדע מתרחש כאשר אנשים עושים ניסויים או מבצעים תצפיות הקשורות להשלכות או ההשלכות של התיאוריות. ממצאים אלה נוטים לתמוך או להפריך את התיאוריות, אשר לאחר מכן משתנות או מתעדכנות כדי להתאים את עצמם לתצפיות החדשות או נמחקות אם עדויות משכנעות מראות שהן אינן מצליחות לתאר את הטבע. לאחר מכן המחזור חוזר על עצמו. מדע הוא ביצוע של עבודה אמפירית או תצפיתית כדי להשיג ראיות המאשרות או מפריכות תיאוריות.

באופן כללי, תיאוריות נוטות להיות אמירות סבירות המתארות משהו ספציפי לגבי אופן פעולת הטבע. הסבירות היא בעיני המתבונן, שכן מה שמתקבל על הדעת למומחה בעל ידע טכני עשוי שלא להיות סביר בעיני הדיוט. לדוגמה - אולי בפשטות יתר - הליוצנטריות לא הייתה סבירה לפני שניקולאוס קופרניקוס פרסם את התיאוריה שלו ב-1543, והיא לא הייתה סבירה במיוחד לאחר מכן במשך די הרבה זמן, עד שיוהנס קפלר הבין שמדידות אסטרונומיות שביצע Tycho Brahe מציעות לחדד את המסלולים המעגליים של קופרניקוס לגליליות. כמו גם שכללים מתמטיים כאילו שולטים בתנועות הפלנטריות לאורך אותן אליפסות - אך הסיבות לכללים מתמטיים אלה, גם אם הם היו תיאורים טובים של התנועות, לא היו סבירות עד שאיזק ניוטון בשנת 1687 הציג את קיומו של כבידה אוניברסלית. כוח בין מסות, יחד עם חוק מרחק מרובע הפוך פרופורציונלי מסה השולט בגודל המשיכה הכבידה, וצפו בתופעות כמותיות רבות התואמות ותומכות בתיאוריה זו.

עבורנו כיום, אנחנו כמעט לא חושבים על הסבירות של מסלולי מערכת שמש הליוצנטרית אליפטית, מכיוון שנתוני תצפית שנמשכים 335 שנים היו מאוד עקביים עם התיאוריה הזו. אבל אנחנו עשויים להתאפק מלחשוב שזה סביר שאור נע בו-זמנית כחלקיקים וגלים, ושביצוע מדידות על האור, מה שאנו עושים כצופים, קובע אם אנו רואים התנהגות חלקיקים או התנהגות גל, ונוכל לבחור לצפות באחד מהחלקיקים. או גלים, אבל לא שניהם בו זמנית. הטבע אינו בהכרח סביר.

אבל בכל זאת, קל להאמין בתיאוריות הגיוניות, וזו הבעיה. זה מה שהאכילנו במשך כמעט שלוש שנים של מגיפת קוביד-19. אבל למעשה, האכלנו סבירות במקום מדע במשך הרבה יותר זמן.

Cargo-Cult Science

שרלטנים שהתיימרו לכופף כפיות במוחם, או טענו לחקור "תפיסה חוץ-חושית" בלתי ניתנת לאימות ובלתי ניתן לשכפל, היו פופולריים מאוד בשנות ה-1960 וה-1970. אמונות מוזרות במה ש"מדע" יכול לבסס הגיעו לרמה כזו שחתן פרס נובל לפיזיקה, ריצ'רד פיינמן, נשא את נאום תחילת Caltech ב-1974 (פיינמן, 1974) כשהתבכיין על אמונות לא רציונליות כאלה. דבריו לא כוונו לקהל הרחב, אלא לבוגרי תלמידי קלטק, שרבים מהם נועדו להיות מדענים אקדמיים.

בנאומו תיאר פיינמן כיצד תושבי אי הים הדרומי, לאחר מלחמת העולם השנייה, חיקו חיילים אמריקאים שהוצבו שם במהלך המלחמה שהנחו מטוסים של אספקה. תושבי האי, תוך שימוש בחומרים מקומיים, שיחזרו את הצורה וההתנהגויות של מה שהם היו עדים להם של ה-GIs האמריקאים, אבל שום אספקה ​​לא הגיעה.

בהקשר שלנו, הנקודה של פיינמן תהיה שעד שלתיאוריה יש ראיות אמפיריות אובייקטיביות, היא נשארת רק תיאוריה, לא משנה עד כמה היא עשויה להיראות סבירה לכל מי שמבדר אותה. תושבי האיים החמיצו את העובדה המכרעת שהם לא הבינו כיצד פועלת מערכת האספקה, למרות עד כמה השעתוק שלהם היה סביר עבורם. שפיינמן חש נאלץ להזהיר את תלמידי הקלטק הבוגרים מההבדל בין סבירות ומדעים, והציע שההבדל הזה לא נלמד בצורה מספקת בהשכלתם במכון. זה לא נלמד במפורש כשהסופר הזה היה בוגר שם באותן שנים, אבל איכשהו, ציפו שלמדנו את זה "באוסמוזה".

רפואה מבוססת ראיות

אולי אין היום מזויפת סבירות גדולה יותר מאשר "רפואה מבוססת ראיות" (EBM). מונח זה נטבע על ידי גורדון גויאט בשנת 1990, לאחר שניסיונו הראשון, "רפואה מדעית", לא הצליח לקבל הסכמה בשנה הקודמת. בתור אפידמיולוג באוניברסיטה בשנת 1991, נעלבתי מההיבריס והבורות בשימוש במונח הזה, EBM, כאילו ראיות רפואיות היו איכשהו "לא מדעיות" עד שהוכרזה דיסציפלינה חדשה עם כללים חדשים לראיות. לא הייתי לבד בביקורת על EBM (Sackett et al., 1996), אם כי נראה שחלק גדול מהתגובה השלילית הזו התבסס על אובדן שליטה נרטיבית ולא על סקירה אובייקטיבית של מה שהמחקר הרפואי השיג בפועל ללא "EBM".

ידע רפואי מערבי הצטבר במשך אלפי שנים. בתנ"ך העברי (שמות כא, יט), "כאשר שני צדדים רבים ואחד יכה את רעהו... ירפא הקורבן ביסודיות" [תרגום שלי] מה שמרמז שקיימים אנשים שהיו להם סוגים של ידע רפואי ושמידה מסוימת של יעילות טבועה. היפוקרטס, במאה החמישית-רביעית לפני הספירה, הציע שהתפתחות המחלה עשויה להיות לא אקראית אלא קשורה לחשיפה מהסביבה או להתנהגויות מסוימות. בתקופה ההיא, היו הרבה מה שהיינו מחשיבים היום כדוגמאות נגד לפרקטיקה רפואית טובה. למרות זאת, זו הייתה התחלה, לחשוב על ראיות רציונליות לידע רפואי.

ג'יימס לינד (1716-1794) תמך בהגנה על צפדינה באמצעות אכילת הדרים. טיפול זה היה ידוע לקדמונים, ובמיוחד הומלץ קודם לכן על ידי המנתח הצבאי האנגלי ג'ון וודול (1570-1643) - אך התעלמו ממנו. לינד מקבל את הקרדיט כי בשנת 1747 הוא ביצע ניסוי קטן אך מוצלח לא אקראי ומבוקר של תפוזים ולימונים לעומת חומרים אחרים בקרב 12 חולי צפדינה.

במהלך שנות ה-1800, השימוש של אדוארד ג'נר באבעבועות פרות כחיסון נגד אבעבועות שחורות התפתח על ידי תרבית בבעלי חיים אחרים והוכנס לשימוש כללי בהתפרצויות, כך שעד לתיק בית המשפט העליון ב-1905 ג'ייקובסון נ 'מסצ'וסטס, השופט העליון יכול לטעון שחיסון אבעבועות שחורות הוסכם על ידי הרשויות הרפואיות להיות הליך מקובל. כתבי עת רפואיים החלו בפרסומים קבועים גם בשנות ה-1800. לדוגמה, ה אִזְמֵל החל להתפרסם בשנת 1824. הידע הרפואי המצטבר החל להיות משותף ודיון באופן כללי ורחב יותר.

הרצה קדימה אל שנות ה-1900. בשנים 1914-15, ג'וזף גולדברגר (1915) ביצע ניסוי התערבות תזונתית לא אקראית שהסיק שהפלאגרה נגרמת מחוסר בניאצין תזונתי. בשנות ה-1920 פותחו חיסונים נגד דיפתריה, שעלת, שחפת וטטנוס. אינסולין הוצא. ויטמינים, כולל ויטמין D למניעת רככת, פותחו. בשנות ה-1930, החלו ליצור אנטיביוטיקה ולהשתמש ביעילות. בשנות ה-1940 פותח פרצטמול, כמו גם כימותרפיות, והחלו להשתמש באסטרוגן מצומד לטיפול בגלי חום בגיל המעבר. תרופות חדשות יעילות, חיסונים ומכשירים רפואיים גדלו באופן אקספוננציאלי במספרם בשנות ה-1950 וה-1960. הכל ללא EBM.

בשנת 1996, בתגובה לביקורות על EBM, David Sackett et al. (1996) ניסה להסביר את העקרונות הכוללים שלה. סאקט טען ש-EBM הגיע בעקבות "רופאים טובים משתמשים הן במומחיות קלינית אינדיבידואלית והן בעדויות החיצוניות הטובות ביותר הזמינות". זוהי השלכת סבירות אנודית, אבל שני המרכיבים שגויים בעצם או לפחות מטעים. בניסוח ההגדרה הזו במונחים של מה שרופאים בודדים צריכים לעשות, סאקט רמז שמתרגלים בודדים צריכים להשתמש בתצפיות ובניסיון הקליניים שלהם. עם זאת, הייצוגיות הראייתית הכללית של הניסיון הקליני של אדם אחד עשויה להיות חלשה. בדיוק כמו צורות אחרות של ראיות, יש לאסוף, לבחון ולנתח עדויות קליניות באופן שיטתי, כדי ליצור סינתזה של חשיבה קלינית, שתספק את המרכיב הקליני של ראיות רפואיות מדעיות.

כשל גדול יותר בהיגיון הראייתי הוא האמירה של סאקט כי יש להשתמש ב"הראיות החיצוניות הטובות ביותר הזמינות" במקום את כל ראיות חיצוניות תקפות. שיפוטים לגבי מהות הראיות ה"טובות ביותר" הן סובייקטיביות ביותר ואינן מניבות בהכרח תוצאות כוללות שהן כמותית המדויקות והמדויקות ביותר (Hartling et al., 2013; Bae, 2016). בניסוח ה"היבטים" הקנוניים שלו כעת של הנמקה סיבתית ראייתית, סר אוסטין ברדפורד היל (1965) לא כלל היבט של מה שיהווה ראיות "הטובות ביותר", וגם לא הציע שיש למדוד או לסווג מחקרים לפי "איכות המחקר". ואפילו לא שסוגים מסוימים של עיצובי מחקר עשויים להיות טובים יותר מאחרים. בתוך ה מדריך עזר לראיות מדעיותמרגרט ברגר (2011) קובעת במפורש, "... רבים מהגופים המדעיים המכובדים והיוקרתיים ביותר (כגון הסוכנות הבינלאומית לחקר הסרטן (IARC), המכון לרפואה, מועצת המחקר הלאומית והמכון הלאומי עבור מדעי הבריאות הסביבתית) לשקול את כל הראיות המדעיות הרלוונטיות הזמינות, במכלול, כדי לקבוע איזו מסקנה או השערה לגבי טענה סיבתית נתמכת בצורה הטובה ביותר על ידי מכלול הראיות." זו בדיוק הגישה של היל; ההיבטים שלו של החשיבה הסיבתית נמצאים בשימוש נרחב במשך יותר מ-50 שנה כדי לנמק מהתבוננות לסיבתיות, הן במדע והן במשפט. זה שה-EBM מבוסס על ראיות "הטובות" ביותר בקטיף דובדבן באופן סובייקטיבי היא שיטה סבירה אך לא מדעית.

עם הזמן, נראה שגישת ה-EBM לבחינה סלקטיבית של הראיות "הטובות ביותר" "הושטה", תחילה על ידי הצבת ניסויים אקראיים מבוקרים (RCTs) בראש הפירמידה של כל עיצובי המחקר כתכנון "סטנדרט הזהב" כביכול. ומאוחר יותר, כסוג המחקר היחיד הנטען שניתן לסמוך עליו כדי להשיג הערכות חסרות פניות של השפעות. כל שאר הצורות של ראיות אמפיריות הן "מוטות בפוטנציה" ולכן אינן אמינות. זוהי התנשאות של סבירות כפי שאראה להלן.

אבל זה כל כך סביר שזה נלמד באופן שגרתי בחינוך רפואי מודרני, כך שרוב הרופאים מתייחסים רק לראיות RCT ופוסלים את כל שאר הצורות של ראיות אמפיריות. זה כל כך סביר שהמחבר הזה ניהל מאבק מילולי על זה בשידור עם פרשן טלוויזיה חסר השכלה רפואית שלא סיפק שום ראיה מלבד סבירות (Whelan, 2020): האם זה לא "פשוט ברור" שאם אתה מחלק נושאים באקראי, כל הבדלים חייבים להיגרם מהטיפול, ואין לסמוך על סוגים אחרים של מחקרים? ברור, כן; נכון, לא.

מי מרוויח מהתמקדות אובססיבית בלעדית בראיות RCT? RCTs יקרים מאוד לביצוע אם הם רוצים להיות תקפים אפידמיולוגית ומספקים סטטיסטית. הם יכולים לעלות מיליוני או עשרות מיליוני דולרים, מה שמגביל את המשיכה שלהם במידה רבה לחברות המקדמות מוצרים רפואיים שעשויים להניב רווחים גדולים משמעותית מהעלויות הללו. מבחינה היסטורית, בקרת פארמה ומניפולציה של ראיות RCT בתהליך הרגולציה סיפקו דחיפה עצומה ביכולת לדחוף מוצרים דרך אישור רגולטורי לשוק, והמוטיבציה לעשות זאת עדיין נמשכת גם היום.

בעיה זו הוכרה על ידי הקונגרס, שהעביר את חוק המודרניזציה של מינהל המזון והתרופות משנת 1997 (FDAMA) שהקים בשנת 2000 את ClinicalTrials.gov אתר אינטרנט לרישום של כל הניסויים הקליניים שבוצעו במסגרת יישומי מחקר חדשים של תרופות כדי לבחון את היעילות של תרופות ניסיוניות לחולים עם מצבים חמורים או מסכני חיים (הספרייה הלאומית לרפואה, 2021). מסיבות קשורות הקשורות לניגוד אינטרסים בניסויים קליניים, אתר ProPublica "Dollars for Docs" (Tigas et al., 2019) המכסה תשלומים של חברות הפארמה לרופאים לאורך השנים 2009-2018 ואתר OpenPayments (Centers for Medicare & Medicaid Services , 2022) המכסים תשלומים מ-2013 עד 2021 הוקמו והפכו לניתנים לחיפוש ציבורי. מערכות מידע אלו נוצרו משום ש"הסבירות" שהרנדומיזציה הופכת אוטומטית את תוצאות המחקר למדוייקות וחסרות פניות הוכרה כלא מספקת להתמודדות עם מחקרים חכמים ומניעים בלתי הולמים של ניגוד עניינים של חוקר.

בעוד הניסיונות הללו לרפורמה או להגביל את השחיתות המחקרית הרפואית עזרו, מצג שווא של ראיות במסווה של EBM נמשך. אחת הדוגמאות הגרועות ביותר הייתה מאמר שפורסם ב- ניו אינגלנד ז'ורנל אוף מדיסין 13 בפברואר 2020, בתחילת מגיפת קוביד-19, שכותרתה "קסם האקראיות מול המיתוס של ראיות בעולם האמיתי", מאת ארבעה סטטיסטיקאים בריטיים בריטיים ידועים בעלי קשרים מהותיים עם חברות הפארמה (Collins et al. ., 2020). זה כנראה נכתב בינואר 2020, לפני שרוב האנשים ידעו שהמגיפה מגיעה. מאמר זה טוען שהאקראי יוצר באופן אוטומטי מחקרים חזקים, ושכל המחקרים הלא-אקראיים הם זבל ראייתי. בזמן שקראתי אותו, הרגשתי שהוא מגהץ נגד כל הדיסציפלינה שלי, אפידמיולוגיה. מיד נעלבתי מזה, אבל מאוחר יותר הבנתי את ניגודי העניינים החמורים של המחברים. הצגה שרק ראיות RCT לא משתלמות מתאימות לאישורים רגולטוריים מספקת כלי לחברות הפארמה להגן על מוצרי הפטנטים היקרים והרווחיים ביותר שלהן מפני תחרות על ידי תרופות גנריות יעילות וזולות שאושרו מחוץ לתווית שהיצרנים שלהן לא יוכלו להרשות לעצמם בקנה מידה גדול. RCTs.

אקראיות

אז מה הפגם באקראי שאליו רמזתי, שדורש בדיקה מעמיקה יותר כדי להבין את התוקף היחסי של מחקרי RCT לעומת עיצובי מחקר אחרים? הבעיה טמונה בהבנה של מבלבל. בלבול הוא נסיבה אפידמיולוגית שבה הקשר בין חשיפה לתוצאה אינו נובע מהחשיפה, אלא מגורם שלישי (המבלבל), לפחות בחלקו. המבלבל קשור איכשהו לחשיפה אך אינו תוצאה של החשיפה.

במקרים כאלה, יחסי החשיפה-תוצאה לכאורה נובעים באמת מיחסי המבלבל-תוצאה. לדוגמה, מחקר על צריכת אלכוהול וסיכון לסרטן עלול להיות מבולבל על ידי היסטוריית עישון שמתואמת עם שימוש באלכוהול (ואיננה נגרמת על ידי שימוש באלכוהול), אבל היא באמת מובילה את הסיכון המוגבר לסרטן. ניתוח פשוט של סיכון לאלכוהול ולסרטן, תוך התעלמות מעישון, יראה מערכת יחסים. עם זאת, ברגע שהשפעת העישון הייתה מבוקרת או מותאמת, הקשר בין אלכוהול לסיכון לסרטן יירד או ייעלם.

מטרת האקראי, של איזון כל דבר בין קבוצות הטיפול והביקורת, היא להסיר בלבול פוטנציאלי. האם יש דרך אחרת להסיר בלבול פוטנציאלי? כן: למדוד את הגורמים המדוברים ולהתאים או לשלוט עבורם בניתוחים סטטיסטיים. לפיכך ניכר כי לאקראי יש בדיוק יתרון אפשרי אחד שאינו זמין למחקרים לא אקראיים: השליטה של unמבלבלים נמדדים. אם קשרים ביולוגיים, רפואיים או אפידמיולוגיים אינם מובנים לחלוטין לגבי תוצאת עניין, ייתכן שלא כל הגורמים הרלוונטיים נמדדים, וחלק מאותם גורמים בלתי-מדודים עדיין עלולים לבלבל קשר של עניין.

לפיכך, אקראית, בתיאוריה, מסיר בלבול פוטנציאלי על ידי גורמים לא מדודים כהסבר לקשר שנצפה. זה טיעון הסבירות. עם זאת, השאלה נוגעת עד כמה האקראיות עובדת במציאות, ומי בדיוק צריך להיות מאוזן על ידי האקראיות. ניסויים קליניים מיישמים אקראית על כל הנבדקים המשתתפים כדי לקבוע את קבוצות הטיפול. אם באירוע התוצאה של המחקר, אנשים מהווים תת-קבוצה של המחקר הכולל, אז אנשים התוצאות האלה צריכים להיות מאוזנים גם במבלבלים הפוטנציאליים שלהם. לדוגמה, אם כל מקרי המוות בקבוצת הטיפול הם גברים וכולם בקבוצת הפלצבו הם נשים, סביר להניח שהמגדר מבלבל את השפעת הטיפול. 

הבעיה היא שמחקרי RCT אף פעם לא מדגימים באופן מפורש אקראית נאותה של נבדקי התוצאה שלהם, ומה שהם מתיימרים להראות באקראי עבור כלל קבוצות הטיפול שלהם כמעט תמיד לא רלוונטי מבחינה מדעית. בעיה זו מתעוררת ככל הנראה מכיוון שהאנשים המבצעים מחקרי RCT, והסוקרים ועורכי כתבי העת השוקלים את מאמרים שלהם, אינם מבינים מספיק עקרונות אפידמיולוגיים.

ברוב פרסומי ה-RCT, החוקרים מספקים טבלה תיאורית ראשונית סתמית של קבוצות הטיפול והפלצבו (כעמודות), לעומת גורמים שונים שנמדדו (כשורות). כלומר, התפלגות האחוזים של נבדקי טיפול ונבדקי פלצבו לפי מין, קבוצת גיל, גזע/אתניות וכו'. העמודה השלישית בטבלאות אלו היא בדרך כלל נתון ה-p-value עבור הפרש התדירות בין הנבדקים לטיפול ונבדקי הפלצבו בכל גורם שנמדד. באופן רופף, נתון זה מעריך סבירות שהבדל בתדירות בין טיפול לנבדקי פלצבו כל כך גדול יכול היה להתרחש במקרה. בהתחשב בכך שלנבדקים הוקצו קבוצות הטיפול שלהם באופן מקרי לחלוטין, בדיקה סטטיסטית של תהליך הסיכוי האקראי היא טאוטולוגית ולא רלוונטית. העובדה שבחלק מה-RCTs, גורמים מסוימים עשויים להיראות קיצוניים יותר ממה שהמקרה יאפשר באקראי, זה רק בגלל שגורמים מרובים למטה בשורות נבדקו עבור הבדלי התפלגות ובנסיבות כאלה, יש להפעיל בקרה סטטיסטית של השוואות מרובות.

מה שדרוש בעמודה השלישית של הטבלה התיאורית של RCT אינו ערך p, אלא מדד לגודל הבלבול של גורם השורה המסוים. בלבול לא נמדד לפי איך זה התרחש, אלא לפי כמה זה רע. מניסיוני כאפידמיולוגית קריירה, המדד היחיד הטוב ביותר לבלבול הוא אחוז השינוי בגודל הקשר בין הטיפול לתוצאה לעומת ללא התאמה למבלבל. כך למשל, אם עם התאמה למגדר, הטיפול מקטין את התמותה ב-25% (סיכון יחסי = 0.75), אך ללא התאמה מקצץ אותה ב-50%, אזי גודל הבלבול לפי מגדר יהיה (0.75 - 0.50)/0.75 = 33 %. אפידמיולוגים מחשיבים בדרך כלל יותר מ-10% שינוי עם התאמה כזו כדי לרמוז שקיים בלבול וצריך לשלוט בו.

כפי שראיתי, רוב פרסומי ה-RCT אינם מספקים את גודל ההערכות המבלבלות עבור קבוצות הטיפול הכוללות שלהם, ולעולם לא עבור נושאי התוצאה שלהם. כך שלא ניתן לדעת שנושאי התוצאה חולקו בצורה אקראית נאותה עבור כל הגורמים המופיעים בטבלה התיאורית של המאמר. אבל הפגם הקטלני הפוטנציאלי של מחקרי RCT, מה שיכול להפוך אותם ללא טובים יותר ממחקרים לא אקראיים ובמקרים גרועים יותר, הוא שהאקראי פועל רק כאשר מספר גדול של נבדקים חולקו באקראי (Deaton and Cartwright, 2018), וזה חל במיוחד על נושאי התוצאה, לא רק למחקר הכולל. 

שקול להטיל מטבע עשר פעמים. זה עשוי לעלות לפחות שבעה ראשים ושלושה זנבות, או להיפך, בקלות במקרה (34%). עם זאת, גודל ההבדל הזה, 7/3 = 2.33, הוא פוטנציאלי גדול למדי במונחים של בלבול אפשרי. מצד שני, התרחשות באותו גודל של 2.33 מ-70 או יותר ראשים מתוך 100 סיבובים תהיה נדירה, p=.000078. כדי שהאקראי יעבוד, צריך להיות מספר ניכר של אירועי תוצאה הן בקבוצת הטיפול והן בקבוצת הפלצבו, נגיד 50 או יותר בכל קבוצה. זהו הפגם העיקרי הפוטנציאלי הבלתי מפורש של מחקרי RCT שהופך את טיעון הסבירות שלהם לחסר תועלת, מכיוון שמחקרי RCT מתוכננים בדרך כלל להיות בעלי מספיק כוח סטטיסטי כדי למצוא מובהקות סטטיסטית של התוצאה העיקרית שלהם אם הטיפול עובד כפי שצפוי, אך לא מתוכנן לקבל מספיק תוצאה נושאים להפחתת הבלבול הפוטנציאלי לפחות מ-10% אומרים.

דוגמה חשובה לנושא זה ניתן לראות בתוצאת היעילות הראשונה של RCT שפורסמה עבור החיסון Pfizer BNT162b2 mRNA Covid-19 (Polack et al., 2020). מחקר זה נחשב לגדול מספיק (43,548 משתתפים אקראיים) וחשוב מספיק (קוביד-19) שבגלל סבירות ה-RCT שלו הוא הבטיח פרסום ב"יוקרתי" ניו אינגלנד ז'ורנל אוף מדיסין. התוצאה העיקרית של המחקר הייתה התרחשות של Covid-19 עם הופעה לפחות שבעה ימים לאחר המנה השנייה של החיסון או הזרקת פלצבו. עם זאת, בעוד שהוא ראה 162 מקרים בקרב נבדקי הפלצבו, מספיק לאקראיות טובה, הוא מצא רק שמונה מקרים בקרב נבדקי החיסון, בשום מקום כמעט לא מספיק כדי שהאקראי עשה משהו כדי לשלוט בבלבול. 

מניסיון אפידמיולוגי כללי, סביר להניח שסיכון יחסי משוער כה גדול (162/8 = 20 בקירוב) לא נובע לחלוטין מבלבול, אבל הדיוק של הסיכון היחסי או היעילות המשתמעת שלו ((20 - 1)/20 = 95 %) בספק. העובדה שחיסון זה בשימוש לא היה יעיל כל כך בהפחתת הסיכון לזיהום אינו מפתיע בהתחשב בחולשת תוצאת המחקר בגלל גודל מדגם לא מספיק כדי להבטיח שהאקראי עבד עבור נבדקי התוצאה הן בקבוצת הטיפול והן בקבוצת הפלצבו.

"הצלילה לעשבים השוטים" של האפידמיולוגיה מבהירה מדוע למחקר RCT עם פחות מ-, נניח, 50 נבדקים בכל זרוע טיפול וטיפול של הניסוי, אין טענה קטנה עד אין להמנע מבלבול אפשרי על ידי גורמים בלתי מדודים. אבל זה גם מבהיר מדוע עשוי להיות משפט כזה גרוע יותר מאשר ניסוי מבוקר לא אקראי של אותה חשיפה ותוצאה. בניסויים לא אקראיים, החוקרים יודעים שגורמים רבים עשויים, כמבלבלים אפשריים, להשפיע על התרחשות התוצאה, ולכן הם מודדים את כל מה שהם חושבים רלוונטי, כדי לאחר מכן להתאים ולשלוט עבור אותם גורמים בניתוחים הסטטיסטיים. 

עם זאת, ב-RCT, החוקרים חושבים באופן שגרתי שהאקראי הצליח, ולכן מבצעים ניתוחים סטטיסטיים לא מותאמים, ומספקים תוצאות מבולבלות. כאשר אתה רואה RCT מוצגים כמחקרים "גדולים" בגלל עשרות אלפי המשתתפים שלהם, הסתכל מעבר לכך, למספרים של אירועי התוצאה העיקרית בזרועות הטיפול של הניסוי. ניסויים עם מספר קטן של אירועים ראשוניים הם חסרי תועלת ואין לפרסם אותם, שלא לדבר על להסתמך עליהם משיקולי בריאות הציבור או מדיניות.

ראיות אמפיריות

לאחר קריאת כל האמור לעיל, אולי תחשוב שהטיעונים הללו הנוגעים לניסויים אקראיים לעומת ניסויים לא אקראיים הם סבירים מאוד, אבל מה לגבי ראיות אמפיריות שתומכות בהם? לשם כך, בוצע ניתוח יסודי מאוד על ידי מאגר המידע של ספריית Cochrane of Systematic Reviews (Anglemyer et al., 2014). מחקר זה ערך חיפוש מקיף בשבעה מאגרי מידע אלקטרוניים לתקופה מינואר 1990 עד דצמבר 2013, כדי לזהות את כל מאמרי הסקירה השיטתית שהשוו "הערכות גודל אפקט כמותי למדידת יעילות או יעילות של התערבויות שנבדקו בניסויים [אקראיים] עם אלו שנבדקו במחקרי תצפית. ” למעשה, מטה-אנליזה של מטה-אנליזות, הניתוח כלל אלפים רבים של השוואות מחקרים בודדים, כפי שסוכמו על פני 14 מאמרי סקירה. 

השורה התחתונה: הבדל ממוצע של 8% בלבד (גבולות ביטחון של 95%, -4% עד 22%, לא מובהק סטטיסטית) בין ה-RCTs לבין תוצאות הניסויים הלא-אקראיים המקבילים שלהם. לסיכום, גוף הידע הזה - האמפירי וגם זה המבוסס על עקרונות אפידמיולוגיים - מוכיח שבניגוד למה שמכונה "סבירות", לניסויים אקראיים אין דירוג אוטומטי כסטנדרט זהב של ראיות רפואיות או כצורה המקובלת היחידה של ראיות רפואיות, ושכל מחקר צריך להיבחן באופן ביקורתי ואובייקטיבי עבור החוזקות והחולשות שלו, ועד כמה החוזקות והחולשות הללו חשובות למסקנות המתקבלות.

סבירויות אחרות

במהלך מגיפת Covid-19, נעשה שימוש במספר הצהרות אחרות של ראיות מדעיות כדי להצדיק את מדיניות בריאות הציבור, כולל לעצם ההכרזה על מצב החירום של המגיפה עצמה. ביסוד רבים מהם עמד העיקרון הסביר אך השגוי לפיו המטרה של ניהול מגפת בריאות הציבור היא למזער את מספר האנשים שנדבקו בנגיף SARS-CoV-2. 

מדיניות זו אולי נראית ברורה, אבל היא שגויה כמדיניות גורפת. מה שצריך למזער הם ההשלכות המזיקות של המגיפה. אם זיהום מוביל לתסמינים לא נעימים או מעצבנים עבור רוב האנשים, אך ללא בעיות רציניות או ארוכות טווח - כפי שקורה בדרך כלל עם SARS-CoV-2, במיוחד בעידן Omicron - אז לא יהיה שום יתרון מוחשי לבריאות הציבור הכללית התערבויות ומגבלות הפוגעות בזכויות טבעיות או כלכליות של אנשים כאלה וגורמות לעצמן נזקים. 

חברות מערביות, כולל ארה"ב, לוקחות את גלי הזיהום בדרכי הנשימה בצעדי ענק ללא מצבי חירום מוצהרים של מגיפה, למרות שהן מייצרות מיליוני אנשים נגועים מדי שנה, מכיוון שההשלכות של הזיהום נחשבות בדרך כלל קלות מבחינה רפואית, אפילו מאפשרות כמה עשרות אלפי מקרי מוות מדי שנה. 

בחודשים הראשונים של מגיפת Covid-19 נקבע כי הסיכון לתמותה מזיהומים השתנה ביותר מפי 1,000 על פני טווח הגילאים, וכי אנשים ללא מצבים בריאותיים כרוניים כגון סוכרת, השמנת יתר, מחלות לב, מחלות כליות, היסטוריה של סרטן וכו', היו בסיכון זניח לתמותה ובסיכון נמוך מאוד לאשפוז. בשלב זה, היה פשוט להגדיר קטגוריות של אנשים בסיכון גבוה שבממוצע ייהנו מהתערבויות בבריאות הציבור, לעומת אנשים בסיכון נמוך שיצליחו לצלוח את הזיהום ללא בעיות ניכרות או ארוכות טווח. לפיכך, תכנית ניהול מגיפה אובססיבית, מתאימה לכולם, שלא הבחנה בין קטגוריות סיכון הייתה בלתי סבירה ומדכאת מלכתחילה.

לפיכך, אמצעים המקודמים על ידי סבירות להפחתת העברת זיהום, גם אילו היו יעילים למטרה זו, לא שימשו ניהול טוב של מגיפה. אולם צעדים אלה מעולם לא היו מוצדקים על ידי ראיות מדעיות מלכתחילה. חוק ההתרחקות החברתית בגובה שש רגל היה תערובת שרירותית של ה-CDC (Dangor, 2021). טענות לתועלת לחבישת מסכות פנים הבחינו רק לעתים רחוקות בתועלת פוטנציאלית ללובש - שעבורו לבישה כזו תהיה בחירה אישית אם לקבל או לא לקבל סיכון תיאורטי יותר - לעומת תועלת לעוברי אורח, מה שנקרא "בקרת מקור", שבו הציבור שיקולי בריאות עשויים לחול כהלכה. מחקרים של בקרת מקור מבוססת מסכות עבור וירוסים בדרכי הנשימה, כאשר המחקרים הם ללא פגמים קטלניים, לא הראו שום תועלת ניכרת בהפחתת העברת זיהום (Alexander, 2021; Alexander, 2022; Burns, 2022).

מעולם לא נעשה שימוש בהסגרות אוכלוסיות כלליות במדינות מערביות ואין להן עדות להשפעה על עשיית דבר מלבד דחיית הבלתי נמנע (Meunier, 2020), כפי שמבהירים נתוני אוכלוסיית אוסטרליה (Worldometer, 2022). בדיון המובהק על אמצעי בריאות הציבור לשליטה בשפעת מגיפה (Inglesby et al., 2006), קובעים המחברים, "אין תצפיות היסטוריות או מחקרים מדעיים התומכים בכליאה בהסגר של קבוצות של אנשים שעלולים להידבק לתקופות ממושכות על מנת להאט את התפשטות השפעת. קבוצת כתיבה של ארגון הבריאות העולמי (WHO), לאחר שסקרה את הספרות ושקלה את הניסיון הבינלאומי העכשווי, הגיעה למסקנה ש"בידוד והסגר כפוי אינם יעילים ואינם מעשיים". … ההשלכות השליליות של הסגר בקנה מידה גדול הן כה קיצוניות (כליאה כפויה של אנשים חולים עם הבאר; הגבלה מוחלטת של תנועת אוכלוסיות גדולות; קושי בהשגת אספקה ​​חיונית, תרופות ומזון לאנשים בתוך אזור ההסגר) עד כדי הקלה זו. יש לבטל את האמצעי משיקול רציני".

לגבי הגבלות נסיעה, Inglesby et al. (2006) מציינים, "הגבלות נסיעות, כגון סגירת שדות תעופה ובדיקת נוסעים בגבולות, לא היו יעילות היסטורית. קבוצת הכתיבה של ארגון הבריאות העולמי הגיעה למסקנה ש"הסקר וההסגר הנכנסים לנוסעים בגבולות בינלאומיים לא עיכבו באופן מהותי את החדרת הנגיפים במגיפות קודמות... וסביר להניח שהם יהיו יעילים עוד פחות בעידן המודרני." "על סגירת בתי ספר (Inglesby et al., 2006): "במגיפות שפעת קודמות, ההשפעה של סגירת בתי ספר על שיעורי התחלואה הייתה מעורבת. מחקר מישראל דיווח על ירידה בזיהומים בדרכי הנשימה לאחר שביתת מורים בת שבועיים, אך הירידה ניכרה רק ליום אחד. מצד שני, כשבתי הספר נסגרו לחופשת חורף במהלך מגפת 2 בשיקגו, 'התפתחו יותר מקרי שפעת בקרב תלמידים... מאשר כשבתי הספר פעלו'".

דיון זה מבהיר כי פעולות אלו המפריעות כביכול להעברת הנגיף על בסיס טיעוני סבירות ליעילותן היו מוטעות בניהול המגיפה, ולא הוכחו על ידי ראיות מדעיות ליעילות בהפחתת התפשטות. הקידום בקנה מידה גדול שלהם הוכיח את הכישלון של מדיניות בריאות הציבור בעידן קוביד-19.

סבירות מול מדע רע

ניתן לטעון כי מדיניות שונות בתחום בריאות הציבור, כמו גם מידע שהועמד לרשות הציבור הרחב, לא נתמכו בסבירות אלא במדע רע או פגום אנושות, המתחזה למדע אמיתי. לדוגמה, בכתב העת הפנימי שלו, ללא ביקורת עמיתים, דוחות שבועיים על תחלואה ותמותה, CDC פרסם מספר ניתוחים של יעילות החיסון. דיווחים אלו תיארו מחקרי חתך אך ניתחו אותם כאילו היו מחקרי מקרה-ביקורת, תוך שימוש שיטתי בפרמטרים של יחס סיכויים משוערים במקום סיכונים יחסיים כדי לחשב את יעילות החיסון. כאשר תוצאות המחקר אינן שכיחות, נניח פחות מ-10% מהנבדקים, אז יחסי הסיכויים יכולים להעריך את הסיכונים היחסיים, אבל חוץ מזה, יחסי הסיכויים נוטים להיות מוערכים מדי. עם זאת, במחקרי חתך, ניתן לחשב ישירות סיכונים יחסיים וניתן להתאים אותם למבלבלים פוטנציאליים על ידי רגרסיה של סיכון יחסי (Wacholder, 1986), בדומה לשימוש ברגרסיה לוגיסטית במחקרי מקרה-ביקורת.

דוגמה מייצגת היא מחקר על היעילות של חיסוני Covid-19 במנה שלישית (Tenforde et al., 2022). במחקר זה, "... רשת IVY נרשמה 4,094 מבוגרים בגילאי 18 ומעלה", ולאחר החרגות נושאים רלוונטיות, "נכללו 2,952 חולים מאושפזים (1,385 חולי מקרה ו-1,567 בקרות שאינן קוביד-19)." מחקרי חתך - לפי תכנון - מזהים את המספר הכולל של נבדקים, בעוד שמספר המקרים והבקרות, וחשופים ובלתי נחשפים, מתרחשים מחוץ להתערבות החוקרים, כלומר, בכל התהליכים הטבעיים העומדים בבסיס המנגנונים הרפואיים, הביולוגיים והאפידמיולוגיים הנבדקים. על ידי בחירת מספר כולל של נבדקים, Tenforde et al. המחקר הוא בהגדרה עיצוב חתך. מחקר זה דיווח על יעילות חיסון של 82% בקרב חולים ללא מצבים מדכאים חיסוניים. אומדן זה משקף יחס סיכויים מותאם של 1 - 0.82 = 0.18. עם זאת, חלק המטופלים המקרים בקרב המחוסנים היה 31% ובקרב הלא מחוסנים היה 70%, אף אחד מהם אינו מספיק נדיר כדי לאפשר שימוש בקירוב יחס הסיכויים לחישוב יעילות החיסון. לפי המספרים בדוח המחקר בטבלה 3, אני מחשב סיכון יחסי לא מותאם של 0.45 וסיכון יחסי מותאם בערך של 0.43, מה שנותן את יעילות החיסון האמיתית של 1 - 0.43 = 57%, שהוא שונה מהותית וחמור בהרבה מ-82% מוצג בעיתון.

בהקשר אחר, לאחר שפרסמתי מאמר סקירה מסכם על השימוש ב- hydroxychloroquine (HCQ) לטיפול מוקדם ב-Covid-19 (Risch, 2020), פורסמו מספר מאמרי ניסויים קליניים בניסיון להראות ש-HCQ אינו יעיל . הראשון מבין מה שנקרא "הפרכה" אלה בוצע בחולים מאושפזים, שמחלתם שונה כמעט לחלוטין בפתופיזיולוגיה ובטיפול בהשוואה למחלות חוץ מוקדמות (Park et al., 2020). התוצאות החשובות שהתייחסתי אליהן בסקירה שלי, סיכונים לאשפוז ותמותה, הוסחו בעבודות אלו על ידי התמקדות בתוצאות סובייקטיביות ופחות, כגון משך חיוביות הבדיקה הוויראלית או משך האשפוז.

לאחר מכן, החלו להתפרסם RCTs של שימוש ב-HCQ חוץ. טיפוסי הוא זה של Caleb Skipper et al. (2020). נקודת הסיום העיקרית של ניסוי זה הייתה שינוי בחומרת הסימפטומים הכוללת שדווחה עצמית במשך 14 ימים. לנקודת הסיום הסובייקטיבית הזו הייתה חשיבות מגיפה מועטה, במיוחד בהתחשב בכך שהנבדקים במחקרים של קבוצת מחקר זו הצליחו לדעת במידה בינונית אם הם היו בזרועות ה-HCQ או הפלצבו של הניסוי (Rajasingham et al., 2021) ולפיכך העצמי התוצאות שדווחו לא היו כל מה שעיוורו לזרועות התרופות. מהניתוחים הסטטיסטיים שלהם, המחברים הסיקו כיאות כי "Hydroxychloroquine לא הפחית באופן משמעותי את חומרת הסימפטומים בחולות חוץ עם COVID-19 מוקדם ומתון." עם זאת, התקשורת הכללית דיווחה על מחקר זה כמראה כי "הידרוקסיכלורוקין לא עובד." לדוגמה, ג'ן כריסטנסן (2020) ב CNN בריאות ציין על מחקר זה, "התרופה נגד מלריה הידרוקסיכלורוקין לא הועילה לחולים שאינם מאושפזים עם תסמינים קלים של Covid-19 שטופלו בשלב מוקדם של ההדבקה שלהם, על פי מחקר שפורסם ביום חמישי בכתב העת הרפואי Annals of Internal Medicine,". 

אבל למעשה, מחקר סקיפר אכן דיווח על שתי התוצאות בעלות חשיבות, סיכונים לאשפוז ותמותה: עם פלצבו, 10 אשפוזים ומוות אחד; עם HCQ, 1 אשפוזים ומוות אחד. מספרים אלו מראים על סיכון מופחת של 4% לאשפוז, שלמרות שאינו מובהק סטטיסטית (p=1), תואם לחלוטין את כל המחקרים האחרים על סיכון אשפוז לשימוש ב-HCQ באישפוז (Risch, 60). אף על פי כן, המספר הקטן הזה של אירועי תוצאה לא מספיק כמעט כדי שהאקראי יאזן גורמים כלשהם, והמחקר בעצם חסר תועלת על בסיס זה. אבל זה עדיין התפרש באופן שגוי בספרות ההדיוטות כמראה ש-HCQ אינו מספק שום תועלת בשימוש במרפאות חוץ.

מסקנות

מקרים רבים אחרים של מכות מדעיות סבירות או מדע רע התרחשו במהלך מגיפת קוביד-19. כפי שניתן לראות במאמרי Surgisphere שחזרו בהם, כתבי עת רפואיים מפרסמים באופן שגרתי ובלתי ביקורתי את השטויות הללו כל עוד המסקנות עולות בקנה אחד עם מדיניות הממשלה. גוף הידע המזויף הזה הוכרז ברמות הגבוהות ביותר, על ידי NSC, FDA, CDC, NIH, WHO, Wellcome Trust, AMA, מועצות מומחיות רפואיות, סוכנויות בריאות ציבוריות ממלכתיות ומקומיות, חברות פארמה רב לאומיות וארגונים אחרים ברחבי העולם שהפרו את אחריותם כלפי הציבור או בחרו בכוונה שלא להבין את המדע המזויף. 

הסנאט האמריקני הצביע לאחרונה, בפעם השלישית, לסיים את מצב החירום של קוביד-19, אך הנשיא ביידן הצהיר כי יטיל וטו על הצעד בגלל "חשש" להישנות מספרי תיקים. עמיתיי ואני טענו לפני כמעט שנה שמצב החירום של המגיפה הסתיים (Risch et al., 2022), אך ההסתמכות המזויפת על סעיפי מקרים כדי להצדיק דיכוי של זכויות אדם בחסות "חירום" נמשכת ללא הפוגה.

צנזורה מסיבית על ידי התקשורת המסורתית וחלק גדול מהמדיה החברתית חסמה את רוב הדיון הציבורי על המדע הרע והמזויף הזה. צנזורה היא הכלי של הבלתי ניתן להגנה, שכן מדע תקף מגן על עצמו מטבעו. עד שהציבור יתחיל להבין את ההבדל בין סבירות למדע וכמה גדול היה המאמץ לייצר "מוצר" מדעי המוני שנראה כמו מדע אבל לא, התהליך יימשך ומנהיגים המחפשים כוח אוטוריטרי ימשיכו להסתמך עליו. להצדקה מזויפת.

הפניות

אלכסנדר, PE (2021, 20 בדצמבר). יותר מ-150 מחקרים ומאמרים השוואתיים על חוסר יעילות ונזקים של מסכות. מכון ברונסטון. https://brownstone.org/articles/more-than-150-comparative-studies-and-articles-on-mask-ineffectiveness-and-harms/

אלכסנדר, PE (2022, 3 ביוני). CDC מסרב לפרסם את התיקון למחקר המסכה שלו. מכון ברונסטון. https://brownstone.org/articles/cdc-refuses-to-post-the-fix-to-its-mask-study/

Anglemyer, A., Horvath, HT, Bero, L. (2014). תוצאות שירותי הבריאות הוערכו עם עיצובי מחקר תצפיתי בהשוואה לאלו שהוערכו במחקרים אקראיים (סקירה). Cochrane Database of Systematic Reviews, 4, מאמר MR000034. https://doi.org/10.1002/14651858.MR000034.pub2

Bae, J.-M. (2016). הצעה להערכת איכות בסקירות שיטתיות של מחקרים תצפיתיים באפידמיולוגיה תזונתית. אפידמיולוגיה ובריאות, 38, מאמר e2016014. https://doi.org/10.4178/epih.e2016014

ברגר, MA (2011). קבילות עדות מומחה. במועצת המחקר הלאומית, הוועדה לפיתוח המהדורה השלישית של מדריך העזר לראיות מדעיות, מדריך עזר לראיות מדעיות, מהדורה שלישית (עמ' 11-36). עיתונות האקדמיות הלאומיות. https://nap.nationalacademies.org/catalog/13163/reference-manual-on-scientific-evidence-third-edition

ברנס, ע' (2022, 10 בנובמבר). עוד יום, עוד מסכה נוראית מחקר. בואו נסתכל מתחת למכסה המנוע של היצירה החדשה ביותר של מדע באיכות נמוכה על מסכות. תת מחסנית. https://emilyburns.substack.com/p/another-day-another-terrible-mask

מרכזים לשירותי Medicare & Medicaid. (2022, יוני). חפש תשלומים פתוחים. מחלקת הבריאות ושירותי האנוש של ארה"ב, מרכזים לשירותי Medicare ו-Medicaid. https://openpaymentsdata.cms.gov/

כריסטנסן, ג'יי (2020, 16 ביולי). הידרוקסיכלורוקין גם לא עוזר לחולי קוביד-19 שאינם מאושפזים, כך מגלה מחקר חדש. CNN Health. https://www.cnn.com/2020/07/16/health/hydroxychloroquine-doesnt-work-hospitalized-patients/

Collins, R., Bowman, L., Landray, M., & Peto, R. (2020). הקסם של האקראיות מול המיתוס של עדויות עולמיות אמיתיות. ניו אינגלנד ז'ורנל אוף מדיסין, 382 (7), 674-678. https://www.nejm.org/doi/10.1056/NEJMsb1901642

דנגור, ג' (2021, 19 בספטמבר). חוק ההתרחקות החברתי של CDC בגובה שש רגל היה 'שרירותי', אומר נציב ה-FDA לשעבר. פורבס. https://www.forbes.com/sites/graisondangor/2021/09/19/cdcs-six-foot-social-distancing-rule-was-arbitrary-says-former-fda-commissioner/

Deaton, A., & Cartwright, N. (2018). הבנה ואי הבנה של ניסויים מבוקרים אקראיים. מדעי החברה ורפואה, 210, 2-21. https://doi.org/10.1016/j.socscimed.2017.12.005

Feynman, RP (1974). Cargo Cult Science. הנדסה ומדע, 37 (7), 10-13. https://resolver.caltech.edu/CaltechES:37.7.CargoCult

Goldberger, J., Waring, CH, & Willets, DG (1915). מניעת הפלגרה: בדיקת תזונה בקרב אסירים מוסדיים. דוחות בריאות הציבור, 30 (43), 3117-3131. https://www.jstor.org/stable/4572932

Hartling, L., Milne, A., Hamm, MP, Vandermeer, B., Ansari, M., Tsertsvadze, A., Dryden, DM (2013). בדיקת סולם ניוקאסל אוטווה הראתה אמינות נמוכה בין סוקרים בודדים. כתב עת לאפידמיולוגיה קלינית, 66, 982-993. https://doi.org/10.1016/j.jclinepi.2013.03.003

היל, א.ב. (1965). הסביבה והמחלה: קשר או סיבתיות. הליכים של החברה המלכותית לרפואה, 58 (5), 295-300. https://doi.org/10.1177/003591576505800503

Inglesby, TV, Nuzzo, JB, O'Toole, T., Henderson, DA (2006). אמצעים להפחתת מחלות בשליטה בשפעת מגיפה. ביטחון ביולוגי וטרור ביולוגי: אסטרטגיית הגנה ביולוגית, פרקטיקה ומדע, 4 (4): 366-375. https://doi.org/10.1089/bsp.2006.4.366

Meunier, T. (2020, 1 במאי). למדיניות הנעילה המלאה במדינות מערב אירופה אין השפעות ברורות על מגיפת COVID-19. medRxiv. https://doi.org/10.1101/2020.04.24.20078717

MSNBC. (2021, 9 ביוני). פאוצ'י מגיב להתקפות מצד הרפובליקנים [וִידֵאוֹ]. יוטיוב. https://www.youtube.com/watch?v=z-tfZr8Iv0s

הספרייה הלאומית לרפואה (2021, מאי). ClinicalTrials.gov. היסטוריה, מדיניות וחוקים. מחלקת הבריאות ושירותי אנוש בארה"ב, המכונים הלאומיים לבריאות, הספרייה הלאומית לרפואה. https://clinicaltrials.gov/ct2/about-site/history

Park, JJH, Decloedt, EH, Rayner, CR, Cotton, M., Mills, EJ (2020). ניסויים קליניים של שלבי מחלה ב-COVID 19: מסובכים ולעתים קרובות מתפרשים בצורה לא נכונה. Lancet Global Health, 8(10), e1249-e1250. https://doi.org/10.1016/S2214-109X(20)30365-X

פולאק, FP, תומאס, SJ, Kitchin, N., Absalon, J., Gurtman, A., Lockhart, S., Perez, JL, Pérez Marc, G., Moreira, ED, Zerbini, C., Bailey, R. ., Swanson, KA, Roychoudhury, S., Koury, K., Li, P., Kalina, WV, Cooper, D., Frenck, RW, Jr., Hammitt, LL, …, Gruber, WC (2020). בטיחות ויעילות של חיסון BNT162b2 mRNA Covid-19. ניו אינגלנד ז'ורנל אוף מדיסין, 383 (27), 2603-2615. https://www.nejm.org/doi/full/10.1056/nejmoa2034577

Rajasingham, R., Bangdiwala, AS, Nicol, MR, Skipper, CP, Pastick, KA, Axelrod, ML, Pullen, MF, Nascene, AA, Williams, DA, Engen, NW, Okafor, EC, Rini, BI, Mayer , IA, McDonald, EG, Lee, TC, Li P., MacKenzie, LJ, Balko, JM, Dunlop, SJ, …, Lofgren, SM (2021). הידרוקסיכלורוקין כטיפול מונע לפני חשיפה למחלת הקורונה 2019 (COVID-19) בעובדי שירותי בריאות: ניסוי אקראי. מחלות זיהומיות קליניות, 72(11), e835-e843. https://doi.org/10.1093/cid/ciaa1571

ריש, HA (2020). טיפול מוקדם במרפאות חוץ בחולי COVID-19 סימפטומטיים בסיכון גבוה שיש להגביר אותם באופן מיידי כמפתח למשבר המגיפה. כתב העת האמריקנית לאפידמיולוגיה, 189 (11), 1218-1226. https://doi.org/10.1093/aje/kwaa093

ריש, HA (2021, 17 ביוני). הידרוקסיכלורוקין בטיפול מוקדם בחולי חוץ בסיכון גבוה COVID-19: עדות ליעילות ובטיחות. EarlyCovidCare.org, https://earlycovidcare.org/wp-content/uploads/2021/09/Evidence-Brief-Risch-v6.pdf

Risch, H., Bhattacharya, J., Alexander, PE (2022, 23 בינואר). יש לסיים את מצב החירום, עכשיו. מכון ברונסטון. https://brownstone.org/articles/the-emergency-must-be-ended-now/

Sackett, DL, Rosenberg, WMC, Gray, JAM, Haynes, RB, & Richardson, WS (1996). רפואה מבוססת ראיות: מה זה ומה זה לא. BMJ, 312, סעיף 71. https://doi.org/10.1136/bmj.312.7023.71

סקיפר, CP, Pastick, KA, Engen, NW, Bangdiwala, AS, Abassi, M., Lofgren, SM, Williams, DA, Okafor, EC, Pullen, MF, Nicol, MR, Nascene, AA, Hullsiek, KH, Cheng , MP, Luke, D., Lother, SA, MacKenzie, LJ, Drobot, G., Kelly, LE, Schwartz, IS, …, Boulware, DR (2020). Hydroxychloroquine במבוגרים שאינם מאושפזים עם COVID-19 מוקדם: ניסוי אקראי. Annals of Internal Medicine,, 173 (8), 623-631. https://doi.org/10.7326/M20-4207

Tenforde, MW, Patel, MM, Gaglani, M., Ginde, AA, Douin, DJ, Talbot, HK, Casey, JD, Mohr, NM, Zepeski, A., McNeal, T., Ghamande, S., Gibbs, KW, Files, DC, Hager, DN, Shehu, A., Prekker, ME, Erickson, HL, Gong, MN, Mohamed, A., …, Self, WH (2022). דו"ח שבועי תחלואה ותמותה, 71(4), 118-124. https://www.cdc.gov/mmwr/volumes/71/wr/mm7104a2.htm

Tigas, M., Jones, RG, Ornstein, C., & Groeger, L. (2019, 17 באוקטובר). דולרים עבור Docs. איך דולרים בתעשייה הגיעו לרופאים שלך. ProPublica. https://projects.propublica.org/docdollars/

Wacholder, S. (1986). רגרסיה בינומית ב-GLIM: הערכת יחסי סיכון והפרשי סיכון. כתב העת האמריקנית לאפידמיולוגיה, 123 (1), 174-184. https://doi.org/10.1093/oxfordjournals.aje.a114212

Whelan, R. (2020, 3 באוגוסט). 2020-08-03 - CNN COVID עם ראיון הארווי ריש, אפידמיולוג ייל [וִידֵאוֹ]. יוטיוב. https://www.youtube.com/watch?v=gGO6Ke81bUQ

מד עולם. (2022, 15 בנובמבר). סך כל מקרי הקורונה באוסטרליה. מד עולם. https://www.worldometers.info/coronavirus/country/australia/