Cochrane נבדק עם תוצאות אבסורדיות

ב-17 בפברואר בודק עובדות איריה קרבלו-קרבג'ל, מדען מוח בהכשרתו, אך ככל הנראה ללא כל השכלה באפידמיולוגיה, פרסם "בדיקת עובדות" מאמר באתר משוב בריאות. בכותרת שלה, Carballo-Carbajal אומרת את ההצהרה הבאה: "מחקרים מרובים מראים שמסכות פנים מפחיתות את התפשטות COVID-19; סקירה של Cochrane לא מוכיחה אחרת."

מאמר זה נמצא כעת בשימוש על ידי חברות מדיה חברתית כדי לדכא את כל ההתייחסויות למחקר של Cochrane. נודע לי על כך ב-10 במרץ כאשר קיבלתי הודעה שפוסט של חבר בקבוצת פייסבוק שאני מנהל מכיל "מידע שקרי".

הפוסט התייחס לא דעה קטע על סקירת Cochrane ב- ניו יורק טיימס, פורסם ב-10 בפברואר. המשאב של "בודק עובדות עצמאי" אליו התייחס היה המאמר הנ"ל של Carballo-Carbajal. קבלת חותמת בדיקת עובדות יכולה להיות בעיה רצינית עבור עיתון, לא פחות מכך עבור מוסד מדעי. לכן זה לא הפתיע שכבר ב-10 במרץ פרסמה עורכת קוקרן, קארלה סוארס-וייזר הצהרה שמנסה להמעיט בתוצאות המחקר, וטענה בצורה שגויה שהמחקר נועד רק להעריך את היעילות של התערבויות לקדם לובש מסכה, בעוד שהדברים מצוינים בבירור מטרה של המחקר הוא להעריך את היעילות של ההתערבויות הפיסיות עצמן, לא רק את האפקטיביות של קידומן.

באותו היום ה ניו יורק טיימס פורסם לְחַבֵּר טוענים בכותרת שמסכות בהחלט עובדות, אבל ברובן מוקדש למריחת מחבר המחקר של קוקרן, ד"ר טום ג'פרסון. לדוגמה, המאמר טוען שג'פרסון הצהיר ב-an ראיון שאין שום הוכחה שנגיף ה-SARS-CoV-2 מועבר באוויר, בעוד שמה שהוא בעצם אומר זה שיש הרבה נתיבי העברה ויש צורך בראיות נוספות כדי לברר איך בדיוק מתרחשת ההעברה.

שרשרת אירועים זו היא דוגמה ברורה להחריד לאופן שבו פועלת תעשיית הצנזורה. זה מזעזע עוד יותר בהתחשב עד כמה פגום חמור מאמר "בדיקת העובדות" של Carballo-Carbajal הוא, עובדתית, לוגית ואתית.

1. איש הקש

Carballo-Carbajal מתחילה ביצירת איש קש, במקרה זה טענה המיוחסת לד"ר רוברט מאלון, בהתייחסו לאחרונה פוסט בבלוג שלו. תחת הכותרת "תביעה", הטענה לכאורה נאמרת כך: "מסכות פנים אינן יעילות בהפחתת התפשטות COVID-19 ומחלות נשימה אחרות, כך עולה מסקירת Cochrane". טענה זו, שצוטטה מלבד תמונה של ד"ר מאלון, לא נמצאת בשום מקום בפוסט שלו בבלוג.

כאילו זה לא מספיק, Carballo-Carbajal ממשיכה, ומציגה את מה שהיא מכנה "טענה מלאה:" סקירה "לא הצליחה למצוא אפילו 'השפעה צנועה' על שיעור הזיהום או התחלואה:" "ה-CDC הקצין בגדול את הראיות התומכות במנדטי המסכה ."

הבעיה עם זה היא שבעוד שד"ר מאלון מצוטט נכון בחלק הראשון של הפסקה, השני הוא משהו שהוא פשוט לא אומר בפוסט שלו בבלוג.

2. האד הומינם

לאחר מכן Carballo-Carbajal לוקחת על עצמה לתקוף את ד"ר מאלון, בטענה שהוא הפיץ "מידע מוטעה על חיסוני Covid-19", בהתייחס למאמר אחר, שפורסם גם הוא על ידי Health Feedback. עכשיו, במה מורכב המידע השגוי לכאורה, לפי אותו מאמר? ה מאמר הוא "בדיקת עובדות" של א וושינגטון טיימס מאמר דעה של ד"ר מאלון וד"ר פיטר נבארו שפורסם ב-2021, שם הם טוענים נגד מדיניות החיסונים האוניברסלית של ממשלת ארה"ב, בטענה שהיא מבוססת על ארבע הנחות פגומות. ראשית, שחיסון אוניברסלי יכול לחסל את הנגיף, שנית שהחיסונים יעילים מאוד, שלישית שהם בטוחים, ורביעית שחסינות מתווכת חיסון היא עמידה.

Carballo-Carbajal בקושי יכלה להיות פחות בר מזל עם ההתייחסות שלה. עכשיו ברור לגמרי שחיסון אוניברסלי לא יכול למגר את הנגיף, שהחסינות בתיווך חיסון דועכת מהר מאוד, אפילו עד כדי הפיכתה שלילית, כזיהום מחקרים והדבקה מחדש מחקרים כבר הראו. העובדה שהחיסונים אינם "(כמעט) יעילים לחלוטין", בציטוט המאמר של מאלון ונווארו, ברורה מזמן; זו למעשה הסיבה לכך שהם לא יכולים למגר את הנגיף.

לגבי הנקודה השלישית, זה מה שאומרים מאלון ונבארו מאמר: "ההנחה השלישית היא שהחיסונים בטוחים. עם זאת, מדענים, רופאים ופקידי בריאות הציבור מכירים כעת בסיכונים נדירים אך בשום אופן לא טריוויאליים. תופעות הלוואי הידועות כוללות מצבי לב ופקקת חמורים, הפרעות במחזור החודשי, שיתוק בל, תסמונת גיליין-באר ואנפילקסיס". במילים אחרות, הם לא בטוחים, יש להם הרבה ידוע תופעות לוואי נדירות, וזה בעצם הופך להיות יותר ברור ככל שעובר הזמן.

בקיצור, Carballo-Carbajal מנסה לפסול את ד"ר מאלון על ידי האשמתו ב"אינפורמציה שגויה" על משהו אחר מלבד נושא המאמר שלה. זוהי טקטיקת האד-הומינם הקלאסית כמעט אוניברסלית בקטעי "בדיקת עובדות". הכישלון שלה מרהיב, שכן כל פיסות ה"אינפורמציה המוטעות" לכאורה הן כעת עובדות מאומתות.

3. הטיעון

הסיכום העיקרי של Carballo-Carbajal (כולל "פרטים" ו-"key take away") הוא הבא:

הטענות כי מסכות פנים אינן יעילות בהפחתת התפשטות COVID-19 בהתבסס על סקירת Cochrane לא לקחו בחשבון את מגבלות הסקירה. בעוד שמשתמשים רבים הציגו סקירה זו כראיה האיכותית ביותר, המחקרים הבודדים שהיא העריכה השתנו מאוד מבחינת איכות, עיצוב המחקר, האוכלוסיות שנחקרו והתוצאות שנצפו, מה שמנע מהכותבים להסיק מסקנות מוחלטות כלשהן. 

ניסויים מבוקרים אקראיים נחשבים לתקן הזהב בעת הערכת היעילות של התערבות. עם זאת, סוג זה של מחקר יכול להשתנות מאוד באיכות, במיוחד בהתערבויות מורכבות כגון מסכות פנים, המשפיעות על מהימנות התוצאות. בהקשר זה, מדענים רבים סבורים שיש לראות בניסויים מבוקרים אקראיים חלק מראיות רחבות יותר, כולל עיצובי מחקר אחרים. כאשר לוקחים בחשבון את המחקרים הללו, ראיות מצביעות על כך ששימוש נרחב במסכות יכול להפחית את העברת הקהילה של SARS-CoV-2, במיוחד בשילוב עם התערבויות אחרות כמו שטיפת ידיים תכופה והתרחקות פיזית.

כעת אחלק את ההצהרה הזו לחלקים ואז אאמת את תקפותו של כל חלק. עלינו לזכור שהמקור שצוטט הוא הפוסט בבלוג של ד"ר מאלון, ולכן כל התייחסות ל"טענות" חייבת להיות לפוסט הבלוג של מאלון, שהוא המקור היחיד שצוטט. יש להתעלם מהפניות למקורות לא מזוהים, כגון "אתרים רבים ופוסטים ברשתות חברתיות" מהסיבה הברורה שלא מסופקים הפניות:

1. הצהרה: ד"ר מאלון טוען שסקירת Cochrane מראה שמסכות אינן יעילות בהפחתת התפשטות קוביד-19.

דיון: כפי שהוצג לעיל, ד"ר מאלון אינו טוען טענה זו. במקום זאת הוא טוען למחקר "לא הצליח למצוא אפילו 'השפעה צנועה' על שיעור הזיהום או התחלואה." יש הבחנה קריטית בין טענה ש-A לא עובדת לבין טענה ש-A לא הוכחה כעובדת. לשניהם אין אותה משמעות.

פסק דין: הצהרת קרבלו-קרבג'ל שקרית.

2. הצהרה: ד"ר מאלון אינו לוקח בחשבון את מגבלות הסקירה בעת טענה זו.

דיון: מלכתחילה, ד"ר מאלון אף פעם לא טוען את הטענה שהוזכרה, אלא טענה אחרת. למרות זאת, בפוסט בבלוג שלו הוא מצטט בבירור את הסתייגות מחברי המחקר על אי הוודאות לגבי ההשפעות של מסכות פנים: "הוודאות הנמוכה-בינונית של הראיות פירושה שהביטחון שלנו באומדן ההשפעה מוגבל, ושההשפעה האמיתית עשויה להיות שונה מההערכה הנצפית של ההשפעה."... "הסיכון הגבוה להטיה בניסויים, השונות במדידת התוצאות והיענות הנמוכה יחסית להתערבויות במהלך המחקרים פוגעים בהסקת מסקנות נחרצות והכללת הממצאים למגפת COVID-19 הנוכחית.  לכן זה לא נכון שד"ר מאלון "לא לקח בחשבון את מגבלות הסקירה."

פסק דין: הצהרת קרבלו-קרבג'ל שקרית.

3. הצהרה: "[ה]מחקרים הבודדים […] שהוערכו [בסקירה] השתנו מאוד מבחינת איכות, עיצוב המחקר, האוכלוסיות שנחקרו והתוצאות שנצפו, […] [מונעים] מהכותבים להסיק מסקנות מוחלטות כלשהן ."

דיון: ה ללמוד התוצאות ברורות: "ישנן עדויות בוודאות נמוכה מתשעה ניסויים (3,507 משתתפים) לכך שחבישת מסכה עשויה לשנות מעט או לא משנה את התוצאה של מחלה דמוית שפעת (ILI) בהשוואה לאי חבישת מסכה (יחס סיכון (RR) 0.99, 95 אחוזים. רווח בר סמך (CI) 0.82 עד 1.18. קיימות עדויות ודאות מתונות לכך שחבישת מסכה כנראה לא משנה את התוצאה של שפעת שאושרה במעבדה בהשוואה לאי חבישת מסכה (RR 0.91, 95% CI 0.66 עד 1.26; 6 ניסויים; 3,005 משתתפים). ... השימוש במכונת הנשמה N95/P2 בהשוואה למסכה רפואית/כירורגית כנראה לא משנה את התוצאה האובייקטיבית והמדויקת יותר של זיהום שפעת שאושר במעבדה (RR 1.10, 95% CI 0.90 עד 1.34; ראיות בוודאות בינונית; 5 ניסויים; 8,407 משתתפים).

תוצאות אלה חוזרות על עצמן במסקנות המחברים, ומוסיפות את כתב הוויתור כי "הסיכון הגבוה להטיה בניסויים, השונות במדידת התוצאות וההיענות הנמוכה יחסית להתערבויות במהלך המחקרים פוגעים בהסקת מסקנות נחרצות והכללת הממצאים למגפת COVID-19 הנוכחית."

כתב ויתור זה הוא הקש שעליו נאחזת קרבלו-קרבג'ל בכל כוחה. אבל כפי שהמחבר הראשי של המחקר הסביר, זה לא משנה את תוצאות המחקר, הוא רק קובע שהתוצאות עשויות להיות מושפעות מאי ודאויות הנובעות מהמגבלות של המחקרים שבהם נעשה שימוש. במילותיו שלו:

"זה נקרא זהירות, וזה נקרא להיות כנה עם הראיות שמצאנו. זו ההוכחה הטובה ביותר שיש לנו" (ראה התייחסות להלן).

נראה כאילו Carballo-Carbajal לא מבין את המשמעות של כתב ויתור במאמר מדעי; במקום זאת היא מנסה להשתמש בזה כדי לבטל את תוצאות המחקר ולגבות את טענתה שמסכות עובדות, למרות העדויות. כתב ויתור במחקר אינו מבטל את תוצאותיו.

פסק הדין: האמירה של קרבלו-קרבג'ל מטעה.

4. הצהרה: ניסויים מבוקרים אקראיים נחשבים לתקן הזהב בעת הערכת היעילות של התערבות.

דיון: ההתייחסות עליה מבוססת הצהרה זו היא הבלוג של ד"ר מאלון. אמנם האמירה הזו עשויה בהחלט להיות נכונה, אבל להסיק שמשהו בדרך כלל "נחשב לתקן הזהב" בהתבסס על דעתו של מדען אחד, היא טעות לוגית חמורה.

פסק הדין: ההצהרה של Carballo-Carbajal לא חוקית מבחינה לוגית.

5. הצהרה: לימודי תקן זהב משתנים מאוד באיכותם.

דיון: טענה זו אינה מגובה בשום ראיה. יכול להיות שזה נכון, ואולי לא.

פסק הדין: הצהרתו של קרבלו-קרבג'ל אינה נתמכת בראיות.

6. הצהרה: מדענים רבים סבורים שיש לראות בניסויים מבוקרים אקראיים חלק מראיה רחבה יותר.

דיון: המקור לכך הוא מאמר ב-The שיחה של שלושה אפידמיולוגים ומומחה אחד בבריאות ראשונית. המחברים בהחלט טוענים טענה זו, אך מבלי לצטט התייחסות כלשהי. לפיכך, הקביעה שהיא מבוססת על חוות דעת של "אפידמיולוגים רבים" היא פשוט שקרית. זוהי טענה של שלושה אפידמיולוגים ובהתחשב במספר העצום של אנשים עם הכשרה זו, המילה "רבים" בהחלט אינה מוצדקת. יש להוסיף שהפנייה למספרים (argumentum ad populum) היא שגיאה לוגית.

פסק הדין: הצהרתו של קרבלו-קרבג'ל אינה נתמכת בראיות. הרלוונטיות לכאורה שלו מבוססת על argumentum ad populum, שגיאה לוגית.

7. הצהרה: כאשר נלקחים בחשבון מחקרים שאינם עומדים בדרישות של מחקר תקן הזהב, הם מראים ששימוש נרחב במסכות יכול להפחית את העברת הקהילה.

דיון: זה כמובן נכון שבהורדת הסטנדרט אתה עשוי לקבל תוצאות שונות, אבל האמירה הזו בעייתית, שכן נראה ש-Carballo-Carbajal מסיקה ממנה את המסקנה שלמרות התוצאה של סקירת Cochrane, מסכות אכן מונעות שידור. . זה ניכר מקטע זה, לקראת סוף המאמר: "גוף הולך וגדל של ראיות מ-RCT ומחקרים תצפיתיים מצביעים על כך שחבישת מסכה עקבית יכולה להפחית ביעילות את התפשטותם של וירוסים נשימתיים כמו SARS-CoV-2 הן במוסדות הבריאות והן בקהילה. ... לעת עתה, מסכות פנים מהוות שכבת הגנה נוספת בנוסף לחיסון, שטיפת ידיים תכופה והתרחקות פיזית כאשר זרימת נגיפי הנשימה גבוהה".

המשמעות היא שהטענה של Carballo-Carbajal היא לא רק שמחקרים באיכות נמוכה מרמזים על משהו; ההצהרה הסופית מראה שהיא טוענת בבירור שמה שהם מציעים הוא באמת נכון. טענה זו ברורה עוד יותר בכותרת שלה: "מחקרים מרובים מראים שמסכות פנים מפחיתות את התפשטות COVID-19." הבדל עדין על פני השטח, אבל חשוב ביותר. זה אומר שמוצדק לנסח מחדש את ההצהרה המקורית כך: "כאשר נלקחים בחשבון מחקרים שאינם עומדים בדרישות של מחקר תקן הזהב, הם מראים ששימוש נרחב במסכות יכול להפחית את העברת הקהילה וזו מסקנה נכונה".

זה מביא אותנו לשאלה מדוע המחקרים באיכות נמוכה ציטוטי Carballo-Carbajal לא נכללו בסקירת Cochrane. למזלנו יש לנו א תמליל של ראיון מפורט בין המחבר הראשי של המחקר, ד"ר טום ג'פרסון (JF) וד"ר קארל הנגאן (CH), שבו נדון הדבר בפירוט:

CH. עכשיו תראה, אני הולך לקחת אותך למשימה כאן. במסקנות המחבר אנשים הולכים לקרוא את הסקירה הזו ולהתחיל להסתכל על זה ולהגיד, תראה, יש לנו את הראיות האיכותיות, יש לנו ניסויים מבוקרים אקראיים ובמיוחד ברמת המסכה שהם הולכים להגיד , תראה, אתה מראה בקהילה את חוסר ההשפעה הזה, אבל אתה מתחיל עם הסיכון הגבוה להטיה בניסוי, שונות במדידת התוצאות והיענות נמוכה יחסית עם ההתערבות במהלך המחקרים, מה שמקשה עלינו להסיק מסקנות נחרצות . עכשיו אני דוחף את הנקודה הזו כי התשובה הברורה אז היא ללכת לכל המחקרים התצפיתיים שבהם אנשים עשו סקירות שיטתיות ובהחלט הסיקו מסקנות נחרצות לגבי מה לעשות. אז האם אתה יכול פשוט לפרט מה זה אומר בהקשר של 78 ניסויים - זה הרבה ראיות לניסוי ביקורת אקראיים - האם אתה יכול לפרט מה זה אומר?

TJ. זה נקרא זהירות, וזה נקרא להיות כנה עם הראיות שמצאנו. זו ההוכחה הטובה ביותר שיש לנו, אבל בניגוד לחלק מהאידאולוגים שדוחפים את הרעיון שמחקרים לא אקראיים, מחקרים תצפיתיים יכולים לתת תשובות, חלקם מעלים תשובות גורפות, הצהרות גורפות, ודאויות, שפשוט לא שייכות ל מַדָע. מדע עוסק לא בוודאות, במדע עוסק בחוסר ודאות, הוא בניסיון לעבור על סדר היום, ולצבור ידע. השימוש במחקרים לא אקראיים בהערכת וירוסים נשימתיים של התערבויות עם וירוסים נשימתיים פירושו שאנשים לא מבינים, אלה שעשו את המחקרים האלה לא מבינים את המשחק של כמה גורמים. למשל העונתיות, למשל היציאה והיציאות הגחמנית של הסוכנים האלה, הם כאן יום אחד ונעלמו למחרת. אם אתה מסתכל על התנהגות ה-SARS-CoV-2 במעקב אחר בריטניה במשך 12 החודשים האחרונים, היא עולה ויורדת, והיא פשוט בלתי תלויה לחלוטין בכל התערבות, והיא גם עולה מהר מאוד ומהר מאוד למטה. מחקרים תצפיתיים אינם יכולים להסביר זאת. כמו כן, חלק גדול מאוד מהמחקרים התצפיתיים הם רטרוספקטיביים, ולכן הם נתונים להטיית היזכרות חסרת רחמים; חוקרים מסיקים מסקנות מנתונים שקיבלו משאלות כמו "האם אתה יכול לזכור לפני חודש כמה פעמים לבשת מסכה" או "מה עשית על זה או מה עשית ביום השני" בלי לנהל יומן. זה פשוט לא מדע. להסיק מדדים, התרחקות, כאשר המחקרים המקוריים לא עשו דבר כזה. אז זו רק רשימה אינסופית של הטיות שלא ניתן לקחת בחשבון על ידי מחקרים תצפיתיים. והדרך היחידה שעלינו לענות על שאלות היא להפעיל ניסויי ביקורת אקראיים פרוספקטיביים גדולים כדי לענות על שאלה ספציפית באוכלוסייה ספציפית."

כפי שמסביר כאן ג'פרסון, המגבלות של מחקרים תצפיתיים הופכות את זה כמעט בלתי אפשרי להסיק מהם את המסקנה ש-Carballo-Carbajal כן. Carballo-Carbajal מצטטת מספר מחקרים תצפיתיים כדי לתמוך בטענתה. לא אעבור על כל אלה כאן, אבל הסתכלות בכמה דוגמאות אמורה להספיק כדי לספק ראיות לכמה מהבעיות שבהן ג'פרסון דן, כמו גם להפריך כמה מהמסקנות הלא מבוססות של קרבלו-קרבג'ל.

למשל אחד המחקרים שצוטטו, Wang et al, מגיע למסקנה ששימוש במסכת פנים על ידי המקרה הראשוני ואנשי הקשר עם המשפחה לפני שהמקרה העיקרי פיתח תסמינים היה יעיל ב-79 אחוזים בהפחתת ההעברה. זהו מחקר תצפיתי רטרוספקטיבי שבו ההוכחות לשימוש במסכות מבוססות אך ורק על דיווח עצמי של המשתתף לאחר מעשה. 

עוד אחד, מלו וחב'. מראה כיצד חלקיקים ויראליים מצטברים במסכות, אך Carballo-Carbajal לוקח זאת כראיה לכך "[א]נתונים זמינים מצביעים על כך שחבישת מסכה יעילה יותר בשילוב עם אמצעי בקרה אחרים, כמו התרחקות פיזית ושטיפת ידיים תכופה."

לסיכום, Carballo-Carbajal טוענת שמכיוון שמחקרים באיכות גבוהה אינם מוכיחים את יעילותן של מסכות נגד שידור, אז מחקרים תצפיתיים לא אמינים, אשר אינם נכללים במטא-סקירה של "תקן הזהב", בדיוק בגלל חוסר האמינות שלהם, מוכיחים מה הגבוה מחקרים איכותיים אינם מצליחים להוכיח.

פסק דין: ההצהרה של Carballo-Carbajal (הנוסחה מחדש) שקרית. בלי ניסוח מחדש זה לא רלוונטי.

8. הצהרה: ההשפעה של שימוש במסכה גדולה יותר בשילוב עם התערבויות אחרות.

דיון: האמירה הזו בעייתית. כבר ברור מהעדויות האיכותיות שסיפקה סקירת Cochrane שהטענה שמסכות מפחיתות את השידור אינה מוכחת. המשמעות היא שהטענה שהם מוסיפים להגנה שמספקת התערבויות אחרות חייבת להיות שגויה.

פסק דין: הצהרת קרבלו-קרבג'ל שקרית.

Carballo-Carbajal מתחיל בייחוס כוזב לד"ר רוברט מאלון שתי טענות שהוא מעולם לא העלה. הטענות הכוזבות הללו הופכות לבסיס ל"בדיקת העובדות" שלה.

לאחר מכן היא מאשימה בטעות את ד"ר מאלון בהצהרות כוזבות בנוגע לעניין אחר, טיעון אד הומינם שאינו רלוונטי לנושא המאמר.

מתוך שמונה הטענות שהעלתה קרבלו-קרבג'ל בסיכומה, מגובות בטקסט הראשי שלה, ארבע הן שגויות בעליל, אחת לא חוקית מבחינה לוגית, אחת מטעה ושתיים אינן נתמכות בראיות כלשהן, שמתוכם אחת מבוססת על גם טעות לוגית.

בהתחשב כיצד מאמר פגום חמור זה משמש כעת, ככל הנראה, כדי לדכא הפצת מאמר מדעי חשוב, כדי ללחוץ על העורך הראשי של Cochrane לטעון טענות שווא לגבי מטרת העיתון ולהמעיט בתוצאותיו, ולצנזר סקירה של הממצאים של עיתון מיינסטרים חשוב, ברור שיש צורך דחוף לפעול בתקיפות נגד תעשיית "בדיקת העובדות". הרמה שאליה עלתה הצנזורה הזו היא איום ברור ונוכח על המחקר והפיתוח המדעיים.