מחקרים – הטוב, הרע והמכוער

מחקרים – הטוב, הרע והמכוער.

בטח יוצא לכם להתקל בחיי היום יום שלכם במחקרים כאלה ואחרים. כמעט בכל מהדורת עיתון יש כותרות מרעישות על תוצאות של מחקר כזה או אחר, ועל ההשלכות וההמלצות הנובעות ממנו. ים של אינפורמציה. אבל לא כל מחקר ומסקנה הם דג זהב – חלק אכן כאלה, חלק סתם דגים וחלק דגים רקובים שכדאי להתרחק מהם. 

  • איך נדע שהמחקר שאנחנו קוראים הוא נכון?
  • איך נדע לזהות שהמחקר או ההמסקנות שלו מוגזמים במקרה הטוב ושקריים במקרה הרע?
  • לאיזה כדאי להתייחס ברצינות, ולאיזה לא?

אלה הם שאלות ששאלתי את עצמי – והחלטתי לחמש את עצמי בידע שיעזור לי, ולכם – לדעת האם המחקר שאתם קוראים שווה משהו. הפוסט הזה נעבור בקצרה על מאפיינים של מחקר טוב, של מחקר רע וגם על הצדדים האפלים של העולם הזה.

אז, מה זה מחקר?

זהירות: הגדרה לפניכם – ע”פ ויקיפדיה, מחקר זוהי עבודה רשמית הנעשת באופן שיטתי ע”מ להגדיל את מצבור הידע האנושי ואת אופן יישומו. מחקר משמש לגילוי וביסוס עובדות, לחזור ולאשר תוצאות ניסויים קודמים, לפתור בעיות קיימות וחדשות, לתמוך בתאוריה כזו או אחרת. על מנת שהמחקר יהיה קביל, בין היתר, הוא חייב להיות ניתן לשחזור – מבחינת מהלך הניסוי ותוצאותיו. קיימים מחקרים כמעט בכל תחום אפשרי – מדעי, הומני, אומנות, כלכלי, חברתי, עסקי ועוד. אותנו כמובן, מעניין המחקר המדעי הקליני.

במילותיו הפשוטות של קרסוול – “מחקר הוא תהליך של שלבים המשמשים לאיסוף וניתוח מידע – כדי להגדיל את הבנתינו על נושא או בעיה מסויימת”. שלושה שלבים פשוטים מהווים את ליבו של כל מחקר:

  1. שאל שאלה (ואפילו זרוק איזו היפוטזה, או השערה, על התוצאות).
  2. אסוף מידע כדי לענות על השאלה.
  3. נתח את המידע ותענה על השאלה.

זה נשמע מאוד אצילי ותמים, אבל לצערינו גם מדע יכול לשמש לדברים רעים, בין אם מחוסר מקצועיות, מטעות אנוש, או – וזה לא נדיר כמו שהיינו רוצים – בכוונות זדון. בהמשך אסביר ואביא דוגמאות לכך. בנימין דיזראלי אמר פעם “ישנם שלושה סוגים של שקרים: שקרים, שקרים ארורים, וסטטיסטיקה”. אמר וצדק.

אז ממה עלינו להיזהר? איך נזהה מחקר איכותי ואמין? איך כיצד נזהה מוקשים סטטיסיטיים? איך נדע להצביע על תוצאות שגויות או חשודות?

הטוב –

המאפיינים של מחקר טוב ואיכותי.

1. השאלה תהיה ברורה, הבעיה תהיה מוגדרת –

המחקר יבוא לבדוק ולענות על שאלה מסויימת מאוד, עם מספר מוגדר של משתנים, קנה מידה ברור, מתודולוגיה ושיטות ניסוי בהירות וניתנות לשחזור. כלומר, מחקר עם שאלה מאוד פתוחה כמו “מה גורם לנו להשמנה?” המבוסס על סקר רב משתנים עלול להגיע למסקנה שלהתקלח יותר משלוש פעמים ביום גורם להשמנה.

2. בקרה ושליטה –

במיוחד כאשר באים לחקור קשרים והשפעה בביולוגיה, כימיה ופיזיולוגיה – בקיצור, כל מה שקשור לגוף האדם ותפקודו. אם נרצה לבחון מה ההשפעה של תרופה מסויימת, הורמון, ויטמין, מינרל, אוכל מסויים או כל דבר אחר – צריך להכיר בעובדה שבני אדם הם לא עכברי מעבדה ואי אפשר לשלוט בכל גורם בחייהם. לכן מחקר איכותי יבחן לפחות 2 קבוצות – אחת שיערכו עליה את הניסוי (קבוצת ניסוי), ואחת שלא (קבוצת בקרה). כך ניתן להשוות את התוצאות של שתי הקבוצות ולהגיע מסקנות.

3. אפקט הפלצבו –

אני מניח ששמעתם את האפקט הזה. בקצרה – עצם הציפיה שהתרופה שקיבלת תבריא אותך – אכן מבריאה אותך למרות שקיבלת תרופת דמה (אגב, יש גם אפקט הפוך שנקרא נוצבו – בו מצבך מדרדר). היום, למרות שההסבר מאחורי האפקט הזה לא הוסבר באופן מלא, בניסויים קלינים משלבים עוד קבוצה המקבלת “תרופת דמה” שלא מכילה כל חומר פעיל. בסופו של ניסוי, ניתן להשוות את התוצאות משלוש הקבוצות – קבוצת הבקרה, קבוצת הניסוי וקבוצת הפלצבו.

4. סמיות כפולה – Blind Experiment –

זהו נוהל מחמיר לניסויים, שנועד לבטל או להקטין דעות קדומות, פלצבו, הטיית אישור – כל דבר שעצם הידיעה או הציפיה לקבל תוצאה מסויימת – עלולה להשפיע על התנהלות החוקרים או הנחקרים. בניסויים כאלה, לא החוקרים ולא הנחקרים יודעים לאיזה קבוצה הם משתייכים – הבקרה או הניסוי. לפעמים הנחקרים גם לא יידעו את מהות הניסוי. רק לאחר איסוף התוצאות המידע נחשף.

הרע –

איך נדע שהניסוי או מסקנותיו קפצו טיפה מעל הפופיק.

1. נדע להבדיל בין קשר לסיבתיות Association/Correlation Vs. Causation –

זוהי טעות נפוצה שחוזרת על עצמה הרבה, בעיקר במחקרי תצפית וסקר. נסביר:

אסוציאציה (קישור) וקורלציה: א’ וב’ נוטים לקרות כשהם ביחד יותר ממה שאמור לקרות באופן מקרי. למה?

  • כי אולי זה היה באמת מקרי,
  • או ש-א’ גורם ל-ב’ (לפעמים),
  • או ש-ב’ גורם ל-א’ (לפעמים),
  • או שמשהו אחר גורם לזה (לפעמים).

דוגמא: שינה בנעליים מקושרת להליכה עם כאב ראש. למה?

  • כי זה יצא במקרה
  • כי שינה עם נעליים גורמת לכאב ראש
  • כי הכאב ראש גורם לנו לישון עם נעליים.
  • כי ללכת לישון שיכור גורמת לשניהם ביחד.

שורה תחתונה? סטטיסטיקות יכולות רק להצביע על קשר. מעולם לא על סיבתיות – כלומר אי אפשר להוכיח ש-א’ גרם ל-ב’. מחקרים תצפיתיים לא מוכיחים קשר של סיבה ותוצאה, לא משנה כמה טוב הם נראים.

2. נדע לזהות מתי הכללה (Generalization) היא לגיטימית –

הכללה – לקחת קבוצה שמייצגת פלח אוכלוסיה מסויים, לערוך עליה ניסוי, ואת התוצאה להטיל על כל האוכלוסיה.
הכלל הוא להבין שהפלח המסויים הזה מייצג את כלל האוכלוסיה, ומתי הוא לא.

נקח לדוגמא פרופסור בבן גוריון המעוניין לגלות מה אחוז הצמחוניים והטבעוניים בקרב האוכלוסיה. הפרופסור מעוניין לחסוך בזמן, כסף וטרחה אז הוא פשוט מציג את השאלה הזו במבחני סוף לכל הסטודנטים שלו. ואז הוא יוצא בהצהרה לעיתונות – “בישראל יש 12% צמחוניים ו4% טבעוניים מקרב האוכלוסיה” – אתם רואים מה שגוי בזה?

יש הרבה גורמים משותפים בין הסטודנטים שלו – כגון שגרת יום, קבוצת גיל, רמת השכלה – והוא לא יכול להשליך את התוצאות לכל האוכלוסיה באותה המדינה, שמגוונת הרבה יותר, רק כי הוא התעצל לערוך את הניסוי לפלח אוכלוסיה מייצג ואקראי.

3. ניסויים במבחנה הם… ניסויים במבחנה.

אני מקווה שזה לא מפתיע אף אחד. לבודד תאים או אוגניזמים מסויימים ולראות איך משהו משפיע עליהם במבחנה – לא בהכרח אומר שאותו “המשהו” ישפיע עליהם באותה הדרך כאשר הם יהיו כחלק ממערכת ביולוגית, כמו הגוף שלנו. לדוגמא, מחקר מצהיר ש”שתייה של כוס יין אדום ביום מורידה את הסיכוי לסרטן השד”.
ואם נבדוק את המחקר הזה, נגלה שהם בדקו את השינוי באיזה אנזים שהזליפו עליו כימיקל שמצויי בקליפת ענבים על תאים סרטניים המונחים על צלחת פטרי במעבדה חשוכה.

4. נבין שמה שנכון לחיה אחת לא בהכרח נכון לחיה אחרת –

הרבה מחקרים מתבצעים על עכברים (וחיות אחרות) מסיבות כאלה ואחרות. למרות שרב המשותף בין כל האורגניזמים על כדה”א, ובטח בין היונקים – האנטומיה, הפיזיולוגיה והגנטיקה מספיק שונה. כל עוד המחקר לא נערך על בני אדם, אי אפשר להוכיח את תוקפו.

 והמכוער –

כמו שציינתי בהתחלה, השימוש המחקרים ובסטטיסטיקה לא תמיד תמים ולמטרה טובה. ולא חסר דוגמאות.

לרוב, מספיק להעלים חלק מתוצאות הניסוי כדי להגיע למסקנה שגויה, אליה המדען חותר. דוגמא טובה לכך, היא כמובן המקרה של אנסל קיז – המדען שהמחקר שלו הוכיח ששומן רווי זה רע, והוביל ליצירת פירמידת המזון הידועה לשמצה. פה יש פוסט שמסביר את זה בצורה יפה אם כי ארוכה. בכל מקרה, תמונה אחת מייצגת את זה נהדר:


איך העלמת נתונים מעוותת מידע..


חוץ מזה, לפעמים מספיק שאנשים יקבלו עצה מסמכות כלשהי כדי להאמין לה באופן עיוור. אם נלך לדיאטנית מצוייה, נשמע את המנטרה הרגילה של 5 ארוחות קטנות ביום, פחממות מורכבות וכו’. או את התגובה של כמעט כל רופא לתוצאות של כולסטרול גבוה – קח ססטינים! כמובן שהם לא טורחים להסביר לכם שסטטנים גורמים לנזק בעצבים ובתפקוד המוחי, מעלים את הסיכוי שלכם להפוך לסוכרתיים כמעט ב-50% יותר, גורמים לאיבוד שריר, מורידים את רמת הטוסטסטרון, ומי יודע מה עוד.

אני מבין אותם לגמרי – אלה הם אנשים שהקדישו חלק נכבד מחייהם כדי לחקור וללמוד נושא מסויים, והם משתפים את הידע הזה. הבעיה היא, שיכול להיות שהידע הזה הוא לא מדוייק, שגוי, או הכי גרוע – מעוות ע”י אינטרסים אחרים, לרוב כלכליים.

וזה מה שמוביל אותי לנקודה האחרונה – האינטרס הכלכלי של חברות תרופות גורם לכך שהן משווקות תרופה מסויימת בכל מחיר – גם אם התרופה לא יעילה, או שהיא בכלל גורמת לנזק. יותר תרופות נמכרות = יותר כסף = בעלי המניות בחברה מרוצים. אז מה שזה בכלל הורג אנשים?

מחקרים הממומנים ע”י תעשיית התרופות מראות תוצאות חיוביות פי 4 יותר מאשר מחקרים עצמאיים. ואיך הם עושות את זה? יש כמה דרכים:

  • ניסוי תרופה חדשה מול פלצבו –
    השוק רווי מאוד בתרופות כמעט לכל מצב ולכל חולי. כשחברת תרופות רוצה להוציא תרופה חדשה, היינו מצפים שהיא תבחן אותה מול התרופה הכי טובה הקיימת כבר. אבל לא – שוב ושוב חברות התרופות מעמידות למבחן תרופה חדשה מול פלצבו, ושם כמובן היא מצליחה בגדול. התרופה נכנסת לשוק.
  • ניסוי תרופה חדשה מול תרופה מתחרה במינון גבוה או נמוך מדיי –
    אם תתנו למישהו יותר מדיי מתרופה מסויימת כנראה שיהיו לו תופעות לוואי. אם תתנו לו מעט מדיי – לא יהיו תוצאות. כך או כך, התרופה החדשה יוצאת באור חיובי.
  • והמכוער מכל – העלמת המידע השלילי –
    אם המחקרים מראים שיש תופעות לוואי שליליות לתרופה כלשהי – החברה תעשה הכל כדי להסתיר את זה מפני ארגונים, רופאים ופציינטים. היו כבר מקרים שהעלימו יותר מ-75% מתוצאות תרופות. זה כמו שאני אטיל מטבע 100 פעם, ואסתיר מכם חצי מהתוצאות. אתם עלולים להאמין שיש לי מטבע ששני צדיו הם פלי – מה שכמובן שגוי. העלמת תוצאות ניסויים בתרופות גורמות לכך שאף אחד לא יודע מה האפקט המלא של התרופה שהרופאים ממליצים עליה ושאנחנו לוקחים.

בשורה התחתונה…

צריך להזהר מאוד כאשר מתהלכים בעולם האקדמי. לא לקחת כל מחקר במובן מאליו, אלא לנסות לשאול את עצמכם האם המחקר אמין, האם בוצע באמצעים כשרים, והאם המסקנה לא מוגזמת. זה במיוחד תקף למחקרים או ניסויים שתואמים את תפיסת עולמינו, מחקרים שנוח לנו מאוד להאמין בהם באופן ביקורתי.
בנוסף, צריך להזהר בכל מה שקשור לתרופות – בעולם חדש ומופלא זה, גם אם אנחנו לא רוקחים גדולים, אפשר להכנס לאינטרנט, לחפש מידע על התרופות שרושמים לנו ולזהות סכנות אם יש כאלה.

נ.ב –

אל תפספסו את הפוסט של מיקי, הכותב על “מחקר סין” המפורסם. הוא גם מביא את הסיפור של בלוגרית שהיא לא מדענית, לא ביולוגית ולא סטטיסטיקאית – ועדיין מצליחה לשבור את המחקר הזה. דוגמא מצויינת לחשיבה ביקורתית.

This entry was posted in Uncategorized and tagged , , . Bookmark the permalink.

4 Responses to מחקרים – הטוב, הרע והמכוער

  1. הגר says:

    ולאד, תודה על פוסט חשוב. עכשיו יש לי מקור בעברית להפנות אליו אנשים.

  2. Pingback: צייד בודד בעולם חברתי | פליאו ישראלפליאו ישראל

  3. Pingback: דק"א - השילוש הקדוש

Leave a Reply

Your email address will not be published. Required fields are marked *