חלק א: מחקר ונתונים · פרק 7

מערכי מחקר ודגימה

לפני שאוספים נתון אחד, מחליטים שלוש החלטות: מי ישתתף, איך הוא יגיע לקבוצה שלו, וכמה פעמים נמדוד אותו. ההחלטות האלה קובעות מה המחקר יוכל לומר בסוף, הרבה יותר מכל ניתוח סטטיסטי. בפרק הזה נלמד אותן, ונבחן לעומק את המחקר שמלווה את הספר.

שאלת הפתיחה

בתי הספר במחקר שלנו הוגרלו לקבוצות. אז זה ניסויExperiment?

כמעט. ההגרלה היא בדיוק מה שהופך מחקר לניסוי, אבל במחקר שלנו הוגרלו רק שלושה בתי ספר, אחד לכל קבוצה. בסוף הפרק תדעו להסביר למה זה משנה, ומה החוקרים עשו כדי לחזק את המסקנות.

בסוף הפרק תוכלו

להבחין בין ניסוי, מעין־ניסויQuasi-experimental design ומחקר מתאמיCorrelational study.
להבחין בין מערך בין־נבדקיBetween-subjects design, תוך־נבדקיWithin-subjects design ומעורב, ולדעת מה היתרונות והסכנות של כל אחד.
להבחין בין דגימה אקראית להקצאה אקראיתRandom assignment, ולהכיר שיטות דגימה.
לזהות איומים על התוקף הפנימי והחיצוני של מחקר.

ניסוי, מעין־ניסוי ומחקר מתאמי

ניסוי: החוקר קובע את המשתנה הבלתי תלוי ומגריל מי יקבל מה. מעין־ניסוי: החוקר קובע את המשתנה הבלתי תלוי, אבל בלי הגרלה של המשתתפים עצמם (למשל, קבוצות קיימות). מחקר מתאמי: החוקר רק מודד.

בפרק 5 ראינו שההבדל בין ניסוי למחקר מתאמי הוא מי קבע את ערכי המשתנה הבלתי תלוי. יש גם סוג שלישי, באמצע, ובמחקר בחינוך הוא נפוץ מאוד. שתי שאלות מבדילות ביניהם:

המערך	החוקר קובע את המשתנה הבלתי תלוי?	המשתתפים מוגרלים לקבוצות?	דוגמה
ניסוי	כן	כן	60 תלמידים מוגרלים לתרגול נשימה או לקריאה
מעין־ניסוי	כן	לא: קבוצות קיימות, כמו כיתות או בתי ספר	כיתה אחת מקבלת תוכנית, כיתה מקבילה משמשת ביקורת
מחקר מתאמי	לא	לא	מודדים קשר עם המורה וחרדה, כמו שהם

למה לא תמיד עושים ניסוי? כי לפעמים אי אפשר. אי אפשר להגריל מגדר, השכלת הורים או הפרעת קשב. ולפעמים אפשר, אבל לא בפועל: תוכנית שמלמדים בכיתה מגיעה לכל הכיתה, וקשה לתת אותה לחצי מהתלמידים ולא לחצי השני. זו הסיבה שהרבה מחקרי התערבות בבתי ספר הם מעין־ניסויים.

בדקו את עצמכם3 שאלות

1.חוקר בודק אם תלמידים עם הפרעת קשב חרדים יותר מתלמידים בלי הפרעת קשב. מה המערך?

2.מורה מגרילה 40 תלמידים משכבה ה׳: 20 יפתרו מבחן עם מוזיקה ברקע, ו־20 בשקט. מה המערך?

3.מנהלת רוצה לבדוק תוכנית למניעת בריונות. יש לה ארבע כיתות ד׳. הציעו מעין־ניסוי. מה היה צריך כדי שזה יהיה ניסוי, ולמה קשה לעשות את זה?

בין־נבדקי, תוך־נבדקי, ומעורב

בין־נבדקי: כל משתתף נמדד בתנאי אחד, ומשווים בין קבוצות. תוך־נבדקי: כל משתתף נמדד בכל התנאים, ומשמש ביקורת לעצמו. מעורב: גם וגם, כמו קבוצות שנמדדות לפני ואחרי.

אפשר לשאול את אותה שאלה בשתי דרכים. נניח שבודקים תרופה להורדת חום. בדרך אחת, קבוצה אחת מקבלת 2 מ"ג, קבוצה אחרת 4 מ"ג, וקבוצה שלישית פלצבו, כלומר גלולה בלי חומר פעיל. זה מערך בין־נבדקי (between subjects): המשתנה הבלתי תלוי מחלק את הנבדקים לקבוצות. בדרך השנייה, אותם אנשים מקבלים 2 מ"ג, שבוע אחר כך 4 מ"ג, ושבוע אחר כך פלצבו. זה מערך תוך־נבדקי (within subjects): כל אחד משמש ביקורת לעצמו.

למערך התוך־נבדקי יש יתרון גדול: ההבדלים בין אנשים, שהם הרבה פעמים מקור הרעש הגדול ביותר (כלומר, השונות שלא קשורה למה שבודקים), יוצאים מהחשבון. נראה את זה בפרק 21: אותו הבדל בין לפני לאחרי יוצא מובהק הרבה יותר כשמשווים כל תלמיד לעצמו. קרוב אליו מאוד הוא מערך של זוגות מותאמים: אנשים שונים, שמזווגים לפי תכונה משותפת, כמו אב ובנו, בני זוג, או שני תלמידים עם אותו ציון במבחן קודם. גם אותם מנתחים כמדגמים תלוייםDependent samples, במבחן t למדגמים מזווגיםPaired-samples t test (פרק 21).

אבל יש לו גם סכנות. מי שנמדד פעמיים כבר מכיר את השאלון, צבר ניסיון, או התעייף. ולפעמים התנאי הראשון "דולף" לשני: אי אפשר לתת פלצבו אחרי חיסון, כי החיסון כבר עשה את שלו. השפעה כזו נקראת השפעת העברה (carry-over).

דוגמה: מלטונין במעבדת שינה

במחקר על מלטונין, כל משתתף ישן במעבדה שני לילות: לילה אחד עם מלטונין, ולילה אחד עם פלצבו. אבל ידוע שבלילה הראשון במעבדה ישנים גרוע יותר: מקום חדש, חוטים, לחץ. אילו כולם היו מקבלים פלצבו בלילה הראשון, המלטונין היה נראה טוב יותר ממה שהוא.

הפתרון נקרא איזון סדרCounterbalancing (counterbalancing): חצי מהמשתתפים מקבלים פלצבו ואחר כך מלטונין, וחצי בסדר ההפוך. כך השפעת "הלילה הראשון" מתחלקת שווה בין שני התנאים. ומוסיפים לקובץ עמודה שאומרת באיזה סדר כל משתתף היה, כדי לבדוק בניתוח אם הסדר השפיע. ואם אין השפעה של הסדר, ההבדל הוא השפעה נקייה של המלטונין.

עם הרבה תנאים, איזון מלא נעשה בלתי אפשרי: עם שישה תנאים יש 6 × 5 × 4 × 3 × 2 × 1 = 720 סדרים אפשריים. לכן בוחרים כמה סדרים, כך שכל תנאי מופיע בכל מקום ברצף אותו מספר פעמים. שיטה כזו נקראת ריבוע לטיני.

והמערך הנפוץ ביותר במחקרי התערבות הוא מעורב: יש בו משתנה בין־נבדקי, הקבוצה, ומשתנה תוך־נבדקי, הזמן. במחקר שלנו, שלוש קבוצות (בין־נבדקי) נמדדו שלוש פעמים: לפני, אחרי ומעקב (תוך־נבדקי). שימו לב שבקובץ אין עמודה שנקראת "זמן". הזמן נמצא בהבדל בין העמודות anx_pre, anx_post ו־anx_fu. בפרק 8 נראה איך בונים קובץ כזה, ובפרק 35 איך מנתחים אותו.

למה לא מספיק למדוד לפני ואחרי?

מחקר עם קבוצה אחת, שנמדדת לפני התוכנית ואחריה, נראה פשוט וחסכוני. אבל אם מדדו בחורף ואחר כך באביב, אולי מצב הרוח השתפר בגלל מזג האוויר. אם עברה חצי שנה, אולי הילדים פשוט התבגרו. ובכל מקרה, מי שממלא שאלון בפעם השנייה כבר מכיר אותו. בקובץ שלנו, למשל, נראה בפרק 21 שגם בקבוצת הביקורת שביעות הרצון עלתה. לכן כמעט תמיד צריך קבוצת ביקורת, שנמדדת באותם זמנים בדיוק.

בדקו את עצמכם4 שאלות

1.במחקר תוך־נבדקי, כל תלמיד פותר תרגילים בשלושה תנאים: בשקט, עם מוזיקה ועם רעש. כמה סדרים אפשריים יש לאיזון סדר מלא?

2.בקובץ המחקר משווים פעם אחת את anx_pre של בנים לבנות, ופעם אחרת את anx_pre ל־anx_post אצל אותם תלמידים. מה סוג ההשוואה בכל פעם?

3.חוקר משווה שתי שיטות הוראה. הוא מזווג תלמידים לפי הציון במבחן קודם, ומכל זוג שולח אחד לשיטה א ואחד לשיטה ב. מה המערך?

4.חוקרת רוצה להשוות שיטת קריאה חדשה לשיטה ישנה, אצל תלמידי כיתה א׳ שעוד לא קוראים. למה לא כדאי לבנות מערך תוך־נבדקי, שבו כל ילד לומד קודם בשיטה אחת ואחר כך בשנייה?

אוכלוסייה, מדגם ודגימהPopulation · Sample

אוכלוסייה: כל מי שרוצים ללמוד עליו. מדגם: מי שנמדד בפועל. דגימה אקראית (מי נכנס למחקר) מאפשרת להכליל לאוכלוסייה. הקצאה אקראית (מי מקבל איזה תנאי) מאפשרת להסיק על סיבה. אלה שני דברים שונים.

האוכלוסייה היא כל הפרטים שעליהם רוצים לדעת משהו: למשל, כל תלמידי כיתות ד׳ ו־ה׳ בישראל. המדגם הוא החלק שבאמת נמדד: 200 תלמידים בשלושה בתי ספר. כל הסטטיסטיקה ההיסקית, מפרק 17 ואילך, עוסקת בשאלה אחת: מה מותר להסיק מהמדגם על האוכלוסייה.

מספר שמתאר את האוכלוסייה נקרא פרמטר, למשל הממוצע באוכלוסייה, . מספר שמתאר את המדגם נקרא סטטיסטי, למשל ממוצע המדגם, . את הסטטיסטי אנחנו מחשבים. את הפרמטר אנחנו מנסים לנחש ממנו.

שיטות דגימה

השיטה	איך	דוגמה
דגימה אקראית פשוטה	לכל פרט באוכלוסייה יש אותו סיכוי להיכנס	מגרילים 200 שמות מרשימת כל התלמידים בארץ
דגימה מרובדת	מחלקים לשכבות, ודוגמים באקראי מכל שכבה לפי חלקה באוכלוסייה	דוגמים בנפרד מכל מחוז, לפי גודלו
דגימת אשכולות	מגרילים קבוצות שלמות, ומודדים את כולן	מגרילים 20 בתי ספר, ומודדים את כל התלמידים בהם
דגימת נוחות	מי שזמין	בתי ספר שהמנהלים שלהם הסכימו
דגימת כדור שלג	כל משתתף מביא עוד משתתפים	"שלחו את השאלון לחברים"

באידיאל, הדגימה היא אקראית: לכל פרט באוכלוסייה יש אותו סיכוי להיכנס למדגם. בפועל, רוב המחקרים בחינוך ובפסיכולוגיה נעשים על מדגמי נוחות. זה לא פוסל אותם, אבל מגביל את מי אפשר להכליל עליו.

ועכשיו ההבחנה החשובה ביותר בפרק, ששתי המילים "אקראי" מבלבלות בה: דגימה אקראית קובעת מי נכנס למחקר. הקצאה אקראית קובעת מי מקבל איזה תנאי. אפשר לקבל אחת בלי השנייה. מדגם נוחות, שחולק בהגרלה לניסוי ולביקורת, מאפשר מסקנה סיבתיתCausality נכונה, אבל רק על אנשים כמו אלה שבמדגם. מדגם אקראי מושלם, בלי הגרלה לתנאים, מאפשר להכליל לכל האוכלוסייה, אבל רק על קשר, לא על סיבה. ושתי השאלות האלה הן שאלות מחקריות, לא סטטיסטיות: הן מגיעות לפני הסטטיסטיקה.

הסיפור המלא: כשהמשתתפים לא בלתי תלויים

כמעט כל הנוסחאות בספר מניחות שהמשתתפים בלתי תלויים זה בזה: מה שאחד ענה לא משפיע על מה שאחר ענה. דגימת כדור שלג מפרה את ההנחה הזו: חברים דומים זה לזה. ההנחה מופרת גם כשהקבוצה השנייה היא אחים של הראשונה, וגם כשנותנים טיפול בקבוצה: אם מישהו סיפר בדיחה, כולם שמחים יותר, וכולם מסמנים ציון גבוה יותר בשאלון. כמו שאני אומר לפעמים: הסטטיסטיקה רוצה שכל אחד יהיה לבד.

בבתי ספר, ההנחה מופרת כמעט תמיד: תלמידים באותה כיתה חולקים מורה, אווירה וחברים. יש מדד שבודק עד כמה, המתאםCorrelation התוך־אשכולי (ICC), ויש ניתוחים שמתחשבים בו, מודלים מעורביםLinear mixed model, שנלמד בפרק 36. המאמר שלנו חישב את המדד הזה בדיוק בגלל הסיבה הזו.

בדקו את עצמכם4 שאלות

1.הממוצע של anx_pre אצל 200 התלמידים בקובץ הוא 2.24. מה זה?

2.רוצים מדגם מרובד של 50 תלמידים מתוך 200 שבקובץ, לפי מגדר. בקובץ 96 בנים ו־104 בנות. כמה בנים ייכנסו למדגם?

3.חוקרת שולחת קישור לשאלון לקבוצת ההורים של הכיתה, ומבקשת מכל הורה להעביר אותו להורים אחרים שהוא מכיר. מה שיטת הדגימה?

4.מגרילים 300 תלמידים מרשימת כל תלמידי ה׳ בארץ, ושואלים אותם כמה שעות הם ישנים ומה הציון שלהם בחשבון. מוצאים שמי שישן יותר מקבל ציון גבוה יותר. מה מותר להסיק, ומה לא?

תוקף פנימי ותוקף חיצוני

תוקף פנימי: האם ההבדל באמת נובע מהמשתנה הבלתי תלוי, ולא ממשהו אחר? תוקף חיצוני: האם אפשר להכליל את התוצאה לאנשים, למקומות ולזמנים אחרים?

תוקף פנימי הוא השאלה אם המסקנה הסיבתית נכונה: האם התוכנית הורידה את החרדה, או שמשהו אחר הוריד אותה? כל "משהו אחר" כזה הוא איום על התוקף הפנימי. הנפוצים:

האיום	מה קורה	מה עוזר
משתנה מתערב (confound)	משהו נוסף שונה בין הקבוצות, למשל המורה, בית הספר או רמת החרדה בהתחלה	הקצאה אקראית, מדידה לפני, משתני בקרהControl variable
היסטוריה ובשלות	משהו קרה באמצע (חג, מלחמה, מזג אוויר), או שהמשתתפים פשוט גדלו	קבוצת ביקורת שנמדדת באותם זמנים
השפעת המדידה	מי שממלא שאלון פעם שנייה עונה אחרת	קבוצת ביקורת, איזון סדר
רגרסיה לממוצעRegression to the mean	מי שנבחר כי היה קיצוני, יהיה פחות קיצוני במדידה הבאה, גם בלי טיפול	לא לבחור רק את הקיצוניים, או להשוות לקבוצת ביקורת קיצונית באותה מידה
נשירה	מי שעזב באמצע שונה ממי שנשאר	לבדוק ולדווח מי נשר

רגרסיה לממוצע מפתיעה הרבה אנשים. נניח שבוחרים לתוכנית רק את 20 התלמידים הכי חרדים בכיתה. חלק מהם היו חרדים במיוחד ביום המדידה: מבחן, ריב בבית, לילה בלי שינה. במדידה הבאה, גם בלי שום טיפול, רובם יהיו קצת פחות קיצוניים. מי שלא משווה לקבוצת ביקורת עלול לחשוב שהתוכנית עבדה.

תוקף חיצוני הוא השאלה אם אפשר להכליל: האם התוצאה תחזור עם תלמידים אחרים, בבתי ספר אחרים, ובשנה אחרת? כאן יש מתח מעניין. מדגם הומוגני, למשל רק בנות בכיתה ד׳, מקטין את הרעש ומקל למצוא הבדל (נראה בפרק 19 למה). אבל על מדגם כזה אפשר להכליל רק על בנות בכיתה ד׳.

בדקו את עצמכם4 שאלות

1.תוכנית קריאה התחילה בספטמבר והסתיימה ביוני. הקריאה של התלמידים השתפרה. לא הייתה קבוצת ביקורת. איזה איום על התוקף הפנימי בולט כאן?

2.בתחילת המחקר היו 60 תלמידים בכל קבוצה. בסוף נשארו 57 בביקורת ו־42 בתוכנית, ורוב מי שעזב את התוכנית היו התלמידים החלשים. מה הבעיה העיקרית?

3.בכיתה שקיבלה תוכנית לשיפור הקשב מלמדת מורה ותיקה, ובכיתת הביקורת מורה בשנה הראשונה שלה. מה זה?

4.מחקר מצא שתוכנית מוזיקה בשלושה בתי ספר בתל אביב שיפרה את הקשב של התלמידים. אילו שאלות הייתם שואלים על התוקף החיצוני שלו?

המחקר שלנו, תחת זכוכית מגדלת

עכשיו אפשר לקרוא את המחקר שמלווה את הספר (Tarrasch & Berger, 2022) כמו שקוראים מאמר: מה נעשה, ומה זה מאפשר לומר.

ההחלטה	מה נעשה	מה זה אומר
הדגימה	שלושה בתי ספר במרכז הארץ, שהמנהלים שלהם הביעו עניין בתוכנית קשיבות וחמלה. כל התלמידים דוברי עברית	מדגם נוחות. ייתכן שבבתי ספר עם מנהלים פחות מעוניינים התוכנית תעבוד פחות טוב. תוקף חיצוני מוגבל
ההקצאה	בתי הספר הוגרלו לשלוש הקבוצות, במספרים אקראיים. בית ספר אחד לכל קבוצה	הגרלה של בתי ספר, לא של תלמידים. הקבוצה ובית הספר הם אותו דבר: מעין־ניסוי
המערך	שלוש קבוצות, שלוש מדידות: לפני, אחרי, וחצי שנה אחרי	מערך מעורב, עם קבוצת ביקורת ומעקבMixed design
השתתפות	הסכמת הורים: 86% במשולבת, 85% בעקיפה, 82% בביקורת	שיעורים דומים, כלומר לא נראה שהמשתתפים "סוננו" אחרת בכל קבוצה
גודל המדגם	חישוב מראש, בתוכנה G*Power, של מספר התלמידים שצריך כדי לגלות השפעה בגודל שציפו לו: לפחות 153	200 תלמידים: מספיק (את החישוב הזה נלמד בפרק 19)

הבעיה המרכזית היא השורה השנייה. אילו נמצא שהחרדה ירדה בבית הספר של התוכנית המשולבת יותר מאשר בבית ספר הביקורת, ההסבר יכול להיות התוכנית. אבל הוא יכול להיות גם המנהלת, צוות המורים, או אירוע שקרה רק בבית הספר הזה באותה שנה. במילים של הפרק: בית הספר הוא משתנה מתערב, שאי אפשר להפריד אותו מהקבוצה. החוקרים מציינים בעצמם, בפרק המגבלות של המאמר, שההקצאה ברמת בית הספר עלולה להכניס הטיה.

אז מה עשו כדי לחזק את המסקנות?

בתי הספר היו דומים: מאותו אזור, ובאותה רמה חברתית־כלכלית לפי מדד הלשכה המרכזית לסטטיסטיקה.
בדקו שהקבוצות דומות בהתחלה: בגיל, בהרכב המגדרי, ובכל המדדים לפני התוכנית. אם הקבוצות זהות בנקודת ההתחלה, קשה יותר לטעון שהן שונות במשהו חשוב. את הבדיקה הזו נעשה בעצמנו בפרק 26.
מדדו לפני, והשוו שינויים: השאלה היא לא "באיזו קבוצה החרדה נמוכה יותר אחרי", אלא "באיזו קבוצה היא ירדה יותר".
הוסיפו מדידת מעקב, כדי לראות אם השינוי נשאר.

ולמה בכלל לא הגרילו תלמידים? כי התוכנית העקיפה פועלת דרך המורות: אי אפשר שמורה תתרגל קשיבות רק בשביל חצי מהכיתה. וגם הגרלה של כיתות באותו בית ספר הייתה בעייתית: מורות מדברות זו עם זו, ותלמידים מספרים לחברים בכיתה המקבילה. במחקר בעולם האמיתי, כל מערך הוא פשרה. מה שחשוב הוא לדעת מה הפשרה, ולכתוב אותה.

אתיקה במחקר: הסכמה, והטעיה שהוסברה

מחקר בילדים מחייב הסכמה מדעת של ההורים. במחקר שלנו מילאו את השאלונים רק תלמידים שהוריהם חתמו. בתוכנית המשולבת, תלמידים שהוריהם לא חתמו השתתפו בתרגול עם כל הכיתה, אבל הנתונים שלהם לא נאספו.

והמדד של ההתנדבות (פרק 5) כלל הטעיה: התלמידים לא ידעו שבקשת ההתנדבות היא חלק מהמחקר, ולמחרת נאמר להם שהפרויקט נדחה. הטעיה במחקר מותרת רק כשאין דרך אחרת למדוד את מה שרוצים, כשהיא לא מזיקה למשתתפים, וכשמסבירים להם אותה בסוף. כך נעשה כאן: בסוף המחקר הוסבר לתלמידים מה נעשה ולמה. ההסבר הזה נקרא תחקיר (debriefing).

תורכם

יועצת רוצה לבדוק אם סדנה לניהול לחץ לפני בגרויות מורידה חרדת מבחנים. היא שוקלת שלוש דרכים:

א. היא מזמינה לסדנה את 15 התלמידים שקיבלו את הציון הגבוה ביותר בשאלון חרדת מבחנים, ומודדת אותם שוב אחרי הסדנה. ב. היא מעבירה את הסדנה בשכבה י״א, ומשווה לשכבה י״ב שלא קיבלה אותה. ג. מתוך 60 מתנדבים מכל השכבות, היא מגרילה 30 לסדנה ו־30 לרשימת המתנה, ומודדת את כולם לפני ואחרי.

לכל דרך: איזה מערך זה, ומה האיום העיקרי על התוקף?

בדיקת התשובה

א. קבוצה אחת, לפני ואחרי, בלי ביקורת. האיום העיקרי: רגרסיה לממוצע, כי נבחרו הקיצוניים. וגם השפעת המדידה, והתקרבות הבגרות. ב. מעין־ניסוי עם קבוצות קיימות. האיום: השכבות שונות זו מזו בהרבה דברים, ובראשם הבגרויות עצמן. ג. ניסוי, במערך מעורב. התוקף הפנימי טוב. האיום הוא על התוקף החיצוני: מתנדבים לסדנה כנראה שונים ממי שלא מתנדב. ורשימת המתנה היא פתרון אתי טוב: כולם יקבלו את הסדנה בסוף.

בדקו את עצמכם4 שאלות

1.לפי הממוצעים המעוגלים בקובץ, החרדה בקבוצת הביקורת הייתה 2.32 לפני ו־2.31 אחרי. בתוכנית המשולבת: 2.19 לפני ו־1.91 אחרי. בכמה ירדה החרדה בכל קבוצה?

2.חוקרת אחרת מגרילה כיתות בתוך אותו בית ספר: חלק לתוכנית וחלק לביקורת. מה היתרון לעומת המחקר שלנו, ומה הסכנה?

3.חישוב מראש הראה שצריך לפחות 153 תלמידים. בשלושת בתי הספר היו 87, 60 ו־90 תלמידים. נניח ששיעור ההסכמה של ההורים היה 60% בלבד. האם היה מספיק?

4.המדד של ההתנדבות כלל הטעיה. מתי הטעיה במחקר מותרת, ואיך התקיים כל תנאי במחקר שלנו?

טעויות נפוצות

מבלבלים דגימה אקראית עם הקצאה אקראית. הראשונה עוזרת להכליל, השנייה להסיק על סיבה.
"מדדנו לפני ואחרי, ולכן זה ניסוי". בלי קבוצת ביקורת אי אפשר להפריד את התוכנית מכל מה שקרה באותו זמן.
"הגרלנו, ולכן אין בעיה". הגרלה של שלוש יחידות, בתי ספר או כיתות, לא מאזנת שום דבר.
בוחרים לטיפול רק את הקיצוניים, ושוכחים את הרגרסיה לממוצע.
מכלילים מעבר למדגם. מחקר על בתי ספר שבחרו להשתתף מלמד על בתי ספר כאלה.

בדקו את עצמכם

סיכום

ניסוי: החוקר קובע ומגריל. מעין־ניסוי: קובע, בלי הגרלה של המשתתפים. מתאמי: רק מודד.
בין־נבדקי משווה קבוצות. תוך־נבדקי משווה כל אחד לעצמו, ומקטין רעש, אבל צריך לאזן סדר. מעורב: גם וגם.
דגימה אקראית מאפשרת להכליל. הקצאה אקראית מאפשרת להסיק על סיבה.
תוקף פנימי: האם המסקנה הסיבתית נכונה. תוקף חיצוני: האם אפשר להכליל.
במחקר שלנו, בית הספר והקבוצה הם אותו דבר. לכן חשוב לבדוק שהקבוצות דומות בהתחלה, ולהשוות שינויים.

מונחים חדשים

מעין־ניסוימערך בין־נבדקימערך תוך־נבדקימערך מעורבאיזון סדרהשפעת העברהאוכלוסייה ומדגםפרמטר וסטטיסטידגימה אקראיתהקצאה אקראיתדגימת נוחותתוקף פנימיתוקף חיצונימשתנה מתערברגרסיה לממוצעהסכמה מדעתתחקיר

תרגול עם הנתונים

הקבצים עצמם נמצאים גם בתיקיית data בחבילת הספר.

הצליבו בין school ל־group: כמה תלמידים יש מכל קבוצה בכל בית ספר? מה זה מראה?
בדיקת התשובה
בבית ספר 1 כל 74 התלמידים בביקורת, בבית ספר 2 כל 51 בעקיפה, ובבית ספר 3 כל 75 במשולבת. אין אף תלמיד ש"חוצה" את הטבלה: הקבוצה ובית הספר הם אותו משתנה. באקסל עושים את זה בטבלת ציר (פרק 9), ב־SPSS וב־JASP בטבלת שכיחויותFrequency table כפולה (פרק 23).
בדקו אם הקבוצות דומות בהתחלה: חשבו לכל קבוצה את הגיל הממוצע, את אחוז הבנות, ואת ממוצע החרדה לפני התוכנית.
בדיקת התשובה

קבוצה n גיל בנות anx_pre

ביקורת 74 10.00 53% 2.32
עקיפה 51 10.20 51% 2.17
משולבת 75 10.01 52% 2.19

הקבוצות נראות דומות מאוד. ההבדלים בגיל ובחרדה קטנים, אבל האם הם קטנים מספיק כדי לייחס אותם למקרה? את זה נבדוק בפרק 26, בניתוח שונותOne-way ANOVA. בינתיים זה תיאור, לא מסקנה.
לפי המאמר, היו בהתחלה 87 תלמידים בבית הספר של התוכנית המשולבת, 60 בעקיפה ו־90 בביקורת. כמה מהם יש בקובץ, ומה אחוז ההשתתפות?
בדיקת התשובה
משולבת: 75 / 87 = 86%. עקיפה: 51 / 60 = 85%. ביקורת: 74 / 90 = 82%. אלה בדיוק שיעורי ההסכמה של ההורים שמדווחים במאמר.

קבוצה	n	גיל	בנות	anx_pre
ביקורת	74	10.00	53%	2.32
עקיפה	51	10.20	51%	2.17
משולבת	75	10.01	52%	2.19

בפרק הבא: בניית קובץ נתונים. שורה לכל נבדק, קידוד, ערכים חסריםMissing value, מילון משתניםCodebook, ואיך מעבירים קובץ בין אקסל, SPSS ו־JASP.

מקורות: Tarrasch, R., & Berger, R. (2022). Comparing indirect and combined effects of mindfulness and compassion practice among schoolchildren on inter- and intra-personal abilities. Mindfulness. https://doi.org/10.1007/s12671-022-01955-y · Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and quasi-experimental designs for generalized causal inference. Houghton Mifflin.