הערכת אימפקט – תכנית אתגר 22 של עמותת אנימלס
פוסט זה הוא תקציר המרכז את עיקר המסקנות של דוח הערכת אימפקט במסגרתו ניתחנו את תוכנית "אתגר "22 של עמותת אנימלס. לחצו כאן לקריאת הדוח המלא (באנגלית).
מה היא תכנית "אתגר 22"?
אתגר 22 היא תוכנית בינלאומית המובלת על ידי העמותה הישראלית אנימלס. התוכנית מקדמת תזונה צמחונית והורדה בצריכת בשר על ידי עידוד משתתפים לקחת חלק באתגר בו הם מנסים תזונה טבעונית במשך 22 ימים. במהלך ההשתתפות באתגר ולאחר מכן, המשתתפים מקבלים תמיכה חברתית על ידי השתתפות בקבוצות פייסבוק המנוהלות על ידי התוכנית, במטרה לעזור להם לסיים את האתגר בהצלחה ולהתמיד בשינוי התזונה לאורך זמן.
איך הערכנו את האפקטיביות של "אתגר 22"?
על מנת להעריך את האפקטיביות של התוכנית, אנחנו מסתמכים על מחקר מבוסס סקר שנערך ב-2019, במהלכו בוצע מעקב אחר משתתפים באתגר שנרשמו לתוכנית במהלך 2018. על ידי שילוב תוצאות הסקר עם הערכות אודות סדר הגודל והתקציב של התוכנית, אנחנו מעריכים שכל שקל שהולך לתוכנית מקביל לירידה בצריכת בשר של 1 עד 12 מנות בשר עבור אחד המשתתפים בתוכנית, במהלך 7 החודשים הראשונים לאחר ההרשמה לאתגר.
למרות שיש לנו נתונים קונקרטיים על שינויי התזונה של המשתתפים בתוכנית רק עבור 7 החודשים הראשונים לאחר ההצטרפות לאתגר, ישנן אינדיקציות חיוביות שהשינויים הללו יציבים ועשויים להחזיק מעמד גם לטווח ארוך יותר. ספציפית, נראה שאין הבדלים מובהקים בשינויי התזונה כפי שהם נצפים לאחר 7 חודשים מאלה הנצפים לאחר חודש אחד. נתון זה מרמז על כך ששינויי התזונה הנצפים עשויים להימשך גם לאורך זמן ארוך יותר באופן משמעותי משבעת החודשים שנבדקו במחקר. אם אנחנו מניחים למשל שהשינויים מחזיקים בממוצע 5 שנים, נקבל שכל שקל שהולך לתוכנית יקביל לירידה בצריכת בשר של בין 9 ל-100 מנות בשר.
מגבלות ההערכה
הערכות האפקטיביות שציינו עתה נתונות למספר מגבלות משמעותיות של הניתוח שלנו.
חשוב להכיר את המגבלות האלה ולקחת אותן בחשבון כאשר שופטים את ההשפעה של התוכנית מבחינת יחס עלות-תועלת.
גורמים אפשריים נוספים לשינוי התזונתי
המספרים המתוארים לעיל מתייחסים לשינוי הנצפה בתזונה של משתתפים בתוכנית, אך יהיה פזיז לייחס את מלוא השינוי להשפעה סיבתית, כלומר לטעון שכל השינוי נגרם כתוצאה מהשתתפות בתוכנית. למשל, יכול להיות שלאנשים הנרשמים לאתגר כבר היתה מראש דעה חיובית על טבעונות והם היו נוטים לבצע שינויים בתזונה שלהם בכל מקרה. משום שהניתוח מתבסס על מחקר תצפיתי (סקר), אין לנו מספיק ראיות על מנת להוכיח השפעה סיבתית של התוכנית. אף על פי כן, אנחנו סבורים שתוצאות הניתוח שלנו נראות מעודדות וקשר סיבתי נראה מאוד סביר.
המחקר כלל משתתפים ישראלים בלבד
במחקר עליו אנחנו מתבססים לקחו חלק משתתפים ישראלים בלבד, המהווים רק כ-10% ממשתתפי התוכנית. כפי שמצויין בדוח המלא, ישנם הבדלים משמעותיים בין התוכנית הישראלית לבין התוכנית בשאר העולם. החסם התחתון של ההערכה שלנו מתבסס בין היתר על ההנחה ששינוי התזונה בקרב משתתפים ממדינות אחרות הוא לכל הפחות 35% מזה הנצפה עבור ישראלים (בממוצע). חלק גדול מטווח אי-הוודאות בהערכה הסופית שלנו (עם יחס של 1:12 בין החסם התחתון לחסם העליון) נובע מהמגבלה הזאת.
אי-ודאות לגבי העתיד
הדוח מעריך את סך שינויי התזונה של המשתתפים עבור כל שקל בתקציב בהתבסס על נתונים מהעבר. מאפיין משמעותי של התוכנית הוא השינויים התכופים שהיא עוברת וההתפתחות שלה לאורך זמן. למרות שלרוב מדובר בשינויים חיוביים (המשקפים נסיונות להרחיב את התוכנית ולהגדיל את האפקטיביות שלה, עם אינדיקציות מסוימות להצלחה בכך), המשמעות היא שקשה מאוד לנבא את האפקטיביות של התוכנית בעתיד. האפקטיביות בעתיד, ולא בעבר, היא בסופו של דבר מה שחשוב למי שתורמים בהווה. כמו כן, הדוח לא עוסק בשאלה כמה תרומות נוספות התוכנית מסוגלת להכיל ולנצל ביעילות עד שהיא תיתקל בתועלת שולית פוחתת.
מגבלות נוספות
ישנן מגבלות נוספות של הסקר עליו האנליזה בדו"ח מבוססת. הכי בולטת מביניהן היא ההסתמכות על דיווח עצמי של המשתתפים, שעשוי להיות מושפע מהטיות קוגנטיביות שונות כמו הרצון לרצות את עורכי הסקר או הטיות זיכרון.
בנוסף למגבלות שציינו עתה, ישנם גורמי אי-ודאות נוספים שכבר נלקחו בחשבון במהלך ניתוח האפקטיביות של התוכנית. גורמים אלה הם שהובילו לטווח אי-הוודאות (1-12 מנות בשר) בהערכות הסופיות שלנו. הדוח המלא כולל סיכום המפרט את כל המגבלות ואי-הוודאויות בהן נתקלנו לאורך מחקר הערכת האפקטיביות של התוכנית.
עניין נוסף שחשוב לקחת בחשבון הוא שתוכנית אתגר 22 מהווה רק כ-20% מהמחזור הכספי של העמותה. זוהי רק תוכנית אחת מתוך מספר תוכניות ופעילויות של עמותת אנימלס. לא ביצענו הערכת אפקטיביות של שאר פעילויות העמותה.
לאור מגבלות המחקר אותן פירטנו, אנחנו מעודדים לא לקחת את המספרים הסופיים בהערכה שלנו בתור אמת מוחלטת, אלא לפרש את התוצאות כהערכה המצביעה על סדר גודל כללי עבור פוטנציאל עלות-התועלת של התוכנית.
סיכום ומסקנות
על אף כל המגבלות וההסתייגויות המפורטות, בהקשר הכללי של פילנתרופיה בארץ מדובר בתוכנית יוצאת דופן מבחינת סטנדרטים של מדידה, שקיפות וחוזק ראיות להשפעה חברתית חיובית. אם אתם רוצים לתרום לעמותה ישראלית הפועלת למען צמצום צריכת בשר, אנחנו ממליצים לתרום לעמותת אנימלס.
למה ההשפעה של התוכנית נמדדת במנות בשר?
יכול להיות ששאלתם את עצמכם למה אנחנו מודדים את השפעת התוכנית במספר מנות הבשר שהמשתתפים הפחיתו בתזונה שלהם ולא, למשל, בכמות המשתתפים שהפכו לצמחונים או מידת החשיפה של התוכנית. התשובה היא שבאלטרואיזם אפקטיבי אנחנו מאמינים שיש חשיבות רבה להבחנה בין ערכים אינטרינזיים (intrinsic/terminal values), המשקפים מה באמת חשוב לנו, לבין ערכים אינסטרומנטליים (instrumental/extrinsic values), שחשובים לנו רק כאמצעי לקידום ערכים אחרים. אנחנו שואפים לשימוש במדדים שקרובים עד כמה שניתן לערכים האינטרינזים שלנו, משום שהם הדברים שבסופו של דבר חשוב לנו למקסם. תחת ההבחנה הזאת, די ברור שלצמחונות כשלעצמה אין ערך אינטרינזי. הערך היחיד של תזונה צמחונית הוא שהיא מפחיתה צריכה של בשר ומוצרים מן החי ובכך מפחיתה את מספר חיות המשק שסובלות.
אם כך, מדוע אנחנו לא מודדים את ההשפעה של התוכנית במספר החיות השונות (למשל עופות, פרות ודגים) שהשחיטה שלהן נמנעת בעקבות שינויי התזונה של משתתפי התוכנית? התשובה היא שפשוט אין לנו את הנתונים הנדרשים לצורך כך. המחקר בוסס על סקר שביקש מהמשתתפים לדווח את מספר מנות בשר שהם צרכו לפני ואחרי ההשתתפות בתוכנית, ללא ירידה לרזולוציה של סוגי בשר ספציפיים. עקרונית ניתן להגיע מהמספרים האלה להערכה סבירה של כמות חיות שונות שהצריכה שלהן נמנעה (למשל על סמך נתונים סטטיסטיים כלליים על הרגלי התזונה של אנשים במדינות השונות בהן התוכנית פועלת), אך ניתוח כזה יהיה כרוך בעבודת מחקר נוספת ויכניס אי-ודאויות נוספות בהערכות הסופיות שלנו. על מנת לשמור על הדוח והמסקנות פשוטות, החלטנו להציג את התוצאות כמו שהם ולאפשר לקוראי הדוח לשפוט אותם בעצמם.