הערכה באמצעות תיאוריות שינוי: ממודל לוגי ועד גישה מבוססת שחקנים / ד"ר יובל אופק

 

סיכמה: ד"ר דליה חסון גלעד

 

מערכי מחקר קלאסיים, מודלים לוגיים ותיאוריות שינוי מודדים בדרך כלל שינוי בין שתי מדידות או מספר מדידות. כל מה שקורה מסביב או בדרך – קופסה שחורה – כמו במערך מחקר קלאסי.

IMPACT – מה ההשפעה של התכנית בסופו של דבר?

מודל לוגי מציג תשומות – פעילויות – תפוקות – תוצאות מיידיות – תוצאות ביניים – תוצאות סופיות

מודלים לוגיים ותיאוריות שינוי בודקים מה קורה במהלך התכנית. המודל הלוגי מתאר תהליך.  תאוריות השינוי נותנות את הנקודות בדרך, את הרציונל  - פותחות את הקופסה השחורה. מיפוי הצעדים שיש לבצע כדי לקדם. לכל צעד נקבעים מדדי תוצאה.

 

 

 

 

 

 

 

 

 

ההבדל בין תיאוריות שינוי למודל לוגי –

בת"ש מוקדשת מחשבה להראות את המכניזם שמאחורי הרצף. מודל לוגי יפרט את חלקי המודל – תיאוריית שינוי תבדוק מדוע ומה המנגנון מאחורי השינוי.

וייס – theory based evaluation  – אומרת שתיאוריות שינוי בהערכה צריך להיות לא רק על מה שמנהלי התכנית והמעריכים חושבים שצריך לקרות – יש להתבסס גם על תיאוריות רלוונטיות ומחקר.

Cause and effect method

תיאוריות שינוי מבוססות תכנית – מה התכנית צריכה לעשות.

המרצה טוען כי יש בעיות:

יש תוצאות בלתי צפויות שמשנות את המהלך. קיימים משתנים מתערבים רבים שמשפיעים על אוכלוסיית היעד.

מודלים לוגיים – לינאריים – מדדים שמבוססים על התכנית אינם מודדים את המורכבות – complexity

 

מתרחשים שינויים במהלך התכנית

ברברה – אפשר להתייחס למודל לוגי בצורה מעגלית והחיצים חוזרים אחורה ומתקדמים (כמו גמילה אצל ילדים).

מירי – המודל הלוגי לא נותן תשובה לשאלה למה הדברים קורים, אלא רק איך הם קורים.

ריבוי שחקנים – מנהל התכנית והמעריך – לא לבד. יש עוד שחקנים רבים, המקיימים ביניהם אינטראקציה שמשפיעה על המעורבות ועלולה לגרום לבעיות כשאנחנו רוצים ליצור שיפור.

כשהמורכבות נמוכה – אפשר לעבוד עם מודלים לוגיים. כשרמת המורכבות גבוהה – יש קושי לבדוק את מה שקורה באופן לינארי.

תוכנית התערבות היא דבר דינמי ומשתנה. לעתים – לאחר זמן מעריכים דברים שכבר אינם רלוונטיים בגלל השינויים הרבים שחלו בינתיים בתוכנית ובסביבתה

 

Outcome mapping – החוברת בחינם להורדה בגוגל http://www.outcomemapping.ca/download/OM_English_final.pdf

12 שלבים של ביצוע הערכה שנותן תיאוריית שינוי – מעניק יכולת לראות את המורכבות.

 

המרצה מציע התבוננות בשחקנים; במקום להתבונן בתכנית – נמפה את השחקנים – נבנה מפה של הארגון והתכנית – מחלקות, מנהלים, מטה – וכדומה.

 

תחום השליטה של התכנית – מי השחקנים שהתכנית משפיעה עליהם ומי השחקנים שמפעילים את התכנית.

Boundary partners – שהתכנית עשויה להגיע אליהם: שותפים/ מוטבים

בפרויקט מסוים שהפעילה חברת המתנ"סים: המטרה אינה לשנות את השפה של המנהלים הרכזים – אלא להשפיע על כל האנשים שמגיעים למתנ"סים.

תחום עניין – sphere of interest.

ככל שתכנית גדלה – ההשפעה "יוצאת החוצה" לעוד ועוד אנשים – זה המצב בפועל. האם היא יוצאת באותו אופן או עוצמה לכולם?

כתכנית – המטרה לגרום לשינוי התנהגותי / תפישתי.

תאוריות השינוי הרגילות מתבוננות על התכנית – מה התכנית רוצה לעשות. תיאוריות שינוי ממוקדות שחקנים מתבוננות בשינוי ההתנהגותי – יש לזהות אותו. מעריכים צריכים להבחין בין תחום שליטה לתחום השפעה ותחום עניין.

ההשפעות על המוטבים הן תוצר של משתנים מתערבים.

מתחילת ההערכה, מחלקים את השחקנים לתחומים: שליטה, השפעה, עניין, מוטבים.

אין לדבר על שיוך או ייחוס התוצאות בלעדי לתוכנית -  attribution  אלא על contribution -  תרומה של התוכנית לשינוי.

יש תחום קרוב של שליטה, השפעה, ותחום רחוק יותר של המוטבים – שאי אפשר לקבוע מה היה קורה להם עם ובלי התכנית.

קודם כל – יש להכיר במוגבלות ההשפעה של התכנית – ו"לשים אותן על השולחן".

​

​

 

 

 

 

 

דוגמה: בתכנית בגן ילדים

הגננת – מושפעת בעצמה אך משפיעה על הילדים וההורים

העמותה שמפעילה את התכנית – צוות מדריכים מקצועי מתנדבים / קבוצת נערים / פיקוח / רשות מקצועית

גורמים מאפשרים – גורמים במועצה, מפקחות במשרד החינוך (אישורים, כרגע אינם אקטיביים)

יש להסתכל על האינטראקציות בין השחקנים  - ולהכניס אותן לתיאוריות השינוי. כך נוכל להבין מה משפיע על מה. הבנת המורכבות, התבוננות בשחקנים לפי ספירות ההשפעה שלהם והאינטראקציות ביניהם – מבנה תיאוריית שינוי אחרת מתיאוריות השינוי הקלאסיות.

הרשויות, המפקחים – משפיעים על הקהילה

בוחרים את השחקנים המרכזיים – ובונים עבור כל אחד תאוריית שינוי

במקום לדבר על תשומות / תפוקות - יש לנסח תאוריית שינוי נפרדת לכל שחקן מנוסח כ:

​

1. ציפיות מהשחקנים – expect to see  - תגובה ראשונית לפעולות שלנו, תגובות אקטיביות יותר – כתוצאה מהדברים  שנעשו בתכנית – השינויים ההתנהגותיים המשמעותיים – שינוי הדרגתי עבור כל אחד מהשחקנים. ברגע שעוזבים את המדדים של התוצאה – אין יותר לינאריות. ציפיות מכל שחקן מעניקות גמישות להערכה. 

2. ארצה לראות want to see 

3 אשמח לראות love to see

​

נקודות התקדמות – יכלילו את האינטראקציות בין השחקנים – נראה את הקשרים ואת הרצף (sequence)

ניתן להעריך תכנית הן בתכנית שהוערכה בתיאוריית שינוי, והן כ-outcome mapping

לסיכום – לכל אחד מהשחקנים יש לנסח מטרות התנהגותיות / תפישתיות – תיאוריית שינוי עבור אותו שחקן. מיפוי השחקנים, האינטראקציות ביניהם מעניק למעריכים גמישות ורגישות לתנאים ולנסיבות .

​

​