Return On Investment – הרצוי, המצוי והצפוי

מתוך Knowledge Technologies , מבית M.P-Yaad

גיליון 7 יוני 2001

בעידן העסקי החדש, הדרכה במסגרת ארגונית עסקית חייבת להצדיק את קיומה. בקביעת ערכה האמיתי של ההדרכה, שיטות מדידה עסקיות מאיימות על שיטות המדידה המסורתיות בקביעת המודל הנכון לחישוב "החזר השקעה" במסגרת הערכת הדרכה.

המאמצים הרבים ותשומת הלב שאת/ה, וצוות ההדרכה שלך, השקעתם בשעות רבות של ניהול, פיתוח והפקה, לצד השקעה כספית לא מבוטלת, הגיעו לסיומם. סוף סוף תוכנית ההדרכה החדשנית שיזמת לפני פחות משנה מיושמת בארגון. ממחלקת הרכש כבר כמעט שלא מתקשרים בקשר לחריגה בהוצאות הפרוייקט, ונראה כי הדיאלוג המתמשך והמעורפל משהו עם המחלקה הטכנולוגית, הגיע לסיומו. מדי פעם מתקבלים טלפונים מקולגות וחברים בארגון, שמתקשרים לשבח אותך על התוצאות: החדשנות, החוויה, העניין וכמה שזה תורם להם לביצוע העבודה טוב יותר. עכשיו ניתן להירגע, לקחת נשימה ארוכה ולעבור לשלב הבא – ההערכה. לפני שנה שכנעת את צוות ההנהלה, שהתוכנית שיזמת תניב בסופו של דבר, מלבד שיפור בביצועי העובדים, גם רווח כלכלי לאורך זמן, רווח הניתן למדידה. פתאום עולים בך ספקות קלים: הצלחתה של התוכנית מנקודת מבטם של הלומדים והמדריכים, אינה בהכרח נחשבת להצלחה מנקודת מבטם של מקבלי ההחלטות, שהיו מוכנים להשקיע את התקציב החריג בפיתוח התוכנית ובהפקתה. האם עשרות אלפי הדולרים שהושקעו בפרוייקט היו מוצדקים?

הצדקת קיומה של ההדרכה – הדילמה

רוב המודלים העוסקים כיום בהערכת תוכניות ויוזמות הדרכה מתבססים על מודל 4 הרמות של "קיקפטריק". למורת רוחם של מומחי הדרכה רבים, הטוענים כי שלוש הרמות הראשונות של מודל  "קיקפטריק" נחשבים כאמצעי ה"מדידה" העיקריים להוכחת הצלחתה של תוכנית הדרכה כלשהי, נשמעים בשנים האחרונות קולותיהם של מומחים הטוענים כי שלושת הרמות הראשונות כבר אינן מעניינות, וחשיבותן הולכת ופוחתת כאשר יש צורך להצדיק קיומה של תוכנית הדרכה כזו או אחרת.

לקולותיהם של מומחים אלה מצטרפים קולותיהם של מקבלי ההחלטות, אשר מעדיפים כי ההוכחה להצלחתה של תוכנית הדרכה תבוא לידי ביטוי במצלצלין (בכסף רבותיי, בכסף!).

מנהלים ומקבלי החלטות ברמה העסקית אינם מעונינים רק במדידת תוצאות ההדרכה, כפי שהן באות לידי ביטוי ברמה הרביעית של מודל "קיקפטריק". בנוסף לשיפור הכלכלי המצופה ברמה הארגונית, מנהלים מצפים כי הדרכה תיצור שיפור ברמה הכלכלית שלה עצמה, ע"י חיסכון בעלויות הכרוכות בהדרכה ופיתוחה, חיסכון הניתן למימוש ע"י שימוש במתודולוגיות הדרכה חדשניות דוגמת  ה-  e-Learning.

לפי אותם מנהלים, תכליתה של ההדרכה היא ללא ספק תכלית כלכלית. על-פי תפיסתם, ההדרכה היא חינוך, אבל חינוך בסביבה עסקית הנו אמצעי הנועד להניב תוצאות עסקיות. על כן, לא ניתן להצדיקה במידה ואינה עושה זאת. בראייה לגיטימית זו, שבה ההדרכה נתפסת כחטיבה עסקית, נדרשים מנהלי הדרכה ומומחיה להשיג יותר בפחות כסף.

אך כפי שחסידי ה-e-Learning מגלים בצער, גישה זו, שבה הצדקתה של תוכנית הדרכה כלשהי בפן הכלכלי, הנעשית ע"י אמצעי ניטור אחד (לדוגמה: שיפור ברווחים), יכולה להביא אולי לחסכון חד-פעמי של עלויות כוח אדם, נסיעות ובתי מלון, אך לא יכולה להוביל ליתרון עסקי נמדד ומתמשך על ציר הזמן. במילים אחרות, הדרכה צריכה להימדד לא רק במספרים "יבשים" של דולרים או שקלים, אלא גם כערך העומד בפני עצמו.

על-מנת לפשט סוגיה זו, ניעזר בסיפור מהמציאות: רשת מזון מהיר מסוימת החלה עוקבת כמעט אחר כל דבר ברשת, אך הדבר העיקרי שההנהלה התמקדה בו, הייתה העובדה שביום ממוצע היו נזרקים לפח מנות רבות של עוף מבושל: צוות העובדים גיבש שיטה, לפיה היו מכינים מנות של עוף מבושל מראש, על-מנת לשרת במהירות את האנשים המזמינים עוף מבושל. נוצרו מצבים שבהם היו נזרקים לפח מנות של עוף מבושל, עניין שלדעת ההנהלה היה מיותר ולא כלכלי. הפתרון שעליו החליטה ההנהלה, היה לבשל את העוף רק לאחר הזמנתו ע"י הלקוח, צעד אשר בהחלט הוזיל את העלויות הכרוכות במנות העוף היקרות, אך יצר עיכוב ללקוחות שלא היו מוכנים להמתין יותר מ- 20 דקות ברשת מזון, המתיימרת להיות רשת מזון מהירה. התוצאה: קהל הלקוחות קטן, מסעדות רבות ברשת נסגרו, והחוסן הכלכלי של הרשת חטף מכה קשה.  המנהלים אכן עשו את החישובים הכלכליים שלהם, והפסידו?

למרות אמיתותם של המספרים "היבשים" הנמדדים, עדיין חסרים פרטים רבים להשלמת התמונה המלאה של החזר ההשקעה בהדרכה. לדעתם של מומחים בתחום הכלכלי, למדידות המתבצעות לגבי הדרכה לאחר שבוצעה חסרים אינדיקטורים רבים, ולרוב מדידה זו יכולה להציג תמונה על מצב העבר בלבד. על-מנת לחזות ביצועים פיננסיים עתידיים, יש לבצע מעקב אחר מדדים אופרטיביים נוספים, כגון: שביעות רצון העובדים, השפעת תחלופת עובדים, כמות מחזורי הקורסים ועוד (נתונים רכים).

מהי, אם כן, הגישה הנכונה ביותר למדידת החזר ההשקעה בהדרכה? האם המעקב אחר הנתונים "היבשים" או אולי דווקא אלה "הרכים"? האם האינפורמציה הנאספת צריכה להיאסף בעזרת ראיונות וסקרים או שמא באמצעות בדיקת דוחות רווח והפסד. האם נכון יותר לדאוג לשביעות רצון הלומדים, או לעמוד בציפיות ההנהלה ומקבלי ההחלטות?

קונצנזוס עדיין אין בנושא, אך מה שבהחלט ברור הוא שמנהלי הדרכה, ואנשי מקצוע בתחום ההדרכה, עושים את מירב המאמצים למדוד תוצאות הדרכה ולא משנה באיזו גישה.

דבקים במסורת

בעוד שמומחי הדרכה רבים זנחו את מודל קיקפטריק, או לפחות את שתי הרמות הראשונות של המודל, לטובת מודלים מובהקים ומוגדרים יותר של החזר השקעה, אחרים ממשיכים לסמוך עליו הן בתהליכי פיתוח הדרכה והן בתהליכי הערכה של הדרכה. בחרנו להציג דוגמה ליישום מוצלח של מודל קיקפטריק על כל רמותיו, מתוך מאמר שפירסמה מרג' לאוסון, מנהלת תוכניות למידה מחברת NCR האמריקאית, העוסקת בפיתוח פתרונות תוכנה וחומרה לטיפול באינטראקציות מכירה. כחלק מפעילות ההדרכה בארגון, הובילה לאוסון פיתוח של תוכנית הכשרה למנהלים בתחום השירות, על בסיס המודל של קיקפטריק. השאלה הראשונה שלאוסן שאלה את עצמה הייתה: האם הדרכה תסייע בפיתוח הידע והמיומנויות הנדרשות אצל המשתתפים? התשובה, כפי שתיווכחו לדעת, היא כן!

מטרת התוכנית הייתה להכיר למנהלים בארגון שירות חדש שמציעה החברה ללקוחותיה, מתוך הנחה שאם מנהלי פרויקטים יכירו ויפנימו את התהליכים הכרוכים באספקת אותו סוג של שירות, אזי הם יספקו את השירות החדש טוב יותר. התוכנית בהחלט שירתה גם את המטרות העסקיות של הארגון באספקת אותו שירות חדש – הגדלת הכנסות החברה, ע"י אבטחה שהלקוח יקבל את השירות לו הוא מצפה בזמן, במסגרת התקציב, תוך עמידה בהגדרות הטכנולוגיות שהוא הציב. על-פי לאוסון, כדי לקשור בין הידע לשינוי ההתנהגותי הרצוי, ולאחר מכן לתרגם כל

זאת לשיפור כלכלי בשורה התחתונה, היה צורך בתמיכתה של ההנהלה, שלפי לאוסון היתה בעלת תפקיד מכריע בהצלחת התוכנית.

לאחר הגדרת מטרות התוכנית, החלה קבוצת מפתחי הדרכה בפיתוח תוכניות הדרכה, אשר התמקדו בצרכי הלומד ובסגנונות הלמידה המייחדים את קבוצות הלומדים. המוצר הסופי כלל קורסים סינכרוניים ואסינכרוניים, שהועברו דרך רשת האינטרא-נט של הארגון, קו חם שכלל תמיכה טכנית ותוכנית והדרכות מסורתיות (Instructor Led). בנוסף, עמדה לרשות הלומדים למשך חצי יום סדנה נוספת, שהתמקדה ביישום הנלמד. לסדנה זו, אף שלא הייתה חובה, נרשמו כ – 35% מהלומדים שהשתתפו בתוכנית.

תוצאות התוכנית, כפי שמספרת לאוסון, היו מדהימות: 90% מהנרשמים לקורס סיימו את התוכנית. תוצאות טפסי משוב וראיונות שנערכו עם קבוצת מיקוד מטעם הלומדים, הראו כי 96% מאלה שסיימו את התוכנית נהנו מלמידה חוויתית (קיקפטריק רמה 1). מתוך המשוב עלה, כי הלומדים נהנו בעיקר מהעובדה שהם יכלו ללמוד בכל זמן שחפצו, וכן מהעובדה שהם הגיעו למפגשים החיים רק לצורך תרגול או הבהרות; כל החומר התיאורטי והידע הנדרש נלמד על ידי יחידות WBT טרם הגעתם לכיתה.

ההנאה שהלומדים הפיקו מהתוכנית בסופו של דבר השתלמה: כל אלה שסיימו את התוכנית, צברו 80% הצלחה ומעלה במבחני ההערכה הסופיים (קיקפטריק רמה 2). למרות שהצוות של לאוסון לא היה מחויב לבדוק האם ההדרכה יצרה, בסופו של דבר, שינוי בביצועי העובד במסגרת התפקיד, דוחות סטטוס חודשיים שנעשו בחברה, הצביעו על שינוי לטובה בכמות ובאיכות העבודה של אלה שהשתתפו בתוכנית, לעומת אלה שלא השתתפו, במסגרת השירות לו הוכשרו (קיקפטריק רמה 3).

במאמר טוענת לאוסון, שגם כאשר בוחנים את תוכנית ההדרכה שפותחה ב-NCR במשקפיים עסקיים בלבד, היא הוכחה, ללא ספק, כתוכנית מצליחה בשיקולים של עלות מול תועלת. על-פי לאוסון, תוכנית הדרכה דומה בעבר הייתה נערכת במשך כ – 5 ימים בשיטה המסורתית (Instructor Led). העלויות הכרוכות בזמן המרצים ובהחזקת העובדים במשך 5 ימים מחוץ למסגרת העבודה, היו עצומות (חשוב לזכור, שבמקרה זה, עובדים הנמצאים מחוץ למסגרת העבודה לא מספקים שירות חיוני ללקוח!). במודל הבלנד (Blend), הלומדים הוכשרו יום וחצי בשיטה המסורתית (Instructor Led) ועוד יום אחד – לא רצוף – בלימוד עצמי ב- .e-Learning

החסכון הכספי נאמד בכ- חצי מיליון דולר, הרבה מעבר לעלות פיתוח התוכנית (קיקפטריק – רמה 4).

מקרה זה מתאר מצב אידיאלי, לתוכנית שענתה על כל ארבע הרמות של קיקפטריק – הן מענה על צרכי הלומד והשינויים הנדרשים בביצועיו, והן מענה על דרישות החטיבה העסקית.

כוחה של הציפייה

כל מי שניסה אי פעם לכמת החזר השקעה (ROI), מכיר בוודאי את הקושי שבגיבוש תוצאות, המציגות נתונים מדויקים על תוכנית ההדרכה הנמדדת. במקרים מסוימים, גיבוש ה-ROI יכול להיות תהליך יקר, כמעט כמו תהליך פיתוח והפקת תוכנית ההדרכה. עלויות אלה גדולות במיוחד, כאשר על הארגון לבצע תהליכי מדידת ROI למספר תוכניות הדרכה הרצות במקביל. על רקע זה הולכת וצומחת לאחרונה (בעיקר בארה"ב) גישת מדידה אחרת, המודדת את "החזר הציפיות" של ההדרכה (ROE- Return of Expectation) .

גישה זו, מבוססת על ההנחה שלחטיבות העסקיות השונות של הארגון קשה לעקוב אחר נתונים ברמה האישית של כל לומד, ולכן קשה לבודד את הגורמים היוצרים הדרכה אפקטיבית. לעומת זאת, קל הרבה יותר להעריך עמידה בציפיות.

כיצד עובדת שיטה זו?

הרי לכם דוגמה: טרם תחילתו של תהליך פיתוח תוכנית הדרכה כלשהי, מתבצע ראיון עם הדמות הפיננסית הבכירה ביותר בארגון, הקשורה באופן ישיר או עקיף לתקציב העומד לרשות הפיתוח והפקת הקורס. על-פי ציפיותיו של אותו אדם (לדוגמה: להגיע למצב שהעובדים יבזבזו פחות זמן ויערכו פחות פגישות), נקבעות מטרות ההדרכה של התוכנית (על-פי אותה דוגמה: הלומדים ירכשו כלים לניהול אפקטיבי של זמן וטכניקות לניהול אפקטיבי של ישיבות). בסיומה של תוכנית ההדרכה, מרואיינת הדמות הפיננסית פעם נוספת. בפעם הזאת מתבקש אותו מרואיין לנסות לכמת את תוצאות ההדרכה. לדוגמה, אם התוכנית עסקה בשיפור מיומנויות ניהול זמן, תישאל הדמות האם יש פחות בזבוז זמן בקרב העובדים. במידה והתשובה תהיה חיובית, יתבקש הנציג לתרגם את חסכון הזמן שנוצר בעקבות ההדרכה לערך כספי. הנתון המתקבל אינו מדויק, אך בהחלט ניתן לסווגו כנתון סביר.

חשוב להדגיש שרבים מאלה שעושים שימוש בשיטה זו, מזהירים כי יישום השיטה דורש תכנון מדוקדק של התהליך, על כל פרטיו, לצד ניסיון או תמיכה של מומחה בביצוע מדידות .ROI

עד כמה מדויקת שיטה זו? על סמך מאמרים שפרסמו מומחים בתחום ההדרכה בארה"ב, ניתן להסיק שתוצאות תהליך ה-ROE קרובות, על פי רוב, לתוצאות של תהליך ROI, ובכל מקרה התהליך זול בהרבה מתהליך מדידת ה- ROI .

אז מהו המודל הנכון

ללא קשר למה שנמדד, מומחים רבים בתחום ההדרכה מסכימים, שהדרכה כתועלת העומדת בזכות עצמה היא נחלת העבר. מי מהמודלים (כמובן שקיימים מודלים רבים נוספים) יציג בסופו של דבר את תועלתה וערכה האמיתי של ההדרכה? אולי, כמו שטוענים אחרים, זה ממש לא משנה; מה שחשוב, לדעתם, הוא שכיום יש קשר חזק בין חווית הלמידה לבין הערך העסקי של הארגון.

ROI בסיסקו

סיסקו בחנה את החזר ההשקעה (ROI) לשנת הפעילות הראשונה של שימוש ב- e-Learning וחשפה את הנתונים המרשימים הבאים:

• עלות ההדרכות ששימשו לצורכי הסמכה (Certification), לשנה אחת של פעילות, צנחו מ – 1.4 מיליון דולר ל- .$16,000
• לכל 1000 לומדים ב-e-Learning החברה חסכה 2.4 מיליון דולר בנסיעות, מתקנים (לינה והארחה) ועלויות מדריכים.
• הדרכת מכירות ל – 8000 עובדים חסכה 54.2 מיליון דולר על ידי שימוש ב-e-Learning במקום 3 שבועות של הדרכה מסורתית.

"ניסיון הוא השם שכל אחד נותן לשגיאותיו" – אוסקר ווילד.

קישורים נוספים שנמצאו בידי מנהיגים ברשת:

Measuring Training Results

מתוך:  /http://www.foxperformance.com

 

Book List of Kirkpatrick, Donald L

מתוך:  /http://www.amazon.com

 

Kirkpatrick's Levels of Evaluation Presentation by: Debra Sieloff

מתוך:  /http://www.science.ulst.ac.uk