מי פוחד ממקדמי תוקף?

מאת: פילת שירותי מיון

פורסם לראשונה אפריל 2001

תוקף הניבוי של מערכת מיון הוא נושא המעסיק את כל הגורמים המעורבים במערכות אלו, החל מהארגון המשתמש במיון, דרך קהל המועמדים הממוינים וכלה בגורם המקצועי המבצע את המיון. ביסוד מושג התוקף עומד רעיון פשוט ועיקרי: האם ועד כמה קיים קשר בין ההישגים במבחני המיון לבין ההישגים בשטח. או במילים אחרות, האם מבחן המיון מצליח לאתר את המועמדים בעלי סיכויי ההצלחה הגבוהים ביותר?

בדיקת תוקף ניבוי, פירושה השוואה של נתונים על ההישגים במבחני המיון מחד, ושל נתונים על ההצלחה בשטח מאידך, עבור קבוצת מועמדים רלבנטית. מחקרים מסוג זה מצריכים משאבים גדולים ומציבים סדרה של בעיות מתודולוגיות ומעשיות כאחת (כגון קיצוץ תחום, פיזור מועט וכו') המוכרות היטב לכל ארגון שהתמודד אי פעם עמן. לא רק זאת, אלא שלא אחת תוצאות מחקרי התוקף "מאכזבות", אם לא את החוקרים עצמן, את מקבלי ההחלטות ומנהלים בארגון אשר מתקשים להזדהות עם שמחתו של החוקר המבשר למשל "מקדם התוקף שקיבלנו הוא ,0.30 ופירושו שמערכת המיון תקפה ומועילה".

אחד המכשולים בהערכת תוקף של מבחני המיון הוא הקושי להבין את מקדמי המתאם – הם מדדי התוקף, המחושבים בדרך כלל בין ציוני המיון לבין הקריטריונים של הצלחה בעבודה, כגון הערכות תקופתיות, קצב קידום, ציונים בהכשרה מקצועית ועוד. אנשים רבים שואלים: האם מתאם של 0.30 פירושו 30% הצלחה? או אולי 30% שונות מוסברת? האמת היא שאף אחת מהתשובות האלה אינה נכונה, והמשמעות של המקדם חומקת מהמתבונן ובמצב זה קשה למקבל ההחלטות לדעת אם שיטת המיון מועילה או לא.

בדוגמאות המובאות להלן ננסה להבהיר ולהמחיש את משמעותם של מקדמי תוקף על ידי "תרגום" שלהם למונחים מוכרים יותר תוך הצגת ממצאים ממחקרים שנערכו בפילת.

דוגמה א': תוקף הניבוי של מיון למורשי חתימה בבנק.

שיטת המיון: מרכז הערכה. הציונים הם מ  1(נמוך) עד ל  7(גבוה).

קריטריון: הערכה כללית של העובדים במסגרת חוות דעת תקופתית (כשנה לאחר הכניסה לתפקיד).

מקדם המתאם:  0.27(מתאם פירסון).

לצורך ההמחשה נעזר בנתונים על שיעור המקבלים הערכה כללית מעל לממוצע ומתחת לממוצע, מפולגים לפי רמות ציון המיון. הנתונים מוצגים בתרשים 1. עיון בתרשים 1 מגלה כי שעור העובדים ה"מוצלחים" יותר (אלה שקיבלו הערכה מעל לממוצע) הולך וגדל ככל שעולה ציון המיון, ובמקביל הולך וקטן שעור העובדים המוערכים כפחות טובים. למעשה, הנתונים מראים באופן ברור למשתמש, שקיים הבדל איכותי במעבר בין ציון 4 במיון לבין ציון 5 במיון: שעור

העובדים המקבלים הערכות מעל לממוצע "קופץ" מ % 31(בקרב בעלי ציון מיון 4) ל % 69(בקרב בעלי ציון מיון 5). בין מקבלי ציון 5 ל 6 במיון אין הבדל מהותי.

בנתונים של מקרה זה ניתן לראות לא רק המחשה של התוקף, אלא למעשה המלצה אופרטיבית למקבל ההחלטות לגבי אופן השימוש בציוני המיון (קרי – אם נקבל עובדים שהשיגו 5 במיון או יותר, נעלה את שעור העובדים המוצלחים בתפקיד באופן ניכר).

דוגמה ב': תוקף הניבוי של מיון לפקידי קבלת קהל

שיטת המיון: בחינת כישורים – מיון ראשוני. הציונים הם מ  1(נמוך) עד 9 (גבוה).

קריטריון: ציון סופי בקורס ההכשרה.

מקדם המתאם:  0.41(מתאם פירסון).

לצורך ההמחשה נעזר בנתונים על ממוצעי הערכות סופיות בקורס ושעור המקבלים ציון הערכה 80 או יותר (ציון "עובר"), מפולגים לפי רמות של ציון המיון. הנתונים מוצגים בתרשים .2 בדוגמה זו ניתן לראות יותר בברור מאשר בדוגמה הקודמת את העלייה העקבית שקיימת בציוני קורס ההכשרה, ככל שעולים ברמת ציון המיון. מגמת העלייה בדוגמה זו ברורה יותר משתי סיבות: ראשית, תחום ציוני המיון קצוץ פחות (יש יותר רמות של ציון מיון), אבל הסיבה העיקרית היא שהתוקף יותר גבוה וכך נוצרת עלייה תלולה יותר של אחוזי המצליחים ככל שעולים בציון המיון.

גם בדוגמה זו הנתונים רומזים למתבונן מהצד כיצד כדאי להשתמש בציוני המיון לצורך קבלת מועמדים: אם נקבל את מי שהשיגו במיון ציון 6 ויותר נבטיח אחוזי הצלחה בקורס ההכשרה של רוב המתקבלים (בסביבות ה 80%). אמנם קביעת נקודות חתך תלויה בגורמים נוספים: מספר המועמדים, מספר התפקידים שיש לאייש ועוד, ולא תמיד יוכל מקבל ההחלטות לקבוע סף קבלה לפי ההמלצה הנגזרת מהנתונים האמפיריים ויתכן שיצטרך להוריד את הסף, אך חשוב להבחין בתרומה של בחינת המיון לבחירת המועמדים המתאימים ביותר.

מסקנות והמלצות

בדוגמאות שהובאו כאן נעשה שימוש בנתונים פשוטים, הנמצאים תמיד בהישג ידו של מי שעוסק בבדיקת התוקף. ניתן לקבל את האחוזים השונים באמצעות כלי תוכנה סטטיסטית מהתוכנות המשמשות את החוקרים ולבטא אותם באופן גרפי גם בעזרת אותן התוכנות. חשוב לציין כי התרומה של מבחן המיון תתבטא בדרך כלל בהעלאת שעורי ההצלחה בתפקוד (יותר קליעות ופחות אכזבות) ולא בביטול מוחלט של טעויות. עדיף למיין בשיטה שמגדילה את ההצלחות ומקטינה את הכישלונות ככל האפשר, כלומר בשיטה תקפה יותר.

בדוגמה א', המתארת תוקף של ,0.27 מבחן המיון מאפשר, אם משתמשים בו בצורה אופטימלית על פי הנתונים, שעור הצלחה של 65% מהעובדים. בדוגמה ב', בה תוקף השיטה הוא ,0.41 יאפשר מבחן המיון שעור הצלחה של כ.80% הצלחה מלאה של שיטת המיון תתאפשר רק אם יהיה בידינו כלי מיון עם תוקף מלא (1.00) – חלום שאנשי המקצוע ויתרו עליו כבר מזמן. אבל, גם בהעדר שיטה מושלמת, ברור – כפי שניסינו להמחיש כאן – שככל ששיטת המיון תקפה יותר כך כדאי יותר להשתמש בה.

לאור כל זאת, חשוב לחזור ולהדגיש כי הדרך היחידה לגלות את תוקף הניבוי של שיטות מיון היא לבצע מחקרי תוקף על מערכות המיון המשמשות לקבלת עובדים. אין די בשליחת מועמדים לבחינה וקבלת דוחות בחזרה ואין להתרשם ממקרה בודד האם המיון הוא מוצלח או מוטעה. התמונה האמיתית לגבי טיבה של שיטת המיון מתגלה רק בבדיקה אמפירית של קבוצת נבחנים (גדולה ככל האפשר) תוך השוואה עם נתוני ההצלחה בעבודה, ותוך שימוש בכלים סטטיסטיים. מקרים בודדים יכולים, לכל היותר, לתת "תחושת בטן" ועלולים בעיקר להטעות. חיוני למשתמשים בשירותי מיון מכל סוג ומכל גורם לדרוש מחקרי מעקב אחר תוקף הניבוי של שיטת המיון מול ההצלחה של הממוינים בשטח.