כשכל הסטודנטים קיבלו 100 בבחינות - הבינו באוניברסיטה שיש בעיה

בשנתיים האחרונות הבחינו אנשי הסגל במחלקה למדעי המחשב ובינה מלאכותית באוניברסיטת בר-אילן בתופעה שחוזרת על עצמה כמעט בכל מוסד אקדמאי בשנים האחרונות: כמעט כל הסטודנטים עברו באופן מושלם את הבדיקות האוטומטיות של מטלות התכנות - כולם קיבלו ציונים גבוהים. אלא שהדבר לא בהכרח העיד על כך שהם הבינו את מה שהגישו.

"זו מערכת שיישמנו בקורס במערכות הפעלה בסמסטר האחרון, עד היום בדקנו את המטלות התכנותיות האלה בצורה אוטומטית, היינו מזריקים עשרות אלפי תרחישים ובודקים אם אנחנו מקבלים את הפלט שאנחנו אמורים לקבל, באופן 'מפתיע' בשנתיים האחרונות, כולם קיבלו 100. הבנו שכרגע אנחנו לא בודקים את יכולת ההבנה של התלמיד אלא כמה יש לו גישה לבינה מלאכותית. זה גרם לנו לפתח את המערכת", מספר ל-mako פרופ' דוד סרנה, חבר סגל במחלקה למדעי המחשב ובינה מלאכותית באוניברסיטת בר-אילן.

לסרנה חשוב להדגיש שהוא וצוותו אינם מנסים למנוע מהסטודנטים להשתמש ב-AI, להפך: אלו היכולות הנדרשות היום, אבל הם רוצים לוודא שהסטודנטים משתמשים בבינה מלאכותית בצורה חכמה ושהם מבינים את מה שהם הגישו.

המערכת הבינה המלאכותית החדשה שפיתחו, שכבר פעלה בפיילוט בקורסי מדעי המחשב, היא ככל הידוע להם הראשונה מסוגה בישראל ואחת הראשונות בעולם. היא מנתחת את תשובות הסטודנטים ומאפשרת להעריך את רמת ההבנה שלהם באופן מעמיק, ולא רק אם התוצאה הסופית נכונה.

איך זה עובד? לאחר הגשת מטלת התכנות, הסטודנט מזמן לעצמו בחינה קצרה ומגיע לחדר ייעודי בבית הספר למדעי המחשב. הוא מתיישב מול עמדה נעולה, שאינה מאפשרת מעבר לתוכנות או לחלונות אחרים, והמערכת מושכת אוטומטית את הקוד שהגיש.

לאחר שהסטודנט מאשר שזה הקוד שלו, המסך מתפצל: בצד אחד מופיע הקוד ובצד השני מתנהלת שיחה עם בוחן מבוסס AI. במהלך בחינה שנמשכת כ-16 דקות, המערכת שואלת בדרך כלל שלוש שאלות ומדגישה בכל פעם את השורות הרלוונטיות בקוד.

"המערכת בעצם לוקחת אותך כסטודנט ל'שיחה', היא תשאל אותך כל מיני שאלות על המטלה כדי להעריך את רמת השליטה שלך בקוד שהגשת, עד כמה אתה מבין אותו, עד כמה אתה מסוגל לשנות אותו, להבין את הזרימה שלו", מסביר סרנה. "המטרה היא בעידן שכולם משתמשים בבינה מלאכותית, להצליח ולהעריך כמה אתה באמת מבין את מה שאתה עושה ולא רק נסמך על הבינה מלאכותית".

השאלות אינן מוכנות מראש. המתרגל מגדיר את הנושאים, רמת הידע המצופה והדגשים לבדיקה, והמערכת יוצרת עשרות תבניות אפשריות: למשל על בחירה תכנונית, מקרי קצה או תקלות בקוד, אותם צריך המתרגל לאשר. היופי הוא שרק כאשר התבנית פוגשת את הקוד של סטודנט מסוים היא הופכת לשאלה אישית שתלויה בפתרון שלו.

גם הציון מבוסס על כמה סוכני AI: סוכן אחד בוחן את הקוד בלי לראות את הבחינה, סוכן אחר קורא את השיחה בלי לראות את הקוד, וסוכן שלישי משקלל את הממצאים. "יש רציונל מאחורי הבחירה", מציין סרנה, מומחה בעצמו לבינה מלאכותית. רבע מהציון מבוסס על איכות הקוד ושלושה רבעים על מידת ההבנה והשליטה שהפגין הסטודנט. בסיום הוא מקבל מייל עם הציון, פירוט על התשובות והנושאים שעליהם כדאי לחזור.

מאחורי הפיתוח עומדים, לצד סרנה, שחר שגיא, המתרגל בקורס מערכות הפעלה שהוביל את הפיתוח בפועל, וד"ר יוסי בן ציון, מומחה לפיתוח טכנולוגיות למידה, שליווה את תכנון המערכת, המימוש וההטמעה. המערכת פותחה בתוך שלושה שבועות בעזרת קלוד קוד.

כ-260 סטודנטים כבר נבחנו באמצעות המערכת. כדרכם בקודש, סטודנטים רבים התנגדו לשינוי. אחד מהם הוא דביר, סטודנט שהשתמש במערכת לאורך הסמסטר. הוא מספר שגם הוא הגיע לבחינה הראשונה בלחץ, אך ההכנה המשותפת עם חבריו אילצה אותם לעבור על הקוד לעומק. "בדיעבד, עצם ההכנה הזו גרמה לנו להבין את החומר הרבה יותר טוב", הוא אומר.

לדבריו, הבחינה עצמה הרגישה בסופו של דבר פחות כמו מבחן ויותר כמו הסבר לחבר, והמערכת השתפרה לאורך הסמסטר גם בהתמודדות עם תקלות ובאופן שבו העריכה תשובות. "בסופו של דבר זה עזר לי להבין את החומר הרבה יותר טוב ולקשר בין המשימות לבין הנושאים שנלמדו בקורס", הוא אומר.

סטודנט שלא הצליח בבחינה יכול לקבוע מועד נוסף, כאשר בכל ניסיון מופיעות שאלות אחרות. "אם לא הלך טוב, אתה יכול לקבוע עוד בחינה ומבחינתי אתה יכול לעשות את זה כמה פעמים שאתה רוצה, כי ברגע שאני באמת יודע להגיד שאתה מבין ברמה של הציון שאני נתתי לך, אז כבר לא אכפת לי שכולם יקבלו 100 בקורס שלי, כי אני יודע שעומד מאחורי הציון ידע אמיתי", אומר סרנה.

לקראת שנת הלימודים הבאה מתכננים בבר-אילן להרחיב את השימוש במערכת גם לקורסי מתמטיקה, ובהם אלגברה ליניארית, וסרנה וצוותו כבר מדברים עם גופים אקדמיים שונים.