המשרד לשירותים פיננסיים בניו יורק פתח החקירה לאחר שדיוויד היינמאייר הנסון צייץ ביום חמישי כי אפל קארד – כרטיס אשראי שהנפיק גולדמן סאקס – העניק לו מגבלת אשראי גדולה פי 20 מזו של אשתו.
The @AppleCard is such a fucking sexist program. My wife and I filed joint tax returns, live in a community-property state, and have been married for a long time. Yet Apple’s black box algorithm thinks I deserve 20x the credit limit she does. No appeals work.
— DHH (@dhh) November 7, 2019
הציוצים, שחלקם הכילו קללות, משכו תשומת לב רב בטוויטר, כולל תגובה של אחד ממייסדי אפל, סטיב ווזניאק.
ווזניאק כתב: "אותו הדבר קרה לנו. קיבלתי מסגרת אשראי גדולה פי 10. אין לנו חשבון בנק או חשבונות כרטיסי אשראי נפרדים, או נכסים נפרדים. קשה גם להשיג אדם שיענה ויתקן את זה. כך נראות חברות הטכנולוגיה הגדולות ב-2019".
The same thing happened to us. I got 10x the credit limit. We have no separate bank or credit card accounts or any separate assets. Hard to get to a human for a correction though. It's big tech in 2019.
— Steve Wozniak (@stevewoz) November 10, 2019
הנסון לא חשף את נתוני ההכנסה של אשתו ושלו, אולם אמר כי הם מגישים שומות מס משותפות, וכי לאשתו יש דירוג אשראי טוב משלו.
אפל קארד הוא מיזם משותף בין אפל לגולדמן סאקס, בנק השקעות שנהפך במשבר הפיננסי גם לבנק קמעונאי ומרחיב את פעילותו בתחום יותר ויותר. זהו כרטיס האשראי הראשון שאפל הציגה. הוא הושק באוגוסט ונחשב על ידי בכירי שתי החברות כאחת ההשקות המוצלחות ביותר. הבנק אחראי להחלטות הקצאת אשראי. נכון לסוף אוקטובר, הלווה גולדמן ללקוחות אפל קארד 10 מיליארד דולר, לפי מסמכים שהוגשו לרשויות.
אפל קארד משרת בין היתר לקוחות שלא היה להם כרטיס אשראי לפני כן, או שדירוג האשראי שלהם נמוך מהממוצע. חברת האשראי שמספקת לו את התשתית היא מאסטרקארד. הוא זמין רק לבעלי אייפון, ואפשר לשלם איתו באופן פיזי בחנות, או דרך אפל פיי, שירות התשלומים המקוון של אפל.
לפי תחזית של אנליסטים מבנק נומורה היפני, יידרשו לגולדמן ארבע שנים להגיע לאיזון בעסקי אפל קארד, בהנחה שהבנק מוציא 350 דולר על כל לקוח חדש, וכי ההוצאה הממוצעת של לקוחות הכרטיס היא 5,000 דולר בשנה, עם ריבית שנתית ממוצעת של 18.5%.
החקירה נפתחת
המשרד לשירותים פיננסיים בניו יורק הודיע כי יפתח בחקירה לבדוק אם הופרו חוקי המדינה, "ולהבטיח כי כל הצרכנים מקבלים יחס שווה בלי קשר למגדרם. כל אלגוריתם, מכוון או לא, שמפלה נשים או כל קבוצת אנשים, מפר את חוקי ניו יורק".
"החלטות האשראי שלנו מבוססות על אמינות האשראי של הלקוחות ולא על גורמים כמו מגדר, גזע, גיל, נטייה מינית או כל בסיס אחר האסור על פי חוק", אמר דובר גולדמן אנדרו ויליאמס.
תפנית הפרסה הלא מובנת
ואולם הנסון סיפר כי תשובה זו אינה מסבירה מה שקרה אחרי שדברים התפרסמו.
"ברגע שזה נהפך לבעיה תדמיתית, הם (גולדמן) מיד העלו את מסגרת האשראי שלה בלי לבקש שום מסמכים נוספים", הוא אמר בריאיון לבלומברג. "אני מאמין שלא היתה כוונה זדונית להפלות, אבל זה לא משנה. איך אפשר לדעת שאין בעיה באלגוריתם של למידת מכונה (בינה מלאכותית) כשאף אחד לא יכול להסביר איך התקבלה ההחלטה?
זוהי הפעם השנייה שרגולטור פועל בנושא דומה בשבועות האחרונים. המשרד לשירותים פיננסיים בניו יורק פתח בחקירה דומה נגד יונייטד הלת' גרופ, חברת שירותי בריאות, לאחר שמחקר הראה כי האלגוריתם שלה הפלה לטובה פציינטים לבנים על פני שחורים.
עליית המכונות
בנקים מרחיבים את השימוש שלהם בבינה מלאכותית ומכונות כדי לקבל החלטות על הקצאת אשראי, כאסטרטגיה להפחית עלויות ולהגדיל מספר הלוואות. בה בעת, חברות טכנולוגיה נכנסות לתחומן עם טכנולוגיה פיננסית, כולל אמזון, אפל, פייסבוק וגוגל, שמציעות הלוואות ואמצעי תשלום.
המקרה של אפל קארד ממחיש את הפחד של המוסדות הפיננסיים המסורתיים מהתחרות הטכנולוגית – הדרישה של אפל כי כרטיס האשראי ישרת בעלי אייפון מחייבת את גולדמן להעניק אשראי גם לבעלי היסטוריית אשראי לא משובחת.
הנסון אמר כי הפוסטים שלו הובילו את החברה לבצע ביקורת פנימית, וכי הוא מקווה שזה יעורר שיחה בנוגע לאלגוריתמים "קופסה שחורה" וההטיה המובנית שבמערכות מסוג זה.
הנסון, דני בן 40, ידוע כיוצר כלי התכנות הפופולרי רובי און ריילס (Ruby on Rails). הוא שותף בבייסקאמפ (Basecamp), חברת פיתוח תוכנה מבוססת אינטרנט, וידוע גם כמתחרה במרוצי מכוניות מרתוניים, כולל 24 שעות בלה מאנס בצרפת.
"גולדמן ואפל מאצילים סמכויות הערכת אשראי לקופסה שחורה", אמר הנסון. "אין להם כוונה להפלות על בסיס מגדרי, אבל התוצאה היא אפליה מגדרית".
המחוקקים כבר סימנו כוונת
השימוש באלגוריתמים על ידי בנקים ומלווים בהחלטות אשראי משך כבר תשומת לב ביקורתית מצד הקונגרס. ביוני, ועדת השירותים הפיננסיים בבית הנבחרים שמעה עדויות על קבלת החלטות באמצעות אלגוריתמים. חוקרים הציגו מקרים שבהם היתה הטיה נגד קבוצות מוגדרות למרות שלא היתה כוונה מראש להפלותן.
מחוקקים דורשים כבר תגובה ברמה הפדרלית. הסנאטורית אליזבת וורן, דמוקרטית ממסצ'וסטס ומתמודדת על המועמדות הדמוקרטית לנשיאות ב-2020, אמרה לרגולטורים הפדרליים ביוני כי הממשל "יידרש לנקוט בצעדים כדי להבטיח שחוקים למניעת אפליה לא יפגרו אחר חדשנות טכנולוגית".
הכתבה המקורית פורסמה ב- TheMarker
לכתבות נוספות באתר:
אחרי "הקשקוש בקומקום" - אמסלם חזר בו: יאשר את העסקה לרכישת בזק
דודי עזרא מוכר לאחים שבע 50% ממניות ביכורי השדה דרום ב-300 מיליון שקל
