לגוגל יש כלי אוטומטי לזיהוי תמונות פוגעניות של ילדים. רוב הזמן הוא עוזר בניטור ואיתור פדופילים, אך לעיתים אותו כלי טועה, מה שעלול להוביל להשלכות חמורות. המקרה של מארק, מהנדס תוכנה ואב במשרה מלאה מסן פרנסיסקו שפורסם ב"ניו יורק טיימס", הוא דוגמא נהדרת למקרה שבו אותו כלי מפשל – ובענק.
מארק הבחין במשהו לא בסדר עם הפעוט שלו. איבר מינו של בנו נראה נפוח וכאב לו. האב המודאג צילם תמונות בסמארטפון שלו כדי לתעד את הבעיה, במטרה לעקוב אחר ההתקדמות.
בפברואר 2021, בזמן מגפת הקורונה, אשתו של מארק התקשרה בשיחת וידאו לאחות כדי לקבל ייעוץ וכדי לקבוע תור חירום. כדי שהרופא יוכל לבחון את המקרה מראש, האחות ביקשה מהם לשלוח תמונות ואשתו של מארק שלחה את התמונות, דרך הטלפון של בן זוגה.
בעוד הרופא עזר לאבחן את הבעיה של הילד, מארק היה זה שהסתבך בבעיה גדולה בהרבה. הוא קיבל הודעה מגוגל ובה נמסר לו כי כל חשבונותיו ננעלו לאור הפצת תוכן פוגעני שנוגד את חוקי גוגל. כתוצאה מכך, מארק נשאר ללא גישה לגוגל – משמע לתמונות שלו, לאנשי הקשר שלו, לפגישות ואפילו למספר הטלפון שלו, שהיה מקושר לGoogle Fi. כלומר, היה עליו לקבל מספר טלפון חדש עם ספק אחר. ללא גישה למספר הטלפון הישן ולכתובת האימייל שלו, הוא לא יכול היה להשיג את קודי האבטחה הדרושים לו כדי להיכנס לחשבונות דיגיטליים אחרים.
אם זה לא מספיק, משטרת סן פרנסיסקו פתחה בחקירה נגדו וכמובן קיבלה מגוגל גישה לכל המידע שלו. בסופה של החקירה, מארק כמובן יצא זכאי, אבל בגוגל לא ממש לקחו אחריות וטענו כי הם למעשה ממלאים את הוראות החוק של ארה"ב שמטרתם להילחם בפדופיליה, וטענו שהם מתייעצים עם רופאים במטרה ולמנוע מקרים כאלה ולזהות מתי מדובר בייעוץ רפואי.
תמונות של ילדים מנוצלים או עוברים התעללות מינית מנוטרות על ידי ענקיות הטכנולוגיה מיליוני פעמים בשנה. בשנת 2021, גוגל לבדה הגישה למעלה מ-600,000 דיווחים על חומרים פדופילים והשביתה את החשבונות של למעלה מ-270,000 משתמשים כתוצאה מכך.
גוגל פיתחה בשנת 2018 כלי שמבוסס על בינה מלאכותית, שמאפשר לזהות גם תמונות של ילדים שלא מוכרות למערכת. כלומר אפשר למצוא לא רק תמונות של ילדים שעברו התעללות, אלא תמונות של קורבנות לא ידועים לרשויות שיכולים להינצל. גוגל הפכה את הטכנולוגיה שלה זמינה לחברות אחרות, כולל לפייסבוק. כאשר התמונות של מארק הועלו אוטומטית מהטלפונים שלהם לשרתים של גוגל, הטכנולוגיה הזו סימנה אותם.
בודק תוכן של גוגל עובר על התמונות שסומנו על ידי הבינה המלאכותית כדי לאשר שהן עומדות בהגדרה הפדרלית של התעללות מינית בילדים. כאשר גוגל מגלה דבר כזה, היא נועלת את חשבון המשתמש, מחפשת חומר פדופילי אחר, ומדווחת למרכז הלאומי לילדים נעדרים ומנוצלים.