Nachricht

Jun 17, 2023

Googles Foto-App kann Gorillas immer noch nicht finden. Und Apple kann es auch nicht.

Werbung Unterstützt von Acht Jahre nach einer Kontroverse über Schwarze

Werbung

Unterstützt durch

Acht Jahre nach einer Kontroverse darüber, dass Schwarze Menschen von Bildanalysesoftware fälschlicherweise als Gorillas eingestuft wurden – und trotz großer Fortschritte in der Computer-Vision – fürchten Technologiegiganten immer noch, dass der Fehler wiederholt wird.

Von Nico Grant und Kashmir Hill

Als Google im Mai 2015 seine eigenständige Foto-App herausbrachte, waren die Menschen von deren Möglichkeiten begeistert: Bilder zu analysieren, um die darin enthaltenen Personen, Orte und Dinge zu kennzeichnen, ein damals erstaunliches Verbraucherangebot. Doch ein paar Monate nach der Veröffentlichung entdeckte ein Softwareentwickler, Jacky Alciné, dass Google Fotos von ihm und einem Freund, die beide Schwarze sind, als „Gorillas“ gekennzeichnet hatte, ein Begriff, der besonders anstößig ist, weil er jahrhundertealte Rassisten widerspiegelt Tropen.

In der darauffolgenden Kontroverse verhinderte Google, dass seine Software irgendetwas in Fotos als Gorillas kategorisierte, und versprach, das Problem zu beheben. Acht Jahre später, mit erheblichen Fortschritten in der künstlichen Intelligenz, testeten wir, ob Google das Problem gelöst hatte, und schauten uns vergleichbare Tools seiner Konkurrenten an: Apple, Amazon und Microsoft.

Foto-Apps von Apple, Google, Amazon und Microsoft nutzen künstliche Intelligenz, um in unseren immer größeren Fotosammlungen nach bestimmten Objekten zu suchen und bestimmte Erinnerungen zu lokalisieren. Möchten Sie aus 8.000 Bildern Ihren Tag im Zoo finden? Fragen Sie die App. Um die Suchfunktion zu testen, haben wir sie kuratiert44 Bildermit Menschen, Tieren und Alltagsgegenständen.

Wir haben mit Google Fotos begonnen. Als wir unsere Sammlung durchsuchtenKatzenUndKängurus, Wir haben Bilder erhalten, die unseren Anfragen entsprachen. Bei der Erkennung der meisten anderen Tiere schnitt die App gut ab.

Aber als wir suchtenGorillas, Google Fotos konnte keine Bilder finden. Wir haben unsere Suche erweitert aufPaviane, Schimpansen, Orang-UtansUndAffen,Und es scheiterte trotzdem, obwohl es Bilder aller dieser Primaten in unserer Sammlung gab.

Anschließend haben wir uns die Konkurrenten von Google angesehen. Wir haben herausgefunden, dass Apple Photos das gleiche Problem hatte: Es konnte Fotos bestimmter Tiere, mit Ausnahme der meisten Primaten, genau finden. Wir haben Ergebnisse für erhaltenGorilla,aber nur, wenn der Text auf einem Foto erschien, beispielsweise einem Bild von Gorilla Tape.

Die Fotosuche in Microsoft OneDrive ergab für jedes Tier, das wir ausprobierten, keine Ergebnisse. Amazon Photos zeigte Ergebnisse für alle Suchanfragen, war jedoch zu umfassend. Als wir suchtenGorillas,Die App zeigte eine Menagerie von Primaten und wiederholte dieses Muster für andere Tiere.

nicht definiert

Es gab ein Mitglied der Primatenfamilie, das Google und Apple erkennen konnten – Lemuren, die ständig erschrocken aussehenden Tiere mit langem Schwanz, die mit Menschen gegensätzliche Daumen teilen, aber weiter entfernt miteinander verwandt sind als Affen.

Die Tools von Google und Apple waren eindeutig die fortschrittlichsten, wenn es um die Bildanalyse ging.

Dennoch hat Google, dessen Android-Software auf den meisten Smartphones der Welt basiert, beschlossen, die Möglichkeit zur visuellen Suche nach Primaten auszuschalten, aus Angst, einen beleidigenden Fehler zu machen und eine Person als Tier abzustempeln. Und Apple, dessen Technologie in unserem Test ähnlich funktionierte wie die von Google, schien auch die Fähigkeit, nach Affen und Menschenaffen zu suchen, zu deaktivieren.

Verbraucher müssen eine solche Suche möglicherweise nicht häufig durchführen – allerdings beschwerte sich 2019 ein iPhone-Benutzer im Kundensupport-Forum von Apple darüber, dass die Software „auf meinem Gerät keine Affen in Fotos finden kann“. Das Problem wirft jedoch größere Fragen zu anderen nicht behobenen oder nicht behebbaren Fehlern auf, die in Diensten lauern, die auf Computer Vision – einer Technologie, die visuelle Bilder interpretiert – sowie anderen auf KI basierenden Produkten basieren

Herr Alciné war bestürzt, als er erfuhr, dass Google das Problem immer noch nicht vollständig gelöst habe, und sagte, die Gesellschaft setze zu viel Vertrauen in die Technologie.

„Ich werde für immer kein Vertrauen in diese KI haben“, sagte er.

Computer-Vision-Produkte werden heute für Aufgaben eingesetzt, die so banal sind wie das Versenden einer Warnung, wenn ein Paket vor der Haustür liegt, und so wichtige Aufgaben wie das Navigieren in Autos und das Auffinden von Tätern bei Ermittlungen der Strafverfolgungsbehörden.

Fehler können ein Ausdruck rassistischer Einstellungen bei denjenigen sein, die die Daten verschlüsseln. Bei dem Gorilla-Vorfall sagten zwei ehemalige Google-Mitarbeiter, die an dieser Technologie arbeiteten, das Problem bestehe darin, dass das Unternehmen nicht genügend Fotos von Schwarzen in die Bildersammlung aufgenommen habe, die es zum Trainieren seines KI-Systems verwendet habe. Daher war die Technologie bei Menschen mit dunklerer Hautfarbe nicht ausreichend vertraut und verwechselte sie mit Gorillas.

Da künstliche Intelligenz immer stärker in unser Leben integriert wird, weckt sie Ängste vor unbeabsichtigten Folgen. Obwohl sich Computer-Vision-Produkte und KI-Chatbots wie ChatGPT unterscheiden, sind beide auf zugrunde liegende Unmengen von Daten angewiesen, die die Software trainieren, und beide können aufgrund von Fehlern in den Daten oder in ihrem Code enthaltenen Vorurteilen Fehlfunktionen auslösen.

Microsoft hat kürzlich die Möglichkeit der Benutzer, mit einem in seiner Suchmaschine Bing integrierten Chatbot zu interagieren, eingeschränkt, nachdem dieser unangemessene Konversationen angezettelt hatte.

Die Entscheidung von Microsoft, ebenso wie die Entscheidung von Google, seinen Algorithmus daran zu hindern, Gorillas überhaupt zu identifizieren, verdeutlicht einen gängigen Ansatz der Branche: Fehlfunktionen von Technologiefunktionen abzuschirmen, anstatt sie zu reparieren.

„Es ist wichtig, diese Probleme zu lösen“, sagte Vicente Ordóñez, Professor an der Rice University, der sich mit Computer Vision beschäftigt. „Wie können wir dieser Software für andere Szenarien vertrauen?“

Michael Marconi, ein Google-Sprecher, sagte, Google habe seine Foto-App daran gehindert, irgendetwas als Affen oder Affen zu kennzeichnen, weil es entschieden habe, dass der Nutzen „das Schadensrisiko nicht überwiege“.

Apple lehnte es ab, sich dazu zu äußern, dass Benutzer in seiner App nicht nach den meisten Primaten suchen können.

Vertreter von Amazon und Microsoft sagten, die Unternehmen seien stets bestrebt, ihre Produkte zu verbessern.

Als Google seine vor acht Jahren veröffentlichte Foto-App entwickelte, sammelte das Unternehmen eine große Menge an Bildern, um das KI-System darauf zu trainieren, Menschen, Tiere und Objekte zu identifizieren.

Das schwerwiegende Versehen, dass die Trainingsdaten nicht genügend Fotos von Schwarzen enthielten, führte später zu Fehlfunktionen der App, sagten zwei ehemalige Google-Mitarbeiter. Dem Unternehmen sei es damals nicht gelungen, das „Gorilla“-Problem aufzudecken, weil es nicht genügend Mitarbeiter gebeten habe, die Funktion vor ihrer öffentlichen Einführung zu testen, sagten ehemalige Mitarbeiter.

Google entschuldigte sich ausführlich für den Vorfall mit den Gorillas, aber es war einer von mehreren Vorfällen in der gesamten Technologiebranche, die zu Vorwürfen der Voreingenommenheit geführt haben.

Zu den weiteren Produkten, die kritisiert wurden, gehören die Gesichtserkennungs-Webcams von HP, die einige Menschen mit dunkler Hautfarbe nicht erkennen konnten, und die Apple Watch, die einer Klage zufolge den Blutsauerstoffgehalt über alle Hautfarben hinweg nicht genau messen konnte. Die Fehler deuteten darauf hin, dass technische Produkte nicht für Menschen mit dunklerer Haut entwickelt wurden. (Apple verwies auf ein Papier aus dem Jahr 2022, in dem seine Bemühungen detailliert beschrieben wurden, seine Blutsauerstoff-App an einer „breiten Palette von Hauttypen und -tönen“ zu testen.)

Jahre nach dem Fehler bei Google Fotos stieß das Unternehmen bei internen Tests auf ein ähnliches Problem mit seiner Heimsicherheitskamera Nest, so eine mit dem Vorfall vertraute Person, die damals bei Google arbeitete. Die Nest-Kamera, die mithilfe von KI feststellte, ob jemand auf einem Grundstück vertraut oder unbekannt war, verwechselte einige Schwarze mit Tieren. Google beeilte sich, das Problem zu beheben, bevor Nutzer Zugriff auf das Produkt hatten, sagte die Person.

Nest-Kunden beschweren sich jedoch weiterhin in den Foren des Unternehmens über andere Mängel. Im Jahr 2021 erhielt ein Kunde die Benachrichtigung, dass seine Mutter an der Tür klingelte, fand aber stattdessen seine Schwiegermutter auf der anderen Seite der Tür. Als Benutzer sich darüber beschwerten, dass das System Gesichter verwechselte, die sie als „bekannt“ markiert hatten, riet ihnen ein Kundendienstmitarbeiter im Forum, alle ihre Etiketten zu löschen und von vorne zu beginnen.

Herr Marconi, der Google-Sprecher, sagte: „Unser Ziel ist es, zu verhindern, dass solche Fehler jemals passieren.“ Er fügte hinzu, dass das Unternehmen seine Technologie „durch die Zusammenarbeit mit Experten und die Diversifizierung unserer Bilddatensätze“ verbessert habe.

Im Jahr 2019 versuchte Google, eine Gesichtserkennungsfunktion für Android-Smartphones zu verbessern, indem es die Anzahl der Menschen mit dunkler Hautfarbe in seinem Datensatz erhöhte. Doch die Auftragnehmer, die Google mit der Erfassung von Gesichtsscans beauftragt hatte, griffen Berichten zufolge auf eine beunruhigende Taktik zurück, um den Mangel an vielfältigen Daten auszugleichen: Sie zielten auf Obdachlose und Studenten ab. Google-Führungskräfte bezeichneten den Vorfall damals als „sehr beunruhigend“.

Während Google hinter den Kulissen an der Verbesserung der Technologie arbeitete, erlaubte es den Nutzern nie, diese Bemühungen zu beurteilen.

Margaret Mitchell, eine Forscherin und Mitbegründerin der Ethical AI-Gruppe von Google, trat dem Unternehmen nach dem Gorilla-Vorfall bei und arbeitete mit dem Fotos-Team zusammen. Sie sagte kürzlich in einem Interview, dass sie eine Befürworterin der Entscheidung von Google sei, „das Gorilla-Label zumindest für eine Weile zu entfernen“.

„Man muss darüber nachdenken, wie oft jemand einen Gorilla bezeichnen muss, anstatt schädliche Stereotypen aufrechtzuerhalten“, sagte Dr. Mitchell. „Die Vorteile überwiegen nicht die potenziellen Schäden einer falschen Vorgehensweise.“

Dr. Ordóñez, der Professor, spekulierte, dass Google und Apple nun in der Lage sein könnten, Primaten von Menschen zu unterscheiden, dass sie die Funktion jedoch nicht aktivieren wollten, da bei einem erneuten Fehlschlag ein Reputationsrisiko bestehen könnte.

Google hat inzwischen ein leistungsstärkeres Bildanalyseprodukt herausgebracht, Google Lens, ein Tool zum Durchsuchen des Webs mit Fotos statt mit Text. Wired stellte 2018 fest, dass das Tool auch keinen Gorilla identifizieren konnte.

Als wir Lens ein Foto eines Hundes zeigten, konnte er Hinweise auf die wahrscheinliche Rasse geben.

Aber als wir ihm einen Gorilla, einen Schimpansen, einen Pavian und einen Orang-Utan zeigten, schien Lens ratlos zu sein, weigerte sich, das Bild zu kennzeichnen und brachte nur „visuelle Übereinstimmungen“ zum Vorschein – Fotos, die seiner Meinung nach dem Originalbild ähnelten.

Bei Gorillas wurden Fotos von anderen Gorillas gezeigt, was darauf hindeutet, dass die Technologie das Tier erkennt, das jedoch nicht

Das Unternehmen hat Angst, es zu kennzeichnen.

Als wir Lens ein Foto eines Hundes zeigten, konnte er Hinweise auf die wahrscheinliche Rasse geben.

Aber als wir ihm einen Gorilla, einen Schimpansen, einen Pavian und einen Orang-Utan zeigten, schien Lens ratlos zu sein, weigerte sich, das Bild zu kennzeichnen und brachte nur „visuelle Übereinstimmungen“ zum Vorschein – Fotos, die seiner Meinung nach dem Originalbild ähnelten.

Bei Gorillas wurden Fotos von anderen Gorillas gezeigt, was darauf hindeutet, dass die Technologie das Tier erkennt, das Unternehmen jedoch Angst davor hat, es zu kennzeichnen.

nicht definiert

Diese Systeme seien niemals narrensicher, sagte Dr. Mitchell, der nicht mehr bei Google arbeitet. Da Milliarden von Menschen die Dienste von Google nutzen, treten selbst seltene Störungen auf, die nur einer von einer Milliarde Nutzern betrifft.

„Es genügt ein Fehler, um massive soziale Auswirkungen zu haben“, sagte sie und bezeichnete ihn als „die vergiftete Nadel im Heuhaufen“.

Nico Grant ist ein Technologiereporter aus San Francisco, der über Google berichtet. Zuvor war er fünf Jahre lang bei Bloomberg News tätig, wo er sich auf Google und Cloud Computing konzentrierte. @nicoagrant

Kashmir Hill ist ein in New York ansässiger Tech-Reporter. Sie schreibt über die unerwartete und manchmal bedrohliche Art und Weise, wie Technologie unser Leben verändert, insbesondere wenn es um unsere Privatsphäre geht. @kashhill

Werbung