En AI-hallucination från Google uppgav felaktigt att den japanska textilgrossisten Iwate Sen-i hade upphört med sin verksamhet och gått in i ett särskilt likvidationsförfarande.
Företaget fortsatte dock sin verksamhet som vanligt. Trots det visades den felaktiga AI-sammanfattningen högst upp i Googles sökresultat, vilket snabbt skapade oro bland anställda, kunder, leverantörer och affärspartner.
En anställd upptäckte enligt uppgift resultatet den 10 juli och informerade företagets grundare. Inom några dagar började oroliga personer ringa företaget, medan flera affärspartner besökte kontoret för att fråga om bolaget hade ekonomiska problem.
Felaktig Google-sammanfattning skapade omedelbar oro
Iwate Sen-i har omkring 90 anställda och en årlig omsättning på cirka 2 miljarder yen, motsvarande omkring 12 miljoner dollar.
Företaget hade inte gått i likvidation. Trots det hävdade Googles AI-genererade svar motsatsen, vilket skapade osäkerhet bland personer som använde sökresultaten för att få information om verksamheten.
För ett företag som är beroende av kunders och leverantörers förtroende kan ett sådant påstående orsaka betydande skada, även om det bara ligger ute under en kort tid. Oroliga affärspartner kan skjuta upp beställningar, ompröva avtal eller kontakta företaget direkt för att få besked.
Händelsen visar också hur AI-sammanfattningar som placeras högst upp i sökresultaten kan ge overifierad information en falsk känsla av trovärdighet.
Betalvägg kan ha orsakat felet
Rapporter tyder på att Google kan ha förväxlat Iwate Sen-i med en annan klädgrossist i samma stad.
Det andra företaget hade faktiskt gått in i särskild likvidation. Den lokala tidningen The Iwate Nippo publicerade dock enligt uppgift en rubrik bakom betalvägg som endast hänvisade till en ”klädgrossist i Yahaba” utan att nämna företagets namn.
Iwate Sen-is chef Yoshitaka Watabe undersökte problemet och identifierade den lokala artikeln som en möjlig källa till felet.
Eftersom hela artikeln låg bakom en betalvägg kan AI-systemet ha saknat den kontext som krävdes för att identifiera rätt företag. I stället kan systemet ha kopplat uppgifterna om likvidationen till Iwate Sen-i.
Google kommenterade inte det enskilda fallet. Företaget uppgav dock att AI-system ibland kan misstolka information på webben eller missa viktig kontext.
Google markerade uppgiften som obestyrkt
Google markerade enligt uppgift beskrivningen som obestyrkt information den 19 juli, nio dagar efter att det felaktiga resultatet först hade visats.
En professor i biblioteks- och informationsvetenskap vid Universitetet i Tsukuba anser att Google bör införa starkare skydd mot påståenden som kan skada ett företags rykte.
Sökmotorer skulle exempelvis kunna avstå från att visa AI-sammanfattningar när de inte kan verifiera allvarliga påståenden om konkurser, brottslighet eller nedlagda företag.
Google AI-hallucinationen belyser en växande utmaning för företag. AI-sammanfattningar kan snabbt sprida felaktig information, särskilt när användare betraktar ett sökresultat som ett tillförlitligt svar utan att kontrollera den ursprungliga källan.
0 svar till ”Googles AI-hallucination förklarar felaktigt japanskt företag i konkurs”