Artikkelit

Generatiivisten tekoälyhakujen epätarkkuus on noussut yli 60 prosenttiin. Erityisen epäluotettava on Grok.

Columbia Journalism Reviewin tutkimus paljastaa isoja heikkouksia generatiivisissa tekoälyhauissa. Tutkimuksessa testattiin kahdeksaa tekoälypohjaista hakutyökalua, ja niiden havaittiin antavan väärää tietoa uutislähteistä yli 60 prosentissa tapauksista.

Tutkijat kertovat raportissaan, että noin neljäsosa amerikkalaisista käyttää nyt tekoälyä perinteisten hakukoneiden sijaan. Tämä herättää huolta näiden palveluiden luotettavuudesta, erityisesti kun virhemarginaali on ilmeisen suuri.

Tutkimuksessa havaittiin, että tekoälyhakujen tarkkuus vaihteli merkittävästi eri palveluiden välillä. Esimerkiksi Perplexity antoi vääriä tietoja 37 prosentissa tapauksista, kun taas ChatGPT Search määritteli väärin 67 prosenttia (134/200) artikkeleista. Suurin virheprosentti oli Grok 3 -hakukoneella, joka antoi väärää tietoa peräti 94 prosentissa tapauksista.

Tutkimus suoritettiin syöttämällä tekoälylle suoria otteita uutisartikkeleista ja pyytämällä sitä tunnistamaan artikkelin otsikko, alkuperäinen julkaisija, julkaisupäivä ja URL-osoite. Yhteensä tutkijat tekivät kaikkiaan 1 600 kyselyä kahdeksalla eri tekoälyhakukoneella.

Tutkimuksessa havaittiin, että maksulliset versiot, kuten Perplexity Pro (20 €/kk) ja Grok 3:n premium-versio (40 €/kk), antoivat epätarkkoja vastauksia useammin kuin ilmaiset versiot. Vaikka maksulliset versiot vastasivat useampiin kysymyksiin oikein, niiden taipumus vastata epävarmoihin kysymyksiin lisäsi virheiden kokonaismäärää.

Tutkimuksessa ilmeni myös, että jotkin tekoälyhakukoneet ohittavat julkaisijoiden asettamat Robot Exclusion Protocol -asetukset, joiden tarkoitus on estää luvaton käyttö. Esimerkiksi Perplexityn ilmaisversio pystyi tunnistamaan kaikki 10 otetta maksumuurin takana olevasta National Geographicin sisällöstä, vaikka sivusto oli estänyt Perplexityn hakurobotit.

Tutkijat havaitsivat, että tekoälyhakukoneet ohjasivat käyttäjiä usein uutisartikkelien syndikoituihin versioihin, kuten Yahoo Newsin sivuille sen sijaan, että ne linkittäisivät alkuperäisiin julkaisuihin. Yli puolet Google Geminin ja Grok 3:n antamista URL-linkeistä olivat virheellisiä tai johtivat rikkinäisille sivuille.

Mediatalot ovat tutkimuksen perusteella hankalassa asemassa. jJos ne estävät tekoälyhakurobotit, niiden sisältö voi jäädä kokonaan huomiotta. Toisaalta, jos ne sallivat pääsyn, heillä on vain vähäinen kontrolli siitä, miten ja missä muodossa heidän sisältöään käytetään.

OpenAI ja Microsoft eivät ole suoraan vastanneet esitettyihin ongelmiin, joita tutkijat heille esittivät. OpenAI totesi pyrkivänsä tukemaan julkaisijoita tarjoamalla liikennettä takaisin alkuperäisiin lähteisiin, kun taas Microsoft vakuutti noudattavansa Robot Exclusion Protocolia ja julkaisijoiden ohjeita.

Tutkimus perustuu Tow Centerin aiempiin havaintoihin marraskuulta 2024, joissa havaittiin vastaavia ongelmia ChatGPT:n uutisaiheisten hakujen tarkkuudessa.

Hei! Luitko jo tämän?

Näin Facebook- ja Instagram-syötteet muuttuvat

Tagit: tekoäly  ChatGPT  Grok  OpenAI    Takaisin