Šta su halucinacije AI-ja i kako ih sprečiti kod chat agenta
BizzBot4 min čitanja
Halucinacija je kad AI da odgovor koji zvuči uverljivo, a nije tačan. Chat agent tada, na primer, navede cenu koje nema ili uslov dostave koji ne postoji. Nastaje jer jezički model sastavlja najverovatniji tekst, a ne proverava činjenice. Rizik se ne može potpuno ukloniti, ali se može znatno smanjiti pažljivim podešavanjem.
Ukratko
- Halucinacija je netačan odgovor izrečen sigurnim tonom.
- Nastaje jer model pogađa verovatan tekst, a ne zna šta je istina za tvoju firmu.
- Najveći rizik su činjenice o tebi: cene, rokovi, uslovi, radno vreme.
- Rizik se smanjuje tako što agent odgovara samo iz tvog sadržaja i sme da kaže "ne znam".
- Redovan pregled razgovora hvata ono što je promaklo.
Kako izgleda halucinacija u praksi
Halucinacija retko izgleda kao očigledna glupost. Mnogo češće izgleda kao potpuno razuman odgovor koji nije tačan. Evo tri izmišljena primera, samo da se vidi obrazac:
- Kupac pita da li možeš da isporučiš u inostranstvo. Agent odgovara potvrdno, iako ne šalješ van zemlje.
- Posetilac pita koliko košta neka usluga. Agent navede cenu koja zvuči realno, a nigde ne piše na sajtu.
- Neko pita do kada može da vrati robu. Agent navede rok koji je uobičajen, ali nije tvoj.
U sva tri slučaja agent nije "pokvaren". Uradio je ono što model i inače radi: dopunio je prazninu onim što deluje verovatno. Opasno je baš to što ton ostaje isti, pa kupac nema načina da primeti razliku.
Zašto nastaju
Jezički model ne poznaje tvoju firmu, nego je učio na ogromnoj količini opštih tekstova. Kad ga pitaš nešto što ne zna, on nije ugrađen da zastane. Njegov zadatak je da nastavi tekst, pa ga nastavlja. Kako model radi običnim jezikom objašnjeno je u članku Kako chat agent razume šta kupac pita.
Rizik raste kad:
- agent nema podatak koji kupac traži,
- sadržaj na sajtu je zastareo ili protivurečan,
- pitanje je neodređeno, pa agent pogađa šta kupac misli,
- agent nije izričito uputen da prizna kad ne zna.
Zaključak je koristan: većina halucinacija nije misterija, nego posledica praznine u znanju ili praznine u pravilima.
Šta smanjuje rizik
Nijedna mera nije garancija, ali zajedno daju vidno pouzdaniji agent.
Znanje iz tvog sadržaja
Agent treba da odgovara na osnovu informacija koje si mu dao: sadržaja sajta, cenovnika, uslova. Što je taj sadržaj tačniji i potpuniji, manje prostora ostaje za pogađanje. Kako da ga pripremiš, piše u članku Kako pripremiti sadržaj sajta da chat agent odgovara tačno.
Pravilo "ne znam"
Agent mora da ima dozvolu, i obavezu, da kaže da nešto ne zna i da uputi posetioca na telefon ili mejl firme. Kod BizzBot-a je agent podešen upravo tako: ako ne zna odgovor, to iskreno kaže i upućuje na kontakt, umesto da izmišlja. Kako to da zvuči lepo, pogledaj u članku Kako chat agent treba da kaže "ne znam".
Jasne granice teme
Agent koji odgovara samo o tvojoj ponudi ima manje prilike da zaluta. Ako ga neko pita o stvarima van tvog posla, treba da ljubazno odbije, a ne da improvizuje.
Ljudski pregled
Čitaj razgovore, naročito u prvim nedeljama. Svaka greška koju primetiš je signal da u znanju nešto fali ili protivureči. Ispravi izvor, a ne samo pojedinačni odgovor.
Gde je rizik najveći, a gde najmanji
Nisu sve greške jednako skupe. Pogrešno radno vreme je neprijatno, pogrešan uslov reklamacije može biti ozbiljan. Zato razmisli u kojim temama ne želiš da agent daje ništa osim onoga što je doslovno napisano.
| Tema | Rizik od greške | Preporuka |
|---|---|---|
| Radno vreme, lokacija | Nizak | Agent odgovara iz sajta |
| Opis proizvoda, usluge | Srednji | Agent odgovara iz kataloga i opisa |
| Cene, akcije, rokovi | Visok | Redovno ažuriraj, proveravaj u razgovorima |
| Reklamacije, zdravlje, pravo | Vrlo visok | Samo opšte informacije, ostalo čovek |
Za medicinske i pravne delatnosti važi posebno pravilo: chat agent daje opšte informacije o usluzi, nikad dijagnozu, terapiju ni pravni savet.
Šta ako se ipak desi
Desiće se ponekad, i važno je da imaš plan. Ispravi izvor znanja, javi se kupcu ako je odgovor mogao da ga navede na pogrešan korak i zabeleži slučaj. Detaljan postupak je u članku Šta uraditi kad chat agent pogreši.
Česta pitanja
Da li AI uvek halucinira?
Ne. Većina odgovora je tačna, naročito kad agent ima dobar izvor. Problem je što se netačan odgovor ne razlikuje po tonu od tačnog, pa mu ne treba slepo verovati.
Može li da se halucinacija potpuno spreči?
Ne može se obećati potpuna sigurnost. Ali se rizik jako smanjuje ako agent odgovara iz tvog sadržaja, sme da kaže "ne znam" i ako redovno čitaš razgovore.
Kako da znam da je agent pogrešio?
Pregledom razgovora. Traži odgovore sa cenama, rokovima i uslovima i uporedi ih sa onim što stvarno važi u tvojoj firmi.
Šta dalje
Uzmi pet pitanja o ceni, dostavi i povratu i proveri da li odgovori koje agent daje odgovaraju realnosti. Ako želiš da vidiš kako se agent ponaša kad ne zna, probaj demo i postavi mu pitanje van teme.