Uredništvo, ki se preverja samo (in kdaj se ustavi)

Na naših spletnih straneh vodimo majhno knjižnico člankov za kupce nepremičnin: kako poteka notarski zapis kupoprodajne pogodbe (rogito), kaj preveriti v izpisku (visura), kako se giblje trg. Pišemo jih z umetno inteligenco. Od septembra na eni od naših strani en članek na teden izide, ne da bi ga kdo prebral. Videti je kot nasprotje previdnosti. V resnici je to del projekta, v katerega smo vgradili največ preverjanj. Predstavljamo, kako deluje in kje se je zalomilo.

Izhodiščno pravilo: samo dejstva iz izhodišča

Vsak članek nastane iz zamisli z izhodiščem (brief) in po možnosti z viri. Pisalni sistem ima navodilo, o katerem ni pogajanj: uporabi samo dejstva iz izhodišča in virov. Nikoli si ne izmišljuj številk, odstotkov, predpisov, rokov, imen ali primerov. Če za dokončanje razdelka manjka podatek, sistem luknje ne zapolni: napiše besedilo brez tega podatka in v internih opombah označi, kateri razdelek in kateri podatek manjkata.

Članek brez izhodišča in virov se sploh ne ustvari: bil bi izmišljen. To smo plačali drugače: prve zamisli v čakalni vrsti so imele izhodišče, a nobenega vira, in članki so bili revni. To je bil znak, da je težava že pred tem, ne v modelu.

Obstaja še manj vidna previdnost. Izhodišče lahko vsebuje besedilo, prilepljeno od drugod, prilepljeno besedilo pa lahko vsebuje prikrita navodila. Vrednosti članka se nevtralizirajo, preden vstopijo v poziv (prompt), tako da ne morejo zapreti ali znova odpreti strukture predloge zahteve: struktura je naša, podatki so zgolj podatki.

En jezik naenkrat

Pišemo v več jezikih. Prva različica generatorja je vse ustvarila v enem samem ogromnem klicu. Skoraj dva tedna to poletje ni ustvarila nobenega osnutka, ne da bi se kjer koli pokazala napaka: klic je preprosto potekel. Danes sistem piše en jezik naenkrat, najprej glavni jezik, nato druge kot predelave tega. Brez glavne različice se prehod ustavi, namesto da bi si v drugem jeziku na novo izmislil dejstva.

Iz iste okvare izhajata še dve pravili. Na čas se gleda vnaprej: prehoda, ki ga v preostalem času ni mogoče dokončati, se ne začne, ker proces, prekinjen na pol, ne napiše ničesar, žetoni pa se vseeno plačajo. In sistem piše samo v prazna polja: kar je napisal človek, ima vedno prednost.

To zadnje pravilo je imelo poučen stranski učinek. Članek je bil objavljen z naslovom, enakim zapisku, iz katerega je nastala zamisel, ves z malimi črkami. Sistem je pravilo spoštoval, ker je naslov »napisal človek«, in prevedel preostanek. Nihče ni nikomur ničesar povedal. Zdaj je naslov, ki je videti kot zapisek, blokada, ne podrobnost.

Štiri preverjanja, vsako lahko ustavi vse

Preden članek izide brez človeka, gre zapored skozi štiri preverjanja.

1. Pripravljenost. Osnovne blokade: naslov, ki je videti kot zapisek, prekratko besedilo, manjkajoči jeziki.
2. Zaupna imena. Ista zaščita, ki jo uporabljamo pri pošti: interna imena nepremičnin in lastnikov ne pridejo v javnost, niti po pomoti. Če zaščita ni vključena (na primer ne more naložiti seznama imen), se članek ne objavi. Ob napaki ostane zaprta, ne odprta.
3. Izluščenje trditev. Model prebere glavno besedilo, našteje vsako preverljivo trditev in jo razvrsti. »Trde« so davčne stopnje, zneski, predpisi, roki, obveznosti: če so napačne, povzročijo škodo. »Mehke« so opisne.
4. Preverjanje na spletu. Drugi krog z resničnim spletnim iskanjem preveri vsako trditev v virih: najprej v tistih, ki jih navaja članek, nato v uradnih. Izid za vsako je potrjena, ovržena ali nepreverljiva, z naslovom strani, ki je bila dejansko pregledana.

Končna zapornica je preprosta funkcija, ki jo je mogoče preizkusiti brez modela in brez omrežja: članek se objavi samo, če je vsaka trda trditev potrjena in nobena ni ovržena. Ena sama »nepreverljiva« trda trditev ustavi vse. Bolje izrecna luknja kot nedokazan podatek. Viri, ki jih je pregledalo preverjanje, se dodajo virom članka, brez podvajanj.

Ritem: en članek na teden, skupno

V ponedeljek sistem pripravi sveženj osnutkov. Torek je okno za ljudi: prispe opomnik, kdor želi, članek prebere in načrtuje objavo. V sredo, če tisti teden še ni izšlo nič izpod človeške roke, sistem vzame najstarejši popolni osnutek in ga preda v preverjanje.

• Če je preverjanje zeleno, članek izide, kdor spremlja uredniško delo, pa prejme opomnik s povezavo in številom preverjenih trditev ter povabilom, naj ga prebere.
• Če je rdeče, osnutek dobi oznako blokade in teden ostane prazen. Oznako lahko odstrani samo človek, potem ko je popravil besedilo.
• Če pride do tehnične okvare, se poskus ponovi naslednji dan.

Krog ima datum konca, zapisan v konfiguraciji: po njem se sam izklopi. Gre za poskus in tako se tudi vede.

Kaj preverjanje ni

Samodejno preverjanje ni človeški podpis in se ne pretvarja, da je. V našem sistemu je polje, ki pomeni »človek je to prebral«: pri člankih, ki izidejo sami, ostane prazno. Ko človek članek prebere in potrdi, ga izpolni sam. Izid preverjanja je shranjen v internih opombah in je na voljo za vpogled.

In bralec to ve. Vsak članek ima na začetku oznako, da je pripravljen z umetno inteligenco, na koncu pa okvir, ki to pojasnjuje s sklicem na 50. člen evropske uredbe o umetni inteligenci. Brez človeškega pregleda ni druge možnosti kot oznaka, in prav je tako.

Kje se je zalomilo in kaj ostaja odprto

Ni vse urejeno, in to zapišemo.

• Iskalnik tem odpove zaradi prekoračitve časa. Funkcija, ki na spletu išče nove zamisli, preseže najdaljši čas izvajanja. Dokler ne uvedemo omejitve za posamezen klic, čakalno vrsto zamisli polnimo ročno. Če je vrsta prazna, sistem to pove: »ta teden ne izide nič«.
• En jezik daljši od drugih. V enem od naših jezikov isto besedilo porabi veliko več žetonov: prevod je bil odrezan, zavržen in ob vsakem krogu znova poskušen, v nedogled. Višja zgornja meja zdaj velja samo za ta jezik.
• Jeziki, ki jih ni prebral rojeni govorec. Dva od naših jezikov ostajata označena »za pregled«, opozorilo pa izgine šele, ko človek zapiše, da ju je prebral. Tega sistem ne more storiti.

Ne mislimo, da bi morala umetna inteligenca pisati brez nadzora. Mislimo, da mora biti, če že piše, vsaka njena pomembna trditev preverjena temeljiteje, kot bi jo preveril človek v naglici. In da mora sistem, kadar preverjanje ne zadostuje, znati molčati.