Detekce halucinací — Kontrola faktické konzistence výstupů velkých jazykových modelů (LLM)

Detekce halucinací je pipeline zpracování přirozeného jazyka, která měří, zda je výstup jazykového modelu konzistentní s referenčním zdrojovým dokumentem nebo s ověřitelnými fakty. Tento přístup, formalizovaný jako úloha hodnocení věrnosti Maynezem et al. (2020) a rozšířený na black-box nastavení s nulovými zdroji Manakulem et al. (2023) pomocí SelfCheckGPT, se používá k označení nespolehlivých výstupů LLM v oblastech s vysokými sázkami, jako je medicína, právo a žurnalistika.