Computerized Adaptive Test Test-Retest Reliabilitet

I en fast-form test besvarer alle eksaminander de samme items, så reliabilitet kan estimeres på flere ligetil måder. I en CAT modtager to eksaminander – eller den samme eksaminand på to tidspunkter – typisk forskellige items, der er valgt til at være mest informative på deres estimerede evneniveau. Dette betyder, at de klassiske split-half- eller KR-20-tilgange ikke kan anvendes direkte på tværs af administrationer. I stedet vurderes reliabilitet ved at korrelere de latente evneestimater (theta-scorer) fra hver lejlighed eller ved at undersøge den betingede målefejl, som den adaptive algoritme rapporterer ved afslutningen af hver administration. Høj temporal stabilitet kræver, at selve evnekonstruktionen er stabil, at item-banken er stor og velkalibreret, og at stopreglen giver tilstrækkeligt præcise estimater ved begge lejligheder.