Verdict forvandler GitHub-issues til beviser for softwarefejl

Verdict er et nyt værktøj, der forvandler fejlrapporter fra GitHub til strukturerede undersøgelser. Det sikrer konkrete beviser fremfor gæt, hvilket gør rettelser af softwarefejl mere pålidelige. Nu bruges tre roller til at finde, indsnævre og teste fejlen, så der kan laves en plan for rettelsen.

Verdict forvandler fejlrapporter fra GitHub, som er en platform til kodelagring, til grundige undersøgelser. Det fungerer lidt som et laboratorium. Værktøjet kører bestemte kommandoer under faste betingelser. Det kræver et bevis, der altid giver samme resultat, før man siger, at fejlen er fundet. Dette kaldes en reproduktion. Det sikrer, at man har konkrete beviser, før man begynder at rette fejlen.

En sprogmodel kan gætte på, hvorfor en »stack trace« – en liste over computerens sidste skridt før et nedbrud – ser ud, som den gør. Men Verdict ser fejlfinding som et eksperiment i stedet for en samtale. Systemet fokuserer på hårde data. Det undersøger, hvor ofte fejlen opstår, og hvilke versioner af koden den findes i.

Tre roller styrer arbejdet. »Hunter« leder efter fejlen i forskellige kombinationer af indstillinger og skriver alt ned. »Surgeon« fungerer som en kirurg, der indsnævrer problemet til det mindst mulige område. Til sidst laver »Insurance« en plan, der sikrer, at fejlen ikke kommer tilbage. Denne plan indeholder navnet på testen, opsætningen og det præcise punkt, hvor det går galt.

Et eksempel er TrueForge-fejl nummer 417. Her bekræftede Verdict fejlen i 10 ud af 10 forsøg. Problemet var en snapshot-registrering, som er en funktion til at gemme en tilstand, der ventede uendeligt på svar fra et andet system. Ved at bruge en fast låst køretid kunne Verdict bevise, at fejlen altid skete under de givne betingelser.

Vil du have mig til at uddybe, hvordan en af de tre roller arbejder i praksis?