Prototyper pakker alle versioner i en komprimeret blob og sparer SQLite-plads

To prototyper fra Simon Willison gemmer dokumenthistorik kompakt i JSON-arrays, hvor zlib/zstd-fjerner gentagen tekst på tværs af versioner og sparer plads. Metoden er relevant, fordi den traditionelle en-række-per-version-tilgang bruger unødig lagerplads. Willison har lavet to varianter: en der overskriver hele blobben og en der opdeler i stykker for bedre skalering.

Forestil dig, at du skriver et langt brev og vil gemme en kopi efter hvert lille rettelse. Den traditionelle løsning i en database – en slags digital opbevaringskasse – er at lave en helt ny kopi for hver version. Hvis dit brev er på 20 kilobyte, så fylder det 20 kilobyte i hver kopi, selvom du blot har rettet ét enkelt ord. Det svarer til at fotografere hele dit værelse hver gang, du flytter en bog – billedet bliver lige så stort, uanset hvor lille ændringen er.

Simon Willison har foreslået en smartere metode. I stedet for separate kopier samler han alle versioner i ét samlet dokument (et såkaldt JSON-array, som forestil dig en indkøbsliste, hvor hver version er et punkt på listen). Dette dokument komprimeres – det vil sige, at computeren pakker det ned og fjerner gentagelser, ligesom du ville sige »tre røde æbler« i stedet for »et rødt æble, et rødt æble, et rødt æble«. Fordi de fleste redigeringer kun ændrer små dele, genkender kompressionen den gentagne tekst og behøver ikke at gemme den igen og igen. Resultatet er, at pladsbehovet falder markant.

Willison har bygget to varianter af sit system. Den ene, WholeBlobHistoryStore, gemmer hele historikken som ét komprimeret ark og overskriver det ved hver redigering. Den anden, ChunkedHistoryStore, deler historikken op i mindre, forseglede stykker – lidt som at opdele en lang bog i kapitler. Det gør det lettere at arbejde med meget lange historikker, fordi computeren ikke skal genpakke alt, hver gang der sker en lille ændring. Begge varianter gemmer et tidsstempel – en slags digital uravisning – for hver version, og de springer redigeringer over, der slet ikke ændrer teksten. For at sikre, at to personer eller programmer ikke skriver i historikken på samme tid, låses adgangen med en mekanisme, der kun lukker én skriver ind ad gangen.