Lokal software bryder tech-giganternes magt

GPT4All er en open source-applikation med grafisk brugerflade til kørsel af store sprogmodeller lokalt. Programmet understøtter Windows, macOS og Linux. Det gør det muligt at køre modeller uden en aktiv internetforbindelse.

Softwaren understøtter modeller i GGUF-format fra kilder som Hugging Face. Samtidig kan programmet integreres med API-udbydere som Groq, OpenAI og Mistral.

Brugeren kan chatte med lokale dokumenter via RAG (retrieval augmented generation). Der findes en indbygget API-server, som kan gøres tilgængelig eksternt og sikres med HTTPS via en reverse proxy.

Kravene til hardware er en computer med enten GPU eller CPU. På Linux understøttes Ubuntu og Debian-baserede systemer med grafisk brugerflade. Det kræver sudo-rettigheder for en ikke-root bruger at installere softwaren.

Installationen på Ubuntu 24.04 sker via en .run-installationsfil eller Flatpak. Brugeren downloader filen fra den officielle hjemmeside, giver den eksekveringsrettigheder og gennemfører installationen via en guide. Programmet kræver et fuldt skrivebordsmiljø for at køre.