Vil oprette lokal LLM-server på M3 Ultra til følsomme dokumenter
Et mindre team undersøger, hvordan en Mac med 96 GB RAM kan behandle regnskaber lokalt, mens sværere opgaver fortsat sendes til cloud-modeller.
I et nyt opslag på Reddit-forummet r/LocalLLaMA efterspørger brugeren BrandBikeRepeat råd til, hvordan en Mac med en M3 Ultra-processor og 96 GB RAM bedst opsættes som en lille, lokal AI-server for et mindre team.
Målet med opsætningen er at køre interne dokumentopgaver lokalt for at beskytte fortrolige data, mens mere krævende opgaver som dybdegående research fortsat håndteres af cloud-modeller. Systemet skal fungere som en kø, hvor medarbejdere indsender dokumenter og manuelt godkender resultaterne.
Det første konkrete arbejdsflow omhandler finansielle rapporter. Scannede eller digitale PDF-filer behandles med værktøjer som GLM-OCR eller almindelig parsing, hvorefter Python matcher kendte rækker. Den lokale sprogmodel modtager kun de uafklarede rækker og relevant kildetekst, hvortil den returnerer struktureret JSON. Derefter kontrollerer Python kildereferencer og regnskabets balance. Hvis tallene ikke stemmer, sendes sagen til en menneskelig granskning.
Hvis løsningen bliver en succes, planlægger teamet også at bruge serveren til dokumentklassificering, oprydning i CRM-data samt første udkast til rapporter og præsentationer.
Brugeren har tidligere testet værktøjer som LM Studio, Open WebUI og MLX/oMLX samt mindre modeller og Ternary-Bonsai 27B. Selvom disse fungerede fint til én person, efterspørges der nu erfaringer fra andre med delte servermiljøer. Spørgsmålene går blandt andet på valg af stabile modeller til værktøjskald, jobkøer, brugeradgang, fejlhåndtering samt om lokale servere reelt reducerer udgifter eller primært giver en databeskyttelsesfordel.