Varför ska du köra en GPU-accelererad LLM (large language model) på din egen dator? Ett korrekt svar är ”för att du kan”, och med hjälp av LM Studio är det dessutom riktigt enkelt.
Programmet ger dig enkel tillgång till ett stort antal modeller att experimentera med för att skapa en egen AI-hjälpreda.
Användbart, men inte som ChatGPT
Som namnet large language model antyder är LLM:er stora AI-modeller som utför språkbaserade uppgifter baserade på de dataset och instruktioner de tränats på. Om en uppgift faller utanför träningsdata kan den inte uträtta något av värde.
Med andra ord är datorns hårdvara en kapacitetsgräns – när exempelvis minnet är fullt kan den inte bara reservera mer från serverfarmen. Därför får man alltid nöja sig med något som är en bråkdel av storleken på exempelvis GPT-4.
Samtidigt blir de öppna modellerna allt bättre och mer resurseffektiva. Många är dessutom specialiserade inom vissa områden där de kan ge fullt adekvat assistans, t.ex. med programmering, webbutveckling och språkbehandling.
Systemkrav
LM Studios hårdvarukrav är ganska specifika och gäller för grundläggande kompatibilitet. Bättre hårdvara, framförallt i form av mer RAM/VRAM och snabbare GPU (grafikkort), behövs för lite mer avancerade modeller
Kompatibla enheter
- Mac: Endast stöd för nyare modeller med Apple Silicon (ARM-baserade M1/M2/M3) och macOS 13.6 Ventura eller senare.
- Windows/Linux: Processorn måste ha stöd AVX2, men det har i stort sett alla Intel- och AMD-processorer från de senaste 12 åren.
- Minst 16 GB RAM (systemminne).
- Vad gäller PC ska grafikkortet (AMD eller Nvidia) ha minst 6 GB VRAM (grafikminne).
Det går också åt en hel del lagringsutrymme om du vill experimentera med olika modeller. LM Studio är inte stort i sig, men de flesta av de mer polulära modellerna är som minst några GB per styck.
Installera och konfigurera LM Studio
Att komma igång är som sagt väldigt enkelt:
- Hämta senaste versionen för din plattform från lmstudio.ai.
- Följ instruktionerna för att installera LM Studio på datorn.
- Starta programmet via genvägen som skapats.
Ladda ner och installera modeller
Sökfliken i LM Studio hjälper dig att hitta och installera modeller. Mistral 7B är ett exempel på en populär och effektiv mindre modell. Gränssnittet filtrerar bort de filer från Hugging Face som inte är kompatibla med programmet.
Vad gäller hårdvarukompatibilitet kommer även LM Studio med en ”compatibility guess” som gissar sig till om modellen får plats i din dators VRAM. Om du kör Mac är detta synonymt med systemminne eftersom detta delas med den integrerade grafiken (till skillnad från dedikerade grafikkort som har fristående minneskretsar).
LM Studio varnar för modeller som sannolikt är för krävande för hårdvaran, men att vara hänvisad till mer kompakta modeller behöver inte vara fel. Större är ofta mer exakta, men också långsammare och producerar inte alltid ett märktbart bättre resultat. Även de stora kommersiella modellerna kan som bekant fabulera och missa målet.
När minst en modell är nedladdad kan du gå vidare till chattfliken och ladda den. Därefter är det fritt fram att testa hur den presterar. Om svaren är mycket långsamma, obegripliga eller uteblir helt är risken stor att modellen är för tung för ditt system.
Förutom att ladda ner och testa olika modeller finns det en hel del inställningar att bolla med. En av de mer grundläggande är att se till att GPU-acceleration är aktiverad, vilket förbättrar prestandan avsevärt. Du kan också injicera en ’System/Pre-Prompt’ för att förbereda modellen för olika uppgifter.
De avancerade inställningarna innehåller ännu fler möjligheter att finjustera modellerna. Jag har än så länge inte testat vilken effekt de har, men de är tydligt förklarade och säkert väl värda att experimentera med.
En perfekt inkörsport
LM Studio eliminerar allt krångel som tidigare stått ivägen för att vem som helst ska kunna köra en lokal chatbot. Ungefär som Easy Diffusion gör med Stable Diffusion. Grundinställningarna fungerar utmärkt men det finns även en hel del mer avancerade inställningar att dyka ner i. Den första och största utmaningen är kanske att hitta rätt bland alla modeller, men att börja med de mest populära, mindre varianterna kan vara ett bra tips.