Definiera jobbet först
En modell för svenska sammanfattningar behöver inte vara bäst på kod, och en kodmodell behöver inte vara bra på kreativ text. Skriv tre till tio representativa uppgifter med facit eller tydliga bedömningskriterier.
Bestäm också vad som är oacceptabelt: fel språk, för lång svarstid, trasigt JSON-format, påhittade källor eller kod som inte bygger. Ett konkret underkännandekrav gör jämförelsen ärligare.
Läs modellkortet
Kontrollera avsedd användning, språkstöd, kontextfönster, licens och kända begränsningar. En ”instruct”-variant är normalt anpassad för instruktioner och chatt, medan en basmodell kan kräva annan promptning.
Licensen avgör om modellen får användas kommersiellt, distribueras eller byggas in i en produkt. Namn som liknar öppen källkod betyder inte automatiskt att alla rättigheter är fria.
Matcha storlek och kvantisering
Börja med en kvantiserad version som lämnar minnesmarginal. Om kvaliteten inte räcker kan du prova en annan modell i samma storleksklass innan du går upp kraftigt i parametrar. Arkitektur, träningsdata och finjustering påverkar resultatet mycket.
Jämför alltid med samma temperatur, kontext och prompt. Annars vet du inte om skillnaden kommer från modellen eller inställningarna.
Bygg ett enkelt modelltest
- Kör varje kandidat på samma uppgifter.
- Mät tid till första svar och total tid.
- Bedöm korrekthet, tydlighet, format och hur ofta du måste rätta.
- Notera RAM/VRAM och om systemet förblir användbart.
- Spara exakt modelltagg så att testet kan upprepas.
För kod ska förslag kompileras och testas. För fakta ska påståenden verifieras mot primärkällor. Modellens självsäkra ton är inte ett kvalitetsmått.
När du bör byta modell
Byt när uppgiften förändras, när en uppdatering löser ett konkret problem eller när nuvarande modell inte längre kan köras säkert. Uppdatera inte mitt i ett viktigt projekt bara för att en ny tagg finns.
Behåll en anteckning om vilken version som användes för ett resultat. Reproducerbarhet är särskilt viktig när modellen ingår i tester, dokumentproduktion eller kodgranskning.
Bra val: tillräcklig kvalitet, rimlig svarstid, tydlig licens och stabil körning med minnesmarginal.