Dagens svensklektion – 31 december 2025

Tema: Utvärdering av RAG (retrieval metrics och hallucinationer)

1️⃣ Dagens ord (6 nya ord)

1. utvärdering

Uttal: ut-vär-de-ring Definition: Systematisk bedömning av kvalitet, prestanda eller resultat. Engelska: evaluation Exempel:

Utvärdering av RAG-lösningen kräver både tekniska och kvalitativa mått.

2. träffsäkerhet

Uttal: träff-sä-ker-het Definition: Hur väl ett system hittar relevanta resultat. Engelska: accuracy, relevance Exempel:

Hög träffsäkerhet i återhämtningen minskar risken för felaktiga svar.

3. täckning

Uttal: täck-ning Definition: I vilken grad relevanta källor faktiskt hittas och används. Engelska: coverage, recall Exempel:

God täckning är viktig för att modellen inte ska missa kritisk information.

4. hallucination

Uttal: hal-lu-ci-na-tion Definition: När en språkmodell genererar svar som låter rimliga men saknar stöd i data. Engelska: hallucination Exempel:

Hallucinationer uppstår ofta när relevant kontext saknas.

5. grundad

Uttal: grun-dad Definition: Bygger på faktiska källor eller verifierbar information. Engelska: grounded Exempel:

RAG syftar till att generera grundade svar baserade på källmaterial.

6. kvalitetsmått

Uttal: kva-li-tets-mått Definition: Mätetal som används för att bedöma kvalitet. Engelska: quality metrics Exempel:

Både automatiska och manuella kvalitetsmått behövs vid utvärdering.

2️⃣ Dagens meningar (6 meningar)

1. Utvärdering är avgörande för att förstå hur väl en RAG-lösning fungerar.
2. Träffsäkerhet och täckning är centrala mått för återhämtningen.
3. Bristande återhämtning ökar risken för hallucinationer.
4. Grundade svar kräver att relevant kontext faktiskt hämtas.
5. Kvalitetsmått bör kompletteras med manuell granskning.
6. En kontinuerlig utvärdering förbättrar tillförlitligheten över tid.

3️⃣ Dialog / Talträning

Chef: Hur vet vi att vår RAG-lösning fungerar bra? Jag: Genom att mäta träffsäkerhet och täckning i återhämtningen. Chef: Och hur hanterar vi hallucinationer? Jag: Genom att säkerställa att svaren är grundade i källor och följa upp med kvalitetsmått. Chef: Räcker automatiska mätetal? Jag: Nej, manuell granskning behövs också för att fånga kvalitativa brister.

🎤 Tala högt: – Hur skulle du förklara hallucination för en icke-teknisk chef? – Varför räcker det inte med bara automatiska mätetal?

4️⃣ Lyssning (simulerad)

Talad text:

Vid utvärdering av RAG-lösningar är det viktigt att skilja mellan problem i återhämtningen och problem i genereringen. Om modellen inte får rätt kontext ökar risken för hallucinationer, även om språkmodellen i sig är stark. Därför bör man mäta både hur väl information hämtas och hur väl svaren är grundade i källor. En kombination av mätetal och manuell granskning ger oftast bäst resultat.

Förståelsefrågor:

1. Vilka två typer av problem skiljs åt?
2. När ökar risken för hallucinationer?
3. Varför behövs både mätetal och manuell granskning?

5️⃣ Läsförståelse

Text:

Utvärdering av RAG-lösningar skiljer sig från traditionell modellutvärdering. Eftersom systemet består av både återhämtning och generering måste båda delarna analyseras separat. Träffsäkerhet och täckning används ofta för att bedöma hur väl återhämtningen fungerar, medan hallucinationer och grad av grundning används för att bedöma svarens kvalitet.

I praktiken är det svårt att helt automatisera denna utvärdering. Många organisationer kombinerar därför automatiska mätetal med manuell granskning av utvalda svar. Detta gör det möjligt att identifiera systematiska brister och förbättra lösningen stegvis över tid.

Frågor:

1. Varför kräver RAG en annan typ av utvärdering?
2. Vilka mått används för återhämtningen?
3. Vad används för att bedöma svarens kvalitet?
4. Sammanfatta texten med 2–3 meningar.

6️⃣ Skrivövning ✍️

Uppgift: Skriv 5–8 meningar som svar på frågan:

Hur skulle du utvärdera och minska hallucinationer i en RAG-lösning?

Krav:

• professionell svenska
• lugn och saklig ton
• använd minst tre av dagens ord

Exempel:

Jag skulle använda träffsäkerhet och täckning som centrala mått för att bedöma hur väl återhämtningen fungerar i RAG-lösningen. Bristande återhämtning är ofta en direkt orsak till hallucinationer i genererade svar. Genom att analysera dessa mätetal kan vi identifiera var i kedjan problemen uppstår. För att minska risken för hallucinationer bör automatiska kvalitetsmått kompletteras med manuell granskning av utvalda svar. Den manuella granskningen gör det möjligt att fånga kvalitativa problem som är svåra att mäta automatiskt. Tillsammans ger detta en mer tillförlitlig och robust utvärdering över tid.

🔹 Uttryck som höjer nivån

• centrala mått
• direkt orsak
• identifiera var i kedjan problemen uppstår
• kompletteras med manuell granskning
• robust utvärdering över tid