Resultat
- Riktig tabell øverst
- 133av 155 · 86 %
SSB MCP fra Companybook
- Blant de tre øverste
- 148av 155 · 95 %
SSB MCP fra Companybook
- Ordsøk alene, øverst
- 71av 155 · 46 %
Uten betydningssøk og språkmodell
Språkmodellen gir ikke nøyaktig samme svar hver gang. De to kjøringene ga 133 og 134 riktige øverst; vi oppgir det laveste.
Hvor forskjellen sitter
| Spørsmålstype | Antall | Ordsøk | SSB MCP fra Companybook |
|---|---|---|---|
| Hverdagsspråk«Hva tjener en sykepleier i snitt?» | 21 | 10 | 17 |
| Sammensatte spørsmål«Hvor mange er sysselsatt innen helse og omsorg?» | 20 | 13 | 18 |
| Sted«Hvor mange er arbeidsledige i Tromsø?» | 18 | 6 | 16 |
| Tidsoppløsning«Konkurser per måned» | 21 | 11 | 16 |
| Andel«Hvor stor andel av kvinnene jobber deltid?» | 21 | 3 | 18 |
| Framskrivning eller observert«Hvor mange innbyggere får Norge i 2050?» | 18 | 3 | 17 |
| Korte søk«kornavlingen per fylke» | 36 | 25 | 29 |
Størst er forskjellen på spørsmål om andeler og om framskrivninger: ordsøk fant riktig tabell øverst i 3 av 21 og 3 av 18.
Metode
- Vi skrev 155 spørsmål slik folk faktisk spør: hverdagsspråk, steder, tidsoppløsning, andeler og framskrivninger, fordelt på SSBs 23 emner.
- For hvert spørsmål samlet vi kandidater fra fire ulike søk og vurderte dem mot tabellenes metadata. Fasiten lister alle tabellene som svarer, fordi SSB ofte har flere likeverdige. Tabeller som bare svarer delvis, er ført opp for seg og teller ikke som treff.
- Settet ble aldri brukt til å justere søket. Endringer i søket prøves på et eget sett, og først deretter på dette.
- Topp-1 er hovedtallet, fordi en agent nesten alltid tar den første tabellen. Søket kjøres mot den samme katalogen og koden som agentene bruker.
Hvorfor søket ikke viser tall
Vi prøvde å vise et lite tall fra beste treff i søkeresultatet. Det ble sjekket mot SSB på 20 vanlige spørsmål. Tabellen var riktig i de fleste, men tallet var misvisende i 15 av dem, fordi et forhåndsvalg av gruppe, region eller periode sjelden er det spørsmålet gjelder. Et riktig tall krever at alle variablene velges riktig samtidig. Det gjør agenten med metadata foran seg, ikke et søkefelt.
Les om fellene agenten må unngå: Fem feller når AI henter SSB-tall.
Begrensninger
- Spørsmålene er skrevet av oss, på norsk. Engelske spørsmål og fagspråk er ikke målt her.
- Fasiten er vurdert mot metadata. En tabell kan være formelt riktig og likevel mangle året eller regionen du trenger.
- Riktig tabell er ikke det samme som riktig svar. Agenten må fortsatt velge riktige verdier og periode.
- Katalogen endrer seg når SSB publiserer. Vi måler på nytt når søket endres, og oppdaterer tallene her.