Rijksoverheid: 91% van relevante AI-antwoorden bevat een overheidsbron

Over de Dienst Publiek en Communicatie

DPC is onderdeel van het ministerie van Algemene Zaken en ondersteunt de Rijksoverheid bij de communicatie met burgers en professionals. Via onder meer Rijksoverheid.nl en NederlandWereldwijd.nl maakt DPC officiële informatie over beleid, regels en publieke dienstverlening toegankelijk.

Aanpak: meten wat Nederlanders echt vragen

SmartRanking en DPC bouwden de monitoring rond onderwerpen die aantoonbaar leven bij bezoekers van de overheidswebsites. Daarbij gaat het bijvoorbeeld om transitievergoeding, visa, WW en ziekte. Zo sluit de analyse aan op de informatiebehoefte van Nederlanders, in plaats van op een theoretische lijst met zoekvragen.

Brongebruik en antwoordkwaliteit per vraag

Per relevante vraag is bekeken welk antwoord AI geeft, welke bronnen daarin worden aangehaald en in welke volgorde. Daarbij telt niet alleen een vermelding van Rijksoverheid.nl. Ook overheidsorganisaties worden gezien als een goede bron. Het belangrijke onderscheid is of officiële informatie gebruikt wordt. Bovendien moet inzichtelijk zijn wanneer AI-systemen commerciële websites gebruiken in plaats van officiële overheidsbronnen.

Daarnaast wordt beoordeeld of het antwoord juist, volledig en duidelijk is. Daarmee wordt zichtbaar waar informatie ontbreekt, waar uitzonderingen onvoldoende worden uitgelegd en waar AI een vraag helemaal niet goed kan beantwoorden. Dit helpt bovendien niet alleen voor de zichtbaarheid in AI-modellen, maar ook voor de menselijke websitebezoekers om een beter antwoord te krijgen op vragen.

Van inzicht naar betere content en techniek

SmartRanking vertaalde de analyse naar concrete verbeteradviezen. DPC kreeg per onderwerp inzicht in waar extra voorbeelden, duidelijkere uitleg, veelgestelde vragen of meer informatie over uitzonderingen nodig waren. Ook de technische basis werd verbeterd, onder meer door een goede semantische HTML-opbouw van de pagina’s. Het DPC-team verwerkte deze inzichten in de overheidswebsites. Daardoor is de informatie goed verwerkbaar voor AI-modellen.

Een werkwijze die DPC zelf kan voortzetten

SmartAI werd ingericht rondom de vragen van DPC. Het dashboard maakt onderscheid tussen Rijksoverheid.nl, andere overheidsbronnen en niet-overheidsbronnen. Het team kan daardoor zelf volgen waar officiële informatie wordt gebruikt, waar de juistheid van antwoorden verandert en welke onderwerpen om optimalisaties vragen. SmartRanking ondersteunt doorlopend bij interpretatie en bij de ontwikkelingen op GEO-gebied waar dat nodig is.

Het resultaat

De samenwerking heeft niet alleen meer zichtbaarheid opgeleverd, maar vooral meer grip op de kwaliteit en herkomst van AI-antwoorden. De actuele SmartAI-monitoring laat zien:

• Bij 91% van de relevante prompts wordt ten minste één overheidswebsite als bron gebruikt. Slechts 9% bevat geen overheidsbron.
• Rijksoverheid.nl is bij 82% van de relevante prompts het eerste citaat.
• Het aandeel onjuiste of onvolledige antwoorden daalde van meer dan 20% naar 1 à 2%.
• 72% van de vragen die eerder niet werden beantwoord, krijgt nu een duidelijk antwoord.
• DPC kan de citations en juistheid van antwoorden nu zelfstandig monitoren en vertalen naar gerichte tekstuele optimalisaties.

De resultaten laten zien hoeveel inzicht de samenwerking heeft opgeleverd, maar misschien nog wel belangrijker is de verbetering in de kwaliteit van de antwoorden.

Waar bij de eerdere meting nog meer dan 20% van de antwoorden onjuist of onvolledig was, ligt dat percentage inmiddels op slechts 1 tot 2%. Daarnaast krijgt 72% van de vragen die eerder onbeantwoord bleven nu wel een duidelijk antwoord.

Dat is een belangrijke ontwikkeling. Want uiteindelijk draait het niet alleen om hoe vaak de overheid zichtbaar is in AI-systemen, maar vooral om de betrouwbaarheid van de informatie die Nederlanders krijgen.

De volgende stap: blijven aansluiten op nieuwe publieksvragen

De samenwerking met DPC blijft doorlopen. DPC monitort de belangrijkste onderwerpen zelf in SmartAI en past content aan waar nieuwe onduidelijkheden ontstaan. SmartRanking helpt op de achtergrond bij de interpretatie van verschuivingen, het aanscherpen van de aanpak en het prioriteren van optimalisaties.

Zo blijft de focus liggen op het begrijpelijk maken van officiële informatie. Dit moet te allen tijde actueel en correct terugkomen, ongeacht of iemand die informatie rechtstreeks op een overheidswebsite zoekt of via een AI-systeem.