Volgens de OECD is het gebruikersgericht. Maar waar zijn de gebruikers?

Een hoge score betekent niet noodzakelijk een goede digitale ervaring

Portugal scoort ongeveer 0,94 op de User-Driven-dimensie van de OECD. Estland scoort ongeveer 0,72. Spanje ongeveer 0,73. Als deze cijfers worden gelezen als maatstaf voor hoe gebruikersgericht de digitale overheid werkelijk is, lijkt Portugal aanzienlijk beter te presteren dan Estland.

Maar toen we keken naar het daadwerkelijke gebruik van digitale diensten, zagen we een heel ander beeld. In Portugal lag dat rond 52%. In Estland was het meer dan 80%.

Dat bewijst niet dat de OECD-cijfers onjuist zijn. Het roept wel een veel belangrijkere methodologische vraag op:

Wat wordt er precies gemeten?

Het antwoord lijkt vooral te zijn: of er voorzieningen, beleid, standaarden, werkwijzen en institutionele afspraken bestaan die bij een gebruikersgerichte overheid horen. Die zaken zijn belangrijk. Maar de voorwaarden voor een gebruikersgerichte overheid scheppen is iets anders dan burgers die overheid ook daadwerkelijk als gebruikersgericht laten ervaren.

CAPACITEIT ≠ ERVARING

Dat onderscheid doet ertoe wanneer de scores als prestaties van landen worden gepresenteerd.

Het ontbrekende deel van de klantreis

Een burger ervaart geen beleidskader. Een burger doorloopt een reeks stappen. Er is iets nodig. Diegene probeert te achterhalen wat daarvoor nodig is. Vindt een website. Zoekt de juiste procedure. Verzamelt documenten. Identificeert zich. Maakt een afspraak. Dient iets in. Wacht. Er kan iets misgaan. Dan probeert diegene het op te lossen. Uiteindelijk lukt het hopelijk om te bereiken waarvoor diegene kwam.

Dat is de klantreis van begin tot eind. Precies daar vond ons onderzoek een opvallende leemte.

In het OECD-kader identificeerden we 36 mogelijke elementen van transactiekosten die de werkelijke inspanning voor een gebruiker kunnen beïnvloeden. Slechts 10 van die 36 leken wezenlijk vertegenwoordigd in het meetkader.

Dat maakt het kader niet nutteloos. Het betekent dat het maar een deel meet van wat bepaalt of een digitale overheidsdienst daadwerkelijk werkt voor de persoon die haar gebruikt.

Websites maken ook deel uit van de dienstverlening

Dat zie je vooral wanneer je niet meer kijkt naar hoe de overheid is ingericht, maar haar diensten zelf probeert te gebruiken. Een website kan de juiste informatie bevatten en toch buitengewoon lastig te gebruiken zijn. Een procedure kan digitaal beschikbaar zijn terwijl de gebruiker langs meerdere organisaties moet. Een foutmelding kan pas verschijnen nadat de gebruiker de verkeerde stap al heeft afgerond. Een systeem kan iemand van het kastje naar de muur sturen, zonder duidelijke uitweg. En een afsprakensysteem kan bestaan terwijl een afspraak krijgen het echte obstakel blijft.

Voor de organisatie kunnen alle onderdelen afzonderlijk werken. Voor de burger kan de dienst toch niet werken. Dat verschil doet ertoe.

Als we alleen meten of overheden voorzieningen voor gebruikersgerichte diensten hebben ingericht, meten we mogelijk het ontwerp van het systeem en missen we de ervaring die het systeem oplevert.

Er is nog een probleem met ranglijsten

Ranglijsten beschrijven de werkelijkheid niet alleen. Ze kunnen haar ook legitimeren.

Een land dat hoog scoort op User-Driven kan die ranglijst aanhalen als bewijs dat zijn digitale overheid goed presteert voor gebruikers. Dat schept een methodologische verantwoordelijkheid.

Als de onderliggende indicator vooral meet wat instellingen kunnen en niet wat gebruikers daadwerkelijk ervaren, kan de ranglijst onbedoeld meer suggereren dan het bewijs ondersteunt.

Het punt is dus niet dat de OECD moet stoppen met het meten van wat overheden op digitaal gebied kunnen. Integendeel. Dat is belangrijk en het meten waard. Het probleem zit in de benaming en de interpretatie.

Een maat voor gebruikersgerichte capaciteit mag niet ongemerkt een maat voor gebruikerservaring worden.

En wat gebeurt er als de gebruiker een vraag stelt?

Tijdens ons onderzoek ontstond nog een ongemakkelijke parallel. We hadden vragen over wat de User-Driven-ranking precies aantoonde. Daarom deelden we onze analyse en het onderliggende rapport met de OECD en nodigden we hen expliciet uit onze bevindingen te corrigeren, uit te dagen of evidence te tonen die wij mogelijk hadden gemist.

Dat gaat niet alleen over hoor en wederhoor. Het raakt precies aan het onderwerp dat we onderzochten.

De gebruiker stelt een vraag. Het systeem geeft informatie. Maar de vraag zelf wordt niet beantwoord.

Een organisatie kan informatie publiceren, procedures aanbieden, dashboards bouwen en formeel alle noodzakelijke kanalen beschikbaar hebben. Maar als de gebruiker met een concrete vraag achterblijft zonder bruikbaar antwoord, is de end-to-end klantreis voor die gebruiker niet afgerond.

Daar komt een extra verantwoordelijkheid bij. De OECD wordt gefinancierd door haar lidstaten, uiteindelijk uit publieke middelen. De mensen die publieke diensten gebruiken zijn dus niet alleen een extern publiek. Indirect financieren zij ook de instituties die beoordelen hoe die diensten presteren.

Dat betekent niet dat iedere vraag het antwoord moet krijgen dat de gebruiker wil. Maar mag een gebruiker niet op zijn minst een inhoudelijk antwoord verwachten op een inhoudelijke vraag?

Onze vraag aan de OECD was eenvoudig: laat ons zien waar onze analyse niet klopt.

Op die inhoudelijke vraag hebben we geen inhoudelijk antwoord ontvangen.

Dat maakt onze analyse niet automatisch juist en de OECD hoeft het niet met onze conclusie eens te zijn. Maar het maakt de centrale vraag van dit onderzoek tastbaar: wanneer mag iets user-driven worden genoemd? Als de mechanismen aanwezig zijn, of wanneer de gebruiker daadwerkelijk verder wordt geholpen?

User-driven begint uiteindelijk bij de gebruiker.

Wat moet er dan gebeuren?

Onze conclusie is opvallend eenvoudig.

Haal de huidige zelfstandige User-Driven-ranglijst van landen offline.

Niet omdat het onderliggende werk geen waarde heeft. Maar omdat een ranglijst die op prestaties lijkt, iets kan suggereren wat het huidige bewijs onvoldoende aantoont.

Blijf meten wat overheden kunnen. Maak duidelijk wat die metingen wel en niet aantonen. Voeg daarna toe wat nu ontbreekt.

Onderzoek wat er gebeurt wanneer mensen een overheidsdienst proberen te gebruiken: vanaf het moment dat ze iets nodig hebben tot ze daadwerkelijk hebben bereikt waarvoor ze kwamen. Zoek naar klantreizen die uitzonderlijk goed werken. En kijk even serieus naar die waar het misgaat.

Meet waar het stroef loopt. Meet of mensen zich kunnen herstellen als iets misgaat. Meet de overdrachten tussen organisaties. Meet of een digitaal beschikbare dienst ook echt bruikbaar is. En vraag bovenal de mensen die de dienst moeten gebruiken.

We hebben onze bevindingen en vragen met de OECD gedeeld en haar uitgenodigd onze analyse ter discussie te stellen. Dat is belangrijk. Onderzoek wordt sterker als de onderzochte organisatie de kans krijgt te laten zien wat wij mogelijk over het hoofd hebben gezien.

Het volledige DYRÍGO ThinkLab-onderzoek beschrijft het bewijs, de methode, de beperkingen en de openstaande vragen achter deze analyse. De volgende fase is anders.