Kort samengevat
Een laag woordfoutpercentage toont dat de herkende woorden goed overeenkomen met een menselijk referentietranscript. Het toont niet of een kijker de ondertitels op tijd kan lezen.
De ondertitelrichtlijnen van de BBC laten inkorten toe als er te snel gesproken wordt, en ze leggen regels vast voor leestijd, regelafbreking, regellengte en timing op het beeld. Het woordfoutpercentage telt daar niets van mee. Daarom is het de verkeerde score om een ondertitelbestand te beoordelen.
Sommige leveranciers van spraakherkenning zetten één cijfer vooraan: het woordfoutpercentage (WER). In het Engels heet het de word error rate. Het cijfer meet iets echts. Wat het meet, is een transcript.
Wat meet het woordfoutpercentage?
Het evaluatieplan van de OpenASR21 Challenge, versie 1.3, op 31 augustus 2021 gepubliceerd door het National Institute of Standards and Technology (NIST), noemt het woordfoutpercentage zijn belangrijkste maatstaf. Het plan telt drie soorten fouten in de herkende tekst op: weglatingen, invoegingen en vervangingen. Het vergelijkt ze met een menselijke referentietranscriptie en deelt door het aantal woorden in die referentie.
Eenvoudig gezegd: een woord dat het systeem miste, een woord dat het toevoegde en een woord dat het fout had, tellen allemaal tegen het systeem. De referentie is een menselijke transcriptie van dezelfde audio.
De taak in het plan is audio omzetten in geschreven tekst. Het plan noemt geen ondertitels, geen leestijd, geen regellengte en geen shotwissels. Dat is geen fout in de maatstaf. Het plan is geschreven om spraakherkenning te scoren, en dat is wat het scoort.
Waarom zijn omroepondertitels soms niet woord voor woord?
Richtlijnen voor omroepen geven de voorkeur aan woordelijke ondertitels. Ze verwachten ook dat er wordt ingekort als de spraak te snel gaat om te lezen.
De ondertitelrichtlijnen van de BBC, versie 1.2.5 (maart 2026), zeggen dat je niet onnodig inkort als er tijd is voor woordelijke spraak. Het doel is kijkers zoveel mogelijk van de soundtrack te geven binnen de grenzen van tijd, ruimte, shotwissels en wat er in beeld is (sectie 2.1). Als een spreker heel snel praat, moeten de ondertitels zoveel als nodig worden ingekort om aan de timingregels te voldoen (sectie 5.3). Voor live nieuws, actualiteit en de meeste andere genres verwacht de BBC woordelijke ondertitels tot ongeveer 160 à 180 woorden per minuut (WPM), en enig inkorten boven die snelheid (sectie 21.3).
Dezelfde richtlijnen leggen de afwegingen in volgorde. Als inkorten, timing en regelafbreking niet alle drie tegelijk lukken, wegen goed ingekorte tekst en timing zwaarder dan de regelafbreking (sectie 3.10).
De richtlijnen van Ofcom voor toegankelijkheidsdiensten op televisie en on demand volgen dezelfde lijn. Ondertitels geven de spraak zo woordelijk mogelijk weer. Wat parafraseren kan in beperkte gevallen passend zijn, bijvoorbeeld als de dialoog heel snel gaat. Opvulwoorden zoals "umms" en "errs" mogen weg als ze geen betekenis dragen (paragraaf 3.6).
Kernpunt
Een ingekorte ondertitel wijkt met opzet af van het transcript. Scoor je hem tegen een woordelijk transcript, dan telt elk woord dat de redacteur schrapte als een weglating. Het woordfoutpercentage ziet geen verschil tussen een zorgvuldige inkorting en een woord dat het systeem kwijtraakte.
Hetzelfde verschil zit achter ons eerdere artikel, een transcript is geen ondertitel: het transcript volgt de spreker, de ondertitel volgt de kijker.
Wat kan er misgaan in een ondertitel als elk woord klopt?
Een ondertitel kan woord voor woord met het transcript overeenkomen en de kijker toch in de steek laten. De ondertitelrichtlijnen van de BBC en de richtlijnen van Ofcom voor toegankelijkheidsdiensten op televisie en on demand leggen de controles hieronder vast. Elk cijfer hoort bij het document dat ernaast staat.
| Wat de kijker nodig heeft | Document en bepaling | Wat er staat |
|---|---|---|
| Tijd om te lezen | Ondertitelrichtlijnen van de BBC, secties 4 en 4.1 | Aanbevolen snelheid van 160 à 180 WPM. Timing is een redactionele beslissing die afhangt van de spreeksnelheid, het inkorten en de synchronisatie met de shots. Een ondertitel alleen beoordelen op het aantal woorden in beeld zou "een onaanvaardbaar grove aanpak" zijn. |
| Tijd om te lezen | Richtlijnen van Ofcom, paragraaf 3.6 | Ondertitels blijven lang genoeg in beeld om gelezen te worden. Waar het te vermijden is, blijven ze niet zo lang staan dat ze afleiden of over shotwissels heen lopen. |
| Logische regelafbreking | Ondertitelrichtlijnen van de BBC, sectie 3.4 | Breek ondertitels en regels af op logische punten. Afbrekingen midden in een woord storen bijzonder en moeten worden vermeden. |
| Logische regelafbreking | Richtlijnen van Ofcom, paragraaf 3.16 | Deel ondertitels en regels op bij logische taalkundige breuken. |
| Regellengte | Ondertitelrichtlijnen van de BBC, sectie 3.1 | 37 tekens met vaste breedte per regel (CPL) op teletekst bij uitzending. Online past een regel binnen 68 procent van de breedte van een 16:9-video, of 90 procent bij 4:3-, vierkante en verticale video. Een bestand voor zowel online als uitzending blijft binnen 37 tekens in een zone. |
| Timing op de spraak | Ondertitelrichtlijnen van de BBC, sectie 5.1 | De ondertitel verschijnt wanneer de spraak begint en verdwijnt ongeveer wanneer die spraak eindigt. |
| Timing op het shot | Ondertitelrichtlijnen van de BBC, sectie 6.3 | Vermijd een ondertitel die midden in het ene shot begint en midden in het volgende eindigt. |
| Geen spoilers | Richtlijnen van Ofcom, paragraaf 3.6 | Ondertitels verschijnen niet voordat belangrijke informatie gegeven is, zoals een clou in comedy of in een quiz. |
| Korte vertraging bij live | Richtlijnen van Ofcom, paragraaf 3.9 | Streef naar een gemiddelde latentie van hoogstens 4,5 seconden over alle liveprogramma's samen. Latentie is de vertraging tussen de spraak en de live-ondertitel. |
| Geluid dat geen spraak is | Richtlijnen van Ofcom, paragrafen 3.1 en 3.11 | Ondertitels geven spraak en geluidseffecten weer. Ondertitels voor mensen met gehoorverlies en voor doven beschrijven relevante geluidseffecten, de aanwezigheid en sfeer van muziek, en de toon van de spraak. |
Het woordfoutpercentage, zoals het evaluatieplan van de OpenASR21 Challenge het definieert, houdt geen enkele van deze rijen bij. Een bestand kan goed scoren en toch een regel midden in een woord afbreken, over een montagesnede heen staan of een geluidseffect weglaten dat de kijker nodig had.
Hoe lees je een leverancierspagina die opent met het woordfoutpercentage?
Lees elke score als de eigen bewering van die leverancier over transcriptie. De drie pagina's hieronder publiceren of verklaren een woordfoutpercentage. Geen van hen noemt een leessnelheid voor ondertitels, een regel voor regellengte of een regel voor shotwissels.
| Leverancierspagina | Wat de leverancier zegt |
|---|---|
| AssemblyAI, "How to evaluate speech recognition models" (21 juli 2026) | Het model Universal-3.5 Pro heeft een gemiddeld Engels woordfoutpercentage van 5,6 procent (mediaan 4,9 procent), gemeten over 26 openbare datasets, meer dan 80.000 bestanden en meer dan 250 uur audio. Het model Universal-3.5 Pro Realtime heeft een samengevoegd woordfoutpercentage van 6,99 procent op de open spraak-naar-tekstbenchmark van Pipecat, met gesprekken van spraakagenten. |
| Speechmatics, "Accuracy benchmarking" | Het woordfoutpercentage telt invoegingen, weglatingen en vervangingen ten opzichte van een menselijke referentie, als percentage van het aantal woorden in de referentie. De resultaten hangen sterk af van de audio en de spreker. Leestekens, hoofdletters en sprekerdiarisatie meet het woordfoutpercentage niet, en ze zijn belangrijk voor de leesbaarheid. |
| 3Play Media, The 2024 State of Automatic Speech Recognition Report | Het woordfoutpercentage wordt vaak gebruikt om de kwaliteit van automatische spraakherkenning te beoordelen. Volgens de lezing van 3Play Media verwijst een label als "99% accurate captions" naar het woordfoutpercentage, wat neerkomt op een woordfoutpercentage van 1 procent. De maatstaf telt alleen woorden, geen hoofdletters, leestekens of notatie van getallen. |
Twee van deze leveranciers zeggen duidelijk wat de score weglaat. Speechmatics noemt leestekens, hoofdletters en sprekerdiarisatie. 3Play Media noemt hoofdletters, leestekens en de notatie van getallen. Een ondertitel moet ook voldoen aan regels voor leestijd, regellengte en timing, en die vallen buiten elke transcriptscore.
Een woordfoutpercentage is nuttig als je spraakherkenningssystemen vergelijkt. In een gesprek met een leverancier tonen deze vragen wat het cijfer kan dragen:
- Wat was de referentie: een woordelijk transcript of ingekorte ondertiteltekst?
- Op welke audio is het gemeten, en hoe dicht ligt die bij jouw programma's?
- Kwam de score van een transcript of van het ondertitelbestand dat je krijgt?
- Hoe scoort dat ondertitelbestand op leessnelheid, regellengte, timing en segmentatie?
Wat vraag je dan wel?
Vraag resultaten op het bestand dat je uitzendt, gemeten tegen je eigen doelen. De tabel hierboven geeft de referentiepunten van de BBC en Ofcom. In de praktijk betekent dat:
- leessnelheid per ondertitel
- regellengte per regel, afgezet tegen je leverformaat
- timing op de spraak en op shotwissels
- segmentatie op logische breuken
- geluidseffecten en muziek, als je dienst dat nodig heeft
- voor live-output: de gemiddelde vertraging tussen spraak en ondertitel
Vraag daarna wie controleert wat software niet kan. De ondertitelrichtlijnen van de BBC zeggen dat de eigen bestandsvalidator van de BBC niet elk aspect van conformiteit kan controleren, zoals punten waarvoor een redactioneel oordeel nodig is (bijlage 5). De richtlijnen van Ofcom voor toegankelijkheidsdiensten op televisie en on demand zeggen dat goede toegankelijkheidsdiensten steunen op geïnformeerde beslissingen per geval, genomen door opgeleide mensen (paragraaf 2.29). Ze vragen aanbieders ook om de kwaliteit van vooraf opgenomen toegankelijkheidsdiensten te controleren vóór de uitzending en daarna opnieuw (paragraaf 2.30).
Ofcom zegt wel dat aanbieders kwantitatieve modellen moeten overwegen voor aspecten zoals nauwkeurigheid en latentie. De richtlijnen noemen het woordfoutpercentage niet als dat model.
Gebruik het woordfoutpercentage voor wat het goed doet: tonen hoe goed een spraakherkenningssysteem de woorden hoort. Meet voor de ondertitels wat de kijker leest. Dat zijn leessnelheid, regellengte, timing en segmentatie, met een mens die het bestand kan afkeuren.
Veelgestelde vragen
01
Betekent een laag woordfoutpercentage dat de ondertitels goed zijn?
Nee. Het woordfoutpercentage telt weglatingen, invoegingen en vervangingen in de herkende tekst ten opzichte van een menselijke referentietranscriptie. Zo definieert het National Institute of Standards and Technology het in het evaluatieplan van de OpenASR21 Challenge, versie 1.3. De ondertitelrichtlijnen van de BBC beoordelen ondertitels ook op leessnelheid, regelafbreking, regellengte en timing op het beeld. De score houdt daar niets van bij.
02
Waarom kan een goed ingekorte ondertitel een hoger woordfoutpercentage krijgen?
Richtlijnen voor omroepen laten inkorten toe als er te snel gesproken wordt om te kunnen lezen. Als iemand heel snel praat, moeten de ondertitels volgens de ondertitelrichtlijnen van de BBC zoveel als nodig worden ingekort om aan de timingregels te voldoen (sectie 5.3). De richtlijnen van Ofcom voor toegankelijkheidsdiensten op televisie en on demand laten beperkt parafraseren toe als de dialoog heel snel gaat (paragraaf 3.6). Scoor je die ingekorte ondertitel tegen een woordelijk transcript, dan telt elk woord dat de redacteur schrapte als een weglating.
03
Wat betekent het label "99% accurate captions"?
In The 2024 State of Automatic Speech Recognition Report leest 3Play Media dat label als een woordfoutpercentage van 1 procent. Hetzelfde rapport zegt dat het woordfoutpercentage alleen woorden telt. Hoofdletters, leestekens en de notatie van getallen telt het niet. Die lezing is die van 3Play Media. Vraag de leverancier wat zijn eigen cijfer meet, en op welke audio.
04
Wat vraag je een ondertitelleverancier in plaats van een woordfoutpercentage?
Vraag resultaten op het ondertitelbestand dat je geleverd krijgt: leessnelheid, regellengte, timing op de spraak en op shotwissels, segmentatie, en geluid dat geen spraak is als je dienst dat nodig heeft. Vraag daarna wie het bestand nakijkt. De ondertitelrichtlijnen van de BBC zeggen dat de eigen bestandsvalidator van de BBC geen punten kan controleren waarvoor een redactioneel oordeel nodig is (bijlage 5).
05
Is het woordfoutpercentage nutteloos voor ondertiteling?
Nee. Het toont hoe goed de woorden van een spraakherkenningssysteem overeenkomen met een menselijke referentietranscriptie. Dat helpt als je spraakherkenningssystemen met elkaar vergelijkt. Het zegt niet of een kijker de ondertitels op tijd kan lezen. Gebruik het naast controles op de ondertitels, niet in hun plaats.
Boek een gratis demo
Wil je zien hoe Undertitle Engelse shows en films omzet naar Nederlandse ondertitels? We lopen het graag samen met je na.