Home › Kennisbank › AI-begrippen › Realtime voice AI

AI-begrippen

Realtime voice AI: latency, turn-taking, onderbreken en speech-to-speech

Realtime voice AI is AI die een telefoongesprek voert met zo weinig vertraging dat het voelt als een gewoon gesprek. Daarvoor moet een AI Voice Agent snel antwoorden (latency), weten wanneer de beller klaar is met praten (turn-taking) en stoppen als de beller haar onderbreekt (barge-in). De techniek erachter bepaalt hoe natuurlijk, snel en controleerbaar dat gaat.

Plan een kennismaking →Hoor Ciss als jullie receptionist

AI Voice Agents

Human Assist

Bestaande telefonie

24/7 opvang

Door de redactie van ContactOns · bijgewerkt 17 oktober 2026

Overzicht

Wat een AI-gesprek natuurlijk maakt, in één tabel

Of een beller een AI receptionist prettig vindt, hangt voor een groot deel af van het ritme van het gesprek. Deze begrippen beschrijven dat ritme en de techniek erachter.

Begrip	Betekenis in één zin	Waarom het telt voor je AI receptionist
Latency	De tijd tussen het einde van wat de beller zegt en het begin van het antwoord.	Te lange stiltes voelen onnatuurlijk en bellers gaan dan opnieuw praten.
Time to first audio	Het moment waarop de beller het eerste geluid van het antwoord hoort.	Bepaalt of het antwoord vlot voelt, ook als de rest nog wordt gemaakt.
Turn-taking	Het om de beurt praten in een gesprek.	Zij moet niet door de beller heen praten en ook niet te lang wachten.
End-of-turn detection	Herkennen dat de beller klaar is met zijn beurt.	Voorkomt dat zij iemand afkapt die even nadenkt.
Barge-in	De beller onderbreekt de AI terwijl zij praat.	Zij moet dan stoppen en luisteren, net als een mens.
Cascaded pipeline	Spraak naar tekst, taalmodel, tekst naar spraak: drie stappen na elkaar.	Veel controle en inzicht, met iets meer vertraging.
Speech-to-speech	Eén model dat direct van spraak naar spraak werkt.	Natuurlijker en sneller, maar lastiger te sturen en te controleren.

Elk begrip uitgelegd

Snelheid, beurtwisseling en architectuur van een AI Voice Agent

Een AI Agent voor telefonie moet tegelijk luisteren, begrijpen, antwoorden en reageren op onderbrekingen. Per begrip lees je wat het is, hoe het werkt aan de telefoon en wat je zelf regelt of controleert.

AI voice agent latency

Latency is de vertraging tussen het moment dat de beller stopt met praten en het moment dat de AI Voice Agent antwoordt. Die vertraging ontstaat in elke stap: de spraak verstaan, het antwoord bedenken, eventueel iets opzoeken in een systeem en de spraak maken. Ook de telefonieverbinding zelf telt mee.

Het doel is niet een zo laag mogelijk getal, maar een gesprek dat voelt als een gewoon gesprek. Wat je regelt: korte, heldere instructies, koppelingen die snel reageren en een telefonie-inrichting zonder onnodige omwegen. Duurt een opzoekactie langer, dan zegt een goede AI receptionist dat even, zoals "ik kijk het voor je na".

Kort antwoord: latency is de wachttijd tot het antwoord, en die moet zo kort zijn dat het als een gewoon gesprek voelt.

Conversational latency

Conversational latency is de vertraging zoals de beller die ervaart in het gesprek als geheel, niet alleen van één technische stap. Een systeem kan in een test snel lijken, terwijl het gesprek in de praktijk stroef voelt door wachten op een koppeling, een trage lijn of te lange antwoorden.

Beoordeel daarom altijd met echte proefgesprekken over je eigen telefonie, met een gewone telefoon en ook mobiel, en niet alleen in een demo op een laptop. Let op hoe het voelt bij lastige vragen en bij opzoekacties, want daar zit de meeste vertraging.

Kort antwoord: conversational latency is hoe vlot het hele gesprek voor de beller voelt, gemeten in echte gesprekken.

Time to first audio

Time to first audio is het moment waarop de beller het eerste geluid van het antwoord hoort. Moderne systemen wachten niet tot het hele antwoord klaar is, maar beginnen te spreken zodra de eerste woorden er zijn. Zo voelt het antwoord vlot, ook als de rest nog wordt gemaakt.

Voor een AI receptionist betekent dit: korte openingszinnen werken beter dan lange. Een kort "goed, dat zoek ik op" geeft de beller direct een teken dat zij luistert. Dit hangt samen met de kwaliteit van de stemsynthese; zie text-to-speech.

Kort antwoord: time to first audio is wanneer de beller het eerste woord van het antwoord hoort, en dat bepaalt hoe vlot het voelt.

Turn-taking AI

Turn-taking is het om de beurt praten. Mensen doen dat vanzelf: we horen aan toon en zinsbouw dat iemand klaar is, en we weten dat "eh" betekent dat er nog iets komt. Een AI Voice Agent moet dat leren inschatten.

Gaat het mis, dan praat zij door de beller heen of laat zij lange stiltes vallen. Beide zijn irritant, en bij oudere of kwetsbare bellers extra lastig. Wat je regelt: testen met bellers die rustig of juist snel praten, en een instelling die past bij je doelgroep. Dialect en accent spelen ook mee; zie begrijpt AI dialecten.

Kort antwoord: turn-taking is het natuurlijke om de beurt praten, zodat de AI niet door de beller heen praat en geen lange stiltes laat vallen.

End-of-turn detection

End-of-turn detection is de techniek die bepaalt dat de beller klaar is met zijn beurt. De eenvoudigste vorm wacht op een korte stilte. Dat gaat mis bij iemand die nadenkt, een klantnummer zoekt of een lang adres opnoemt: dan wordt hij afgekapt.

Betere systemen kijken naar meer dan stilte, zoals toonhoogte en of de zin af klinkt. Bij het noemen van nummers en adressen is het verstandig dat de AI receptionist iets langer wacht of expliciet vraagt "is dat alles?".

Kort antwoord: end-of-turn detection herkent dat de beller klaar is, zodat zij niemand afkapt die nog nadenkt.

Semantic endpointing

Semantic endpointing is end-of-turn detection op basis van betekenis. Het systeem kijkt niet alleen of het stil is, maar ook of de zin inhoudelijk af is. "Mijn postcode is..." is duidelijk niet af, ook al valt er een pauze. "Dat was het" is wel af.

Voor bellers voelt dit natuurlijker: minder afgekapte zinnen en minder "sorry, ik was nog niet klaar". Het vraagt wel iets meer rekenwerk. Vraag bij een selectie hoe een oplossing het einde van een beurt bepaalt en test het met je eigen belredenen.

Kort antwoord: semantic endpointing bepaalt aan de hand van de betekenis of de beller klaar is, niet alleen aan een stilte.

Barge-in bij voice AI

Barge-in betekent dat de beller de AI onderbreekt terwijl zij aan het praten is. Dat doen mensen voortdurend: "ja, dat weet ik", "nee, het gaat om iets anders". Een AI receptionist zonder barge-in praat dan gewoon door, en de beller voelt zich niet gehoord.

Met barge-in stopt zij met praten zodra de beller begint, en luistert zij. Een technisch aandachtspunt is echo: het systeem moet zijn eigen stem niet aanzien voor de beller. Bij slechte lijnen of veel achtergrondgeluid, zoals in een auto of op een bouwplaats, verdient dit extra testen.

Kort antwoord: barge-in laat de beller de AI onderbreken, waarna zij stopt en luistert.

Interruption handling

Interruption handling is wat er na de onderbreking gebeurt. Stoppen is stap één; daarna moet de AI Voice Agent begrijpen waarom de beller onderbrak en daar goed op reageren. Was het een bevestiging ("ja ja"), dan kan zij verder. Was het een correctie ("nee, dinsdag"), dan past zij het gegeven aan. Was het een nieuwe vraag, dan schakelt zij om.

Niet elk geluid is een onderbreking: een hoest, een "hm" of een collega op de achtergrond hoort het gesprek niet te stoppen. Goede interruption handling onderscheidt dat. Wil de beller een medewerker, ook halverwege een zin, dan verbindt zij door.

Kort antwoord: interruption handling bepaalt hoe de AI na een onderbreking verdergaat: doorgaan, corrigeren of omschakelen.

Cascaded voice pipeline

Een cascaded voice pipeline werkt in drie stappen na elkaar: speech-to-text zet spraak om in tekst, een taalmodel (zie LLM) bedenkt het antwoord en text-to-speech maakt er weer spraak van. Elke stap kan apart gekozen en afgesteld worden.

Het voordeel is controle: je kunt de tekst controleren, vaste regels toepassen, koppelingen aanroepen en gesprekken goed terugkijken. Het nadeel is dat elke stap wat tijd kost en dat toon en emotie in de stap naar tekst grotendeels verloren gaan. Voor de meeste zakelijke toepassingen, waar betrouwbaarheid en controle zwaar wegen, is dit nu een gangbare keuze.

Kort antwoord: een cascaded pipeline doet spraak naar tekst, taalmodel en tekst naar spraak na elkaar, met veel controle maar iets meer vertraging.

Native audio model

Een native audio model is een AI-model dat audio direct verwerkt, zonder eerst alles om te zetten in tekst. Het hoort dus ook toon, tempo en nadruk, en kan daarop reageren. Het antwoord kan direct als audio worden gemaakt.

Dat maakt gesprekken vaak sneller en natuurlijker. Tegelijk is het lastiger te sturen: je ziet minder goed wat het model "dacht", vaste regels zijn moeilijker af te dwingen en het gedrag kan per gesprek meer verschillen. Vraag bij zo'n oplossing hoe koppelingen, controle en het terugkijken van gesprekken geregeld zijn.

Kort antwoord: een native audio model verwerkt spraak direct, wat natuurlijker klinkt maar minder controle geeft.

Speech-to-speech AI

Speech-to-speech AI is een AI Voice Agent die met een native audio model rechtstreeks van gesproken vraag naar gesproken antwoord gaat. Het is de tegenhanger van de cascaded pipeline. Er bestaan ook mengvormen, bijvoorbeeld een speech-to-speech-model dat voor gevoelige stappen toch tekst en vaste regels gebruikt.

De afweging is snelheid en natuurlijkheid tegenover controle en voorspelbaarheid. Bij eenvoudige gesprekken met weinig risico kan speech-to-speech prettig zijn. Bij processen met verificatie, koppelingen en strikte regels weegt controle vaak zwaarder. Kies niet op techniek alleen, maar op wat je bellers en je proces nodig hebben; zie ook selectiecriteria.

Kort antwoord: speech-to-speech AI gaat direct van spraak naar spraak; sneller en natuurlijker, maar minder controleerbaar dan een pipeline.

Aanpak

Zo pak je het aan

1Bel zelf en luister naar het ritmeVoer proefgesprekken via je eigen telefonie, vast en mobiel. Let op stiltes, afgekapte zinnen en of je haar kunt onderbreken.

2Test met lastige situatiesBellers die nadenken, lange nummers noemen, snel of met accent praten of veel achtergrondgeluid hebben. Neem je eigen doelgroep als maatstaf.

3Kies de architectuur bij je procesWeeg snelheid en natuurlijkheid af tegen controle, koppelingen en terugkijken. Bespreek ook hoe de AI receptionist aansluit op je bestaande telefonie.

4Blijf meten en bijstellenLuister gesprekken terug op stroeve momenten en stel instructies, koppelingen en instellingen bij. Zie implementatie.

Eerlijk

Wat realtime voice AI wel en niet oplost

Dit kan een AI receptionist goed

Vlot antwoorden, zodat het voelt als een gewoon gesprek.

Stoppen en luisteren als de beller haar onderbreekt.

Een correctie halverwege verwerken, zoals een andere datum.

Even melden dat zij iets opzoekt, in plaats van stil te vallen.

Op elk moment doorverbinden als de beller een medewerker wil.

Hier blijft een mens nodig

Bellers die het gesprek met AI als lastig ervaren, bijvoorbeeld door gehoor of spraak.

Emotionele gesprekken en klachten, hoe natuurlijk de stem ook klinkt.

Situaties waarin een slechte lijn het gesprek steeds laat haperen.

Advies en besluiten die buiten vaste regels vallen.

Spoed en gevaar: direct naar 112 of de juiste noodroute.

Veelgestelde vragen

Veelgestelde vragen over realtime voice AI

Hoe snel moet een AI Voice Agent antwoorden?

Zo snel dat het voelt als een gewoon gesprek. Een exact getal zegt weinig: wat telt is hoe het voor de beller voelt in echte gesprekken, over je eigen telefonie en ook bij opzoekacties.

Kan ik een AI receptionist onderbreken?

Bij een goede inrichting wel. Met barge-in stopt zij met praten zodra je begint, en met interruption handling begrijpt zij of je bevestigt, corrigeert of iets anders vraagt.

Waarom kapt een voicebot mij soms af?

Omdat het systeem een pauze aanziet voor het einde van je beurt. Met betere end-of-turn detection, zoals semantic endpointing, en extra wachttijd bij nummers en adressen gebeurt dat minder vaak.

Wat is het verschil tussen een cascaded pipeline en speech-to-speech?

Een cascaded pipeline zet spraak om in tekst, laat een taalmodel antwoorden en maakt er weer spraak van. Speech-to-speech gaat direct van spraak naar spraak. Het eerste geeft meer controle, het tweede klinkt vaak natuurlijker en sneller.

Merkt een beller dat hij met een AI Agent voor telefonie praat?

Dat hoort hij altijd te weten. Een goede AI receptionist zegt aan het begin dat de beller met AI praat en hoe hij een medewerker krijgt, hoe natuurlijk het gesprek ook verloopt.

Advies op maat

Klinkt jouw AI receptionist als een gewoon gesprek?

We beluisteren samen hoe een AI Voice Agent zich gedraagt over je eigen telefonie, bespreken welke architectuur past bij je belredenen en koppelingen, en waar een medewerker beschikbaar moet blijven. ContactOns is regisseur in AI-first klantcontact. We leveren oplossingen samen met zorgvuldig geselecteerde partners, of managed services op een oplossing die je al hebt.