Presentatie met daarin een overzicht van het gebruik van Taal- en Spraaktechnologie in Customer Contact Centres. Bovendien een overzicht van de laatste inzichten en ontwikkelingen op dit gebied: gebruik van TST in CCC.

1. Arjan van Hessen
Onderzoek naar Mens-Machine Interactie
(Embodied Agents) en de ontsluiting van
gesproken documenten mbv
Taal- en Spraaktechnologie
Selfservice via de telefoon en de
ontsluiting van gesproken documenten mbv
Taal- en Spraaktechnologie
Het standaardiseren (van zowel data als tools om
hiermee om te gaan) van talige, wetenschappelijke
data voor de geesteswetenschappen.

2. HOE KOMT DE BURGER WAT WAAR HALEN
BIJ DE OVERHEID IN 2018?
Volgens het regeerakkoord dienen burgers en bedrijven in 2017 digitaal te
kunnen communiceren met de lagere overheden. Maar hoe gaat die
communicatie er over vijf jaar uit zien? De kans dat het zal gebeuren zoals
we nu denken is relatief klein.
Immers: van veel van de momenteel gebruikte informatie en communicatie
technologie konden vijf jaar geleden zich nog weinig mensen een beeld
vormen.

3. • Inleiding
– Hoe zit het met de menselijke Taal en Spraak?
– Wat is Taal- en Spraaktechnologie (TST)?
• Werkende applicaties
– Klassieke spraakherkenning
– Geavanceerde spraakherkenning
• (Nabije) toekomst
– Technisch/wetenschappelijke ontwikkelingen

4. • De ontwikkeling van de menselijke
taal (of spraak) is waarschijnlijk
100.000 jaar geleden begonnen.
• Daar vóór hadden de menselijke
kaak, de mond en de larynx de
verkeerde vorm om woorden te
vormen.
Iets dat we nu nog bij de apen
zien.

5. • Het pictografische schrift
(3300 AD Sumer, Mesopotamië) is
voor zover bekend, de oudste
geschreven taal.
-3300
schrift
-10.000
landbouw
-100.000
spraak
NU

6. Communicatie
Geur LichaamstaalGeluiden
Taal
(abstract)
Spraak
Schrift
Dieren
Mensen
Taal zit in het DNA van de mens

8. TAAL- & SPRAAKTECHNOLOGIE
Hoe werkt het en wat kun je ermee?

9. TST
Spraakherkenning
Emotiedetectie
Spraaksynthese
Sprekerverificatie
Luisteren
Spreken
WAT
WIEHOE

10. SPRAAKHERKENNING
Omzetten van geluid( =spraak) in tekst

11. Wat zegt U? Wat bedoelt U?
/A/ /p/ /@/ /l/ /A/ /p/ /@/ /l/ /t/ /j/ /@/
appel appeltje

12. Ik eet een appel
Ik gebruik een appel
Het gebouw waarin appel huist
Ik koop een echte appel
Een appel is mij te modern

13. Spraakherkenning (ook bij mensen) werkt door de
voorspelbaarheid. Hoe hoger die is, hoe beter de herkenning.
Voorspelbaarheid hangt af van
verschillende zaken:
Kennis van de taal
Kennis over het gespreksonderwerp

14. Kennis van taal

15. herkennen
genereren
begrijpen
1950-2000
2000 - nu

16. TAAL- & SPRAAKTECHNOLOGIE
WORDT HET AL GEBRUIKT?
Werkende en bijna werkende TST-toepassingen

17. Taal- en
Spraaktechnologie

18. • Desktop
– Dictation
– Handsfree Command&Control
– Warehouse applications

19. Buchenwald
H.M. Koningin
Wilhelmina
Tweede feministische golf
Herinneringen aan Indonesië
WFH
Joods Historisch
Veteranen Instituut

23. TST IN KLANTCONTACT CENTERS
In telefoongesprekken

24. TST bij Organisaties/Bedrijven
Self Service
Assisted
Service
Simpel: Slotfilling
Management
Service
Postcode-huisnr
Aankomst/vertrek
Doorverbinden
Advanced: OSH
How May I Help You?
Human finalisation
Human interaction
Alles herkennen
wat gezegd werd
Topic spotting
Topic clustering
Searching
Emotion detection
Etc.

25. EENVOUDIG SPRAAKHERKENNING
Slotfilling
Grammars
Robuust en goedkoop

26. ‘’ Mijn postcode
is 7521 PT ’’

27. Service niveau op
0900-8844 is bepalend
voor het eindoordeel
0900-88448844
De Politie over spraakherkenning bij 0900-8844:
•Een concept dat schittert in zijn eenvoud
•Een verrassend snelle implementatie
•Een uitkomst die direct al een groot succes is
•Een besparing die oploopt tot acht ton op jaarbasis
•Een mooi succes in tijden waarin we het geld goed kunnen gebruiken (aldus
korpschef politie - Intake en Noodhulp)
•De druk op de centrale van het KLPD is daarmee aanzienlijk – ik zou bijna
zeggen: rigoureus – verminderd.

28. OPENVRAAG SPRAAKHERKENNING
Natuurlijke taal
Vrijheid in antwoorden
Zeer flexible
Parsing nodig

29. • Waarmee kan ik u helpen?
• Ik wil graag weten of mijn pensioengeld naar mijn
rekening wordt overgemaakt voor einde van het
jaar?
Openvraag spraakherkenning
Eind-van-het-Jaar Pensioengeld
Overgemaakt Rekening
Geef de groep met vragen
die hier het meest op lijkt
Geef het antwoord dat bij
deze groep hoort

30. QA1
QA2
QA3
…
…
QAN
QA
12
AQ3
QA9
QA8
QA6
QA2 QA10
QA5
QA4
mens
Extra
vraag

31. 053 850 80 35
WELKOM BIJ DE GEMEENTE
zegt u het maar
In de Open vraag spraakherkenning DEMO worden alle vragen waarvoor
burgers bellen naar de gemeente herkend en naar de juiste afdeling worden
doorverbonden. Denkt u daarbij aan onderstaande onderwerpen:
• Adres- en contactgegevens
• Afvalstoffen
• Bestemmingsplan
• Gemeentelijke belastingen
• Hondenbelasting
• Afvalstoffenheffing
• Rioolheffing
• Paspoorten
• Rijbewijzen
• Identiteitskaarten
• Melding openbare ruimte
• Openingstijden
• Persoonsadministratie
• Bouwvergunningen
• Parkeervergunningen
• Kapvergunningen
• Koopzondagen
• WMO
• WOZ
• Inkomen en bijstand
• Ongediertebestrijding
• Schuldhulpverlening
• Verkiezingen
• Woonruimte

32. DE OVSH MATRIX
INFORMATIE
Koopzondag
Openingstijden
Rijbewijzen
Identiteitskaarten
Openingstijden
Persoonsadministratie
Bouwvergunningen
Parkeervergunningen
Kapvergunningen
Hondenbelasting
Afvalstoffenheffing
Rioolheffing
Koopzondagen
WOZ
Inkomen en bijstand
Ongediertebestrijding
Schuldhulpverlening
Verkiezingen
Paspoorten
Woonruimte
VERGUNNINGEN
Bouw
Kap
Parkeer
SELFSERVICE
Informatie
INTERNE SKILL 1
Vergunningen
INTERNE SKILL 2
Parkeerbeheer
BELASTINGEN
gemeentelijk
EXTERNE SKILL
Belastingen
OVERIG
INTERNE SKILL 99
OVERIG
ID
Paspoort
Rijbewijs
INTERNE SKILL 3
ID aanvragen
IVR 1
IVR 2
IVR 3

33. Self service <-> Assistentie
Vraag Herkenning
Dialoog
Analyse
Self
Service
Stuur info naar
geschikte medewerker
Schakel gesprek door
naar medewerker
Wat nu?

34. SPRAAKANALYSE
Meeluisteren
Alles herkennen
Analyse van de herkenningsresultaten

35. Ik heb een vraag
over mijn studie
financiering?
Telefonie
netwerk
Contact center
Centrale ACD
Voice Recorder
1 2
U spreekt met OCW
DUO waarmee kan
ik u helpen?
Datum en
tijd
CLI nummer
vd beller
DDI nummer
gebeld IVR Keuzes
WACHT tijd
Agent tijd
Inhoud TEXT
‘Emotie’
Spraak
Analyse
DB

36. EMOTIEDETECTIE

37. • Voer een natuurlijke conversatie met een
mensachtige “agent”
• Doe dat affectief en sociaal-intelligent
– Herken de emotionele staat
– Pas het gedrag daar op aan
Conversational agents/robots

38. Detection: via low-level acoustic features
F0
intensity
MFCC
phoneme
syllable
word
sentence
LEVELS
Emotion X

39. Detection: via `mid-level’ behaviors
Emotion X

40. Units of analysis
F0
intensity
MFCC
phoneme
syllable
word
sentence
NVV BC
LEVELS

41. TOEKOMSTIGE ONTWIKKELINGEN

42. Contact met de Gemeente

44. Het moet
makkelijk zijn
Omnichannel
Webchat wordt
groter dan SM
Smartphones
veranderen
gedrag burgers
Verwacht niveau CC
gaat omhoog
CC gaat de cloud in
CC-agents zijn niet
meer kantoor-
gebonden
Central burger-
repository met alle
contact-info
Service in ‘n app
CC worden
transparant, je ziet je
info, je kiest je agent
Avatars gaan een
grotere rol spelen
Iedereen wordt een
expert en kan
betrokken worden
Spraak-analyse zal
de agents helpen
Biometrie helpt
identificatie/
verificatie

45. • It’s not speech
Recognition
• It’s not searching
• It’s Artificial
Intelligence

46. Begrijpen van Taal
De slang sproeit water op de dure das
van mijn vader die over de ezel hangt
met de mooie tekening van een paard
>77.000
betekenissen

47. Herkennen van Emotie
De computer slaagt
er steeds beter in
om de emotie van
mensen te “lezen”.

49. Geheel natuurlijke
Mens-Machine
Interactie
Gesproken en visueel
overdraagbare
informatie
Band mens-avatar

50. VRAGEN?
Einde, klaar, finito, ready, fin, ende