Expositores: Paula Martínez y Rodrigo Beceiro Resumen: En esta charla compartiremos nuestra experiencia en el testing de Chatbots. Veremos cómo funciona un chatbot y cuál es el estado del arte en esta tecnología. Hablaremos del procesamiento del lenguaje natural realizado por ellos buscando comprender qué debemos testear. Analizaremos tanto la comprensión del chatbot como el manejo de sus flujos de diálogo y las dificultades que las conversaciones naturales no estructuradas representan para nosotros en el diseño, desarrollo así como en el testing. Hablaremos también de herramientas de testing automático para chatbots y discutiremos qué limitantes presentan para nosotros herramientas como IBM Watson, Microsoft LUIS y Google Dialogflow.

1. @pau_martinez | @rodrigobeceiro | #testinguy
CHARLA
Paula Martínez
paula@botia.io
@pau_martinez
Rodrigo Beceiro
rodrigo@botia.io
@rodrigobeceiro
13 y 14 de mayo, 2019
testinguy.org
@testinguy | #testinguy
Testing
de Chatbots

2. @pau_martinez | @rodrigobeceiro | #testinguy
¿Quiénes somos?

3. @pau_martinez | @rodrigobeceiro | #testinguy
¿Qué es un chatbot?

4. @pau_martinez | @rodrigobeceiro | #testinguy
NLP Manejo del
diálogo
Input: “Hola, quiero
pedir una pizza”
¿Intención? Pedir
¿Qué? Pizza
Output: “¿Quiere
pagar en efectivo o
crédito?
Nuevo pedido
Aplicación
Chatbots: ¿Cómo funcionan?

5. @pau_martinez | @rodrigobeceiro | #testinguy
Intents
Acciones que el usuario puede realizar

6. @pau_martinez | @rodrigobeceiro | #testinguy
Entities
Metadata del intent

7. @pau_martinez | @rodrigobeceiro | #testinguy
Confianza en las
predicciones
No hay 100% de confianza

8. @pau_martinez | @rodrigobeceiro | #testinguy

9. @pau_martinez | @rodrigobeceiro | #testinguy
NLP Manejo del
diálogo
Input: “Hola, quiero
pedir una pizza”
Output: “¿Quiere
pagar en efectivo o
crédito?
Nuevo pedido
Aplicación
Chatbots: ¿Cómo funcionan?
INTENT: PedidoNuevo
ENTITIES: Comida (valor: Pizza)

10. @pau_martinez | @rodrigobeceiro | #testinguy
Utterances
Ejemplos de oraciones que ayudan a
determinar el significado

11. @pau_martinez | @rodrigobeceiro | #testinguy
Procesamiento del lenguaje natural

12. @pau_martinez | @rodrigobeceiro | #testinguy
Alternativa al motor de reglas
Fuente https://keepcon.com

13. @pau_martinez | @rodrigobeceiro | #testinguy

14. @pau_martinez | @rodrigobeceiro | #testinguy
¿Qué quiero testear?
• NLP = Entrenamiento del bot
• Flujos de conversaciones
• Interacción con otros sistemas

15. @pau_martinez | @rodrigobeceiro | #testinguy
¿Qué quiero testear?

16. @pau_martinez | @rodrigobeceiro | #testinguy
Es un bot que busca mantener
una conversación natural
Debo manejar elementos naturales de conversaciones como el Gracias, Adiós,
Hola, etc.

17. @pau_martinez | @rodrigobeceiro | #testinguy
Rindfleischetikettierungsü
berwachungsaufgabenüber
tragungsgesetz

18. @pau_martinez | @rodrigobeceiro | #testinguy
¿Qué quiero testear? NLP

19. @pau_martinez | @rodrigobeceiro | #testinguy

20. @pau_martinez | @rodrigobeceiro | #testinguy
¿Qué quiero testear? NLP

21. @pau_martinez | @rodrigobeceiro | #testinguy
“Quiero la ocsion 3”
Hacen falta conversaciones reales

22. @pau_martinez | @rodrigobeceiro | #testinguy
Un buen diseño ayuda…
siempre que sea posible
Empresa:
Prex
Producto:
Prexcard
=
tarjeta
prepaga
Producto:
Prextamo
=
préstamo

23. @pau_martinez | @rodrigobeceiro | #testinguy
¿Qué quiero testear?
Flujos de conversaciones
Saludo
Agregar
productos
Confirmar orden
Verificar
dirección
Despedida

24. @pau_martinez | @rodrigobeceiro | #testinguy
¿Qué quiero testear?
Flujos de conversaciones
Saludo
Agregar
productos
Confirmar
orden
Verificar
dirección
Despedida
Listar catálogo

25. @pau_martinez | @rodrigobeceiro | #testinguy
¿Qué quiero testear?
Flujos de conversaciones
Saludo Agregar productos Confirmar orden Verificar dirección Despedida
Listar catálogo
Agregar dirección
¿Métodos de pago?
¿Tiempo de espera?
Eliminar productos

26. @pau_martinez | @rodrigobeceiro | #testinguy
Diálogos o intents
Globales

27. @pau_martinez | @rodrigobeceiro | #testinguy
A cuidar
• Contexto
• Loops
• Conversaciones no estructuradas: Saltos de ida y
vuelta a un diálogo

28. @pau_martinez | @rodrigobeceiro | #testinguy
Consejos prácticos y métricas
• Conversaciones que llegan a su fin correctamente
• Intents y entities correctamente identificados
• Confianza en la predicción
• Con usuarios “malvados” prefiero no perder tiempo
• Debo manejar todos los casos posibles
elegantemente

29. @pau_martinez | @rodrigobeceiro | #testinguy
Chatbots que testean chatbots

30. @pau_martinez | @rodrigobeceiro | #testinguy
Arquitectura más común
Aplicación
Motor NLP
Motor de NLP extrae Intents y
Entities
Genero respuesta

31. @pau_martinez | @rodrigobeceiro | #testinguy
Consideraciones prácticas para el testing
automático

32. @pau_martinez | @rodrigobeceiro | #testinguy
¿PREGUNTAS?
¡MUCHAS GRACIAS!
13 y 14 de mayo, 2019
testinguy.org | @testinguy | #testinguy
Paula Martínez
paula@botia.io
@pau_martinez
Rodrigo Beceiro
rodrigo@botia.io
@rodrigobeceiro