Основна ідея нашого продукту - розуміти живу людську мову (natural language processing - далі NLP) щоб допомогти страховим компаніям автоматизувати рутину. Спочатку ця функція майже повністю лежала на нейромережі. Проте разом із розумнішанням наших чатботів з цим підходом виникли проблеми, і юзери часто йшли з відчуттям що їх відверто потролили. Буду радий поділитись практиками, за допомогою яких наша команда розробки вивела NLP на якісно новий рівень. Ну і куди ж без веселих скріншотів переписок користувачів з ботами :)

1. Testing neural network, or how to
convince AI love the humans
t
WITH PASSION TO
QUALITY
Yurii Sychenko
QA CONFERENCE #1 IN UKRAINE, KYIV 2018

2. - controlling the quality since 2014
- assured quality in 1 company, currently in the 2nd
one
- passionate about smart balance of
manual/automation tests
- moving forward to penetration testing
t WITH PASSION TO QUALITY
KYIV 2018
About me

3. t WITH PASSION TO QUALITY
KYIV 2018
Elafris Inc
- будуємо чатботи
для страхових
компаній із США
- більше року на
ринку
- 2 клієнта в лайві

4. - автоматизувати рутинні
процеси через повсякденні
канали спілкування
- бути на звязку з юзерами
24/7
t WITH PASSION TO QUALITY
KYIV 2018
Допомагаємо клієнтам

5. краще сприймаємо
= NLPлюдську мову
t WITH PASSION TO QUALITY
KYIV 2018
Порівняно з конкурентами ми

6. надаємо зручні способи
(OCR)вводу інформації
+ маніпуляції даними
t WITH PASSION TO QUALITY
KYIV 2018
Порівняно з конкурентами ми

7. FAQпропонуємо вбудований модуль
t WITH PASSION TO QUALITY
KYIV 2018
Порівняно з конкурентами ми

8. побудувати процес
забезпечення якості в
продукті з купою інтеграцій і
нетривіальним алгоритмом
NLP, який постійно
еволюціонує
t WITH PASSION TO QUALITY
KYIV 2018
Мій челендж

9. АІ
Платформа
Дашборд
/ /speech toФейсбук смс
text-text to speech
канал
t WITH PASSION TO QUALITY
KYIV 2018
Архітектура продукту

10. t WITH PASSION TO QUALITY
KYIV 2018
Архітектура продукту

11. АІ
=
нейромережа
+
алгоритм
t WITH PASSION TO QUALITY
KYIV 2018
Де тут Штучний інтелект?

12. t WITH PASSION TO QUALITY
KYIV 2018
Нейромережа

13. - ,інтент те чого хоче юзер
Yes= confirm
No = reject
FU = stop conversation
t WITH PASSION TO QUALITY
KYIV 2018
Нейромережа, інтент

14. 100% ,ніколи не дає точності в кращому випадку
96%
t WITH PASSION TO QUALITY
KYIV 2018
Проблема розробки нейромережі

15. ,важко віддебажити треба перенеавчати
t WITH PASSION TO QUALITY
KYIV 2018
Проблема розробки нейромережі

16. - 'об єм і якість датасетів
- -кожна нова бізнес вимога
~ новий інтент
- =кожен новий інтент
переплетення з існуючим
t WITH PASSION TO QUALITY
KYIV 2018
Проблеми навчання нейромережі

17. Факапи на демо
бізнес хоче показати
справжній NLP, технічно це
майже неможливо
t WITH PASSION TO QUALITY
KYIV 2018
Наслідки використання нейронки

18. Класно провести демо
t WITH PASSION TO QUALITY
KYIV 2018
Що потрібно бізнесу

19. - 100%зробити робочий демо сценарій
- user inputкраще розпізнавати
t WITH PASSION TO QUALITY
KYIV 2018
Як допомогти бізнесу провести демо

20. Наш внутрішній інструмент для інтеграційного
тестування системи без участі ФБ
t WITH PASSION TO QUALITY
KYIV 2018
Flow checker для перевірки демо сценарію

21. - збирати статистику нерозпізнаних інтентів- збирати статистику нерозпізнаних інтентів
- читати переписки юзерів- читати переписки юзерів
I love the app but ya have to be joking I would be
justified in coming there and smashing your quote chat
box with a hammer © usert WITH PASSION TO QUALITY
KYIV 2018
Краще розпізнавання — де його знайти

22. ,слек канал дашборд
UI→ АІ →
перенавчення → тест
t WITH PASSION TO QUALITY
KYIV 2018
Нерозпізнані/неправильно розпізнані фрази

23. - my birthday is 30,02,2022
- i need your clothes your boots
and your motorcycle
- i wanna change my gender
t WITH PASSION TO QUALITY
KYIV 2018
Cкладнi фрази

24. –Розпізнавання
нейромережа
–Результат
неправильне розуміння
параметру
t WITH PASSION TO QUALITY
KYIV 2018
my birthday is 30,02,2022 було

25. –Розпізнавання
нейромережа
–Результат
неправильний поділ
або неправильний
параметр
t WITH PASSION TO QUALITY
KYIV 2018
multiple intents було

26. –Розпізнавання
нейромережа
–Результат на кожен
параметр потрібен свій інтент =
переплетення інтентів
t WITH PASSION TO QUALITY
KYIV 2018
modify intent було

27. Recognition service
- за списком
захардкоджених слів, в
обхід нейронки, розуміє
що пише юзер
t WITH PASSION TO QUALITY
KYIV 2018
Що зробили

28. Розуміти параметр і значення
t WITH PASSION TO QUALITY
KYIV 2018
Завдання Recognition service

29. =Точне знання параметру краща екстракція
значення
t WITH PASSION TO QUALITY
KYIV 2018
multiple intents + Recognition service

30. modify intentЄдиний з
100%майже
розпізнаванням
=параметрів ніякого
переплетення інтентів
t WITH PASSION TO QUALITY
KYIV 2018
Change my gender + Recognition service

31. Розпізнавати все
що не потрапило в
екстрактор
=рекогнішн сервісу
yes, no, sop
conversation, skip...
t WITH PASSION TO QUALITY
KYIV 2018
Функція нейронки тепер

32. - -стоп слова для розпізнавання
- -стоп слова для навчання
t WITH PASSION TO QUALITY
KYIV 2018
Подальше покращення нейронки

33. - розширюємо список трігерів для екстракторів
- апдейтимо датасети для навчання і тесту
нейронки
t WITH PASSION TO QUALITY
KYIV 2018
Як глобально покращуємо розпізнавання

34. semantic similarityНа основі
t WITH PASSION TO QUALITY
KYIV 2018
FAQ

35. Оптичне
розпізнавання
тексту
t WITH PASSION TO QUALITY
KYIV 2018
OCR

36. Add/Delete entity
Reports
t WITH PASSION TO QUALITY
KYIV 2018
TODO

37. -Точність у бізнес
=вимогах
точність в
результатах
t WITH PASSION TO QUALITY
KYIV 2018
Висновок 1

38. Нейромережа
круто підходить
,для тих випадків
коли вимоги не
можуть бути
точно
сформульовані
t WITH PASSION TO QUALITY
KYIV 2018
Висновок 2

39. Контроль якості не
може впоратись із
поставленими
задачами
самотужки
t WITH PASSION TO QUALITY
KYIV 2018
Висновок 3

40. Тільки
налагоджена
комунікація
,команди тільки
QA, тільки хардкор
:)
t WITH PASSION TO QUALITY
KYIV 2018
Висновок висновків

41. !Прошу
t WITH PASSION TO QUALITY
KYIV 2018
Питання?

42. https://www.linkedin.com/in/sychenko/
https://www.facebook.com/y.sychenko
t WITH PASSION TO QUALITY
KYIV 2018
Дякую за увагу :)

43. Тема доклада
Тема доклада
Тема доклада
KYIV 2018
WITH PASSION TO QUALITY
QA CONFERENCE #1 IN UKRAINE