"Zazwyczaj sytuacja biznesowa jest na tyle skomplikowana, że optymalizacja procesów metodami analitycznymi jest niemożliwa. Można jednak wtedy zastosować podejście symulacyjne. Jak podnieść efektywność biznesu dzięki optymalizacji algorytmów? Jak zbudować symulacyjne środowisko testowe maksymalnie odzwierciedlające rzeczywistość? Jak może wyglądać proces stałego podnoszenia jakości algorytmów? Opowiem o swoich doświadczeniach w budowie symulatorów procesów biznesowych."

1. TOMASZ BRZEZIŃSKI
NIESTANDARDOWE METODY MACHINE LEARNING
Podnoszenie efektywności biznesu przez zastosowanie
podejścia symulacyjnego

2. Jak działa iTaxi?

3. Problem: optymalizacja algorytmu wydawania
zleceń

4. Którą taksówkę wysłać?

5. Dostarczyć taksówkę:
•jak najszybciej
•jak najlepszą
•z żądaną stawką za kilometr
•spełniającą dodatkowe wymagania (np. liczba osób)
•tak, aby móc skutecznie zrealizować kolejne zlecenia
Zadanie

6. Dostarczyć taksówkę:
•jak najszybciej: mediana czasu dojazdu
•jak najlepszą: średni scoring kierowcy
•tak, aby móc skutecznie zrealizować kolejne zlecenia:
reliability ratio (ilość kursów/popyt)
KPI

7. Problem
•wielokryterialny
•nieliniowy i niesprowadzalny do liniowego
•dyskretny
•niestabilny w czasie
•w warunkach niepewności
Dlaczego to jest trudne?

8. System cyklicznej poprawy algorytmu

9. Benchmark (100%) Benchmark (90%) Benchmark (50%) Przegrany (10%) Przegrany (0%)
Kandydat (10%) Pretendent (50%)
Zwycięzca - nowy
benchmark (90%)
Zwycięzca - nowy
benchmark (100%)
Testy A/B

10. Benchmark (100%)
(50%)
Przegrany (10%) Przegrany (0%)
Kandydat (10%)
Pretendent
(40%)
Zwycięzca -
nowy
benchmark
(80%)
Benchmark
(50
(…)
Kandydat 2
(10%)
Przegrany (0%)
Pretendent
(40%)
(…)
Kandydat 4
(10%)
(…)
Benchmark (100%)
Benchmark
(90%)
Benchmark
(50%)
Przegrany (10%) Przegrany (0%)
Kandydat (10%)
Pretendent
(40%)
Zwycięzca -
nowy
benchmark
(80%)
Benchmark
(50%)
(…)
Kandydat 2
(10%)
Przegrany (0%)
Kandydat 3
(10%)
Pretendent
(40%)
(…)
Kandydat 4
(10%)
(…)
Cykliczne testy A/B
Benchmark (100%)
Benchmark
(90%)
Kandydat (10%)
Benchmark (100%)
Benchmark
(90%)
Benchmark
(50%)
Kandydat (10%)
Pretendent
(40%)
Kandydat 2
(10%)

11. Nowe rozwiązanie Test w symulatorze
Optymalizacja
parametrów w
symulatorze
Benchmark w teście
A/B
Nowy benchmark/
przegrany
Pretesting w symulatorze
Testowanie w rzeczywistości ma znaczący wpływ na
biznes

12. A jeśli wyniki w rzeczywistości odbiegają od
symulacji?

13. Kompletny system
Test w
symulatorze
Testy A/B
Analiza
rozbieżności
Modyfikacja
symulatora

14. Czym jest symulacja?

15. • Symulacja: przybliżone odtwarzanie zjawisk czy zachowań jakiegoś
obiektu za pomocą jego modelu (fizycznego lub matematycznego)
• Model matematyczny: grupa funkcji wiążących ze sobą różne zmienne
i w ten sposób opisujących powiązania między wielkościami
w układzie
Symulacja

16. Symulacyjne podejście do problemu iTaxi–
założenia/uproszczenia

17. rozważmy zbiór identycznych sferycznych taksówek…
ze zbiornikiem paliwa o nieskończonej pojemności…
poruszających się ruchem jednostajnym prostoliniowym…
po powierzchni wycinka quasigeoidy…
w celu obsługi identycznych pasażerów…
o stałych i niezmiennych w czasie preferencjach…
składających zamówienia wg rozkładu Poissona…
Jak nie odlecieć?

18. Uproszczenia:
• Eliminacja zdarzeń tak rzadkich, że nie wpływających na wynik
• Eliminacja wzajemnie znoszących się odchyleń
• Eliminacja nieestymowalnych odchyleń
Nie wolno:
• Uśredniać istotnych zmienności
• Ignorować niestabilności
• Ignorować istotnych korelacji zjawisk
• Zakładać znajomości informacji, których w realnej sytuacji nie mamy
Można rozważyć:
• Uproszczenie (np. uśrednienie) istotnego zjawiska, jeśli strata dokładności jest
rekompensowana szybkością obliczeń
Zasady budowy modelu

19. Taksówki mają identyczną prędkość
Poruszają się po liniach prostych
Nie ma zleceń grupowych (kilka taksówek)
Nie ma zleceń terminowych
Pasażer nie zmienia swoich decyzji
Uproszczenia

20. Zjawiska mają określone rozkłady, które muszą być odzwierciedlone:
- rozkład zleceń w przestrzeni i czasie
- rozkład dostępności taksówkarzy w przestrzeni i czasie
- rozkład scoringów
- rozkład cierpliwości pasażerów
- rozkład prawdopodobieństwa odrzucenia zlecenia przez taksówkarza (rozkłady są różne dla
poszczególnych taksówkarzy)
Wielowymiarowe rozkłady nie są dekomponowane na poszczególne wymiary
Poszczególne miasta mają inne charakterystyki
Przejezdność miasta (prędkość poruszania się) zmienia się w czasie i jest niejednorodna w
przestrzeni
W danym momencie nie mamy wiedzy o przyszłości
Poszczególne czynności (zamówienie taksówki, przyjęcie zlecenia przez taksówkarza itp.) trwają
określony czas
Czego nie uprościliśmy?

21. Rozkłady szacowane metodami analitycznymi:
- rozkład scoringów
- rozkład prawdopodobieństwa odrzucenia zlecenia
przez taksówkarza
Popyt i podaż – symulacja metodami Monte Carlo
Szacowanie rozkładów – główny problem

22. Metoda Monte Carlo

23. metoda Monte Carlo
• Stanisław Ulam
• Metoda jest używana do modelowania
procesów zbyt złożonych do obliczania
analitycznego
• Aby zamodelować wynik procesu, losujemy
odpowiednio dużo wielkości
charakteryzujących proces, po czym
dokonujemy przetworzenia algorytmicznego

24. Monte Carlo - przykład

25. Dla danego dnia znajdujemy dni „podobne”
Zlecenia ze wszystkich dni podobnych stanowią pulę
losowania
Określamy intensywność popytu
Losujemy (ze zwracaniem) potrzebną liczbę zleceń
Dla danego zlecenia bierzemy jego pełną
charakterystykę (położenie, czas, parametry pasażera)
Zastosowanie Monte Carlo w symulacji popytu

26. Dla danego dnia znajdujemy dni „podobne”
Pulę losowania stanowią wszystkie sesje dostępności
kierowców
Określamy intensywność podaży
Losujemy (ze zwracaniem) potrzebną liczbę sesji dostępności
Dla danej sesji bierzemy jej pełną charakterystykę (miejsce
pojawienia, czas startu, czas zakończenia, parametry
taksówkarza)
Zastosowanie Monte Carlo w symulacji podaży

27. Wyniki

28. •W symulatorze: 12 różnych funkcji, około 1000
zestawów parametrów
•W testach A/B: 9 faz testów, 3 funkcje, łącznie 32
zestawy parametrów
•2 fazy modyfikacji symulatora na podstawie
rozbieżności z rzeczywistością
•Cykliczność: nowy test w (prawie) każdy czwartek
Przeprowadzone testy

29. Dni robocze
Czas dojazdu
RR
Scoring
Weekend
Czas dojazdu
RR
Scoring
Przykładowe wyniki dla jednego z miast
F1 F2 F3
Dni robocze
Czas dojazdu -7,2% -6,9% -6,1%
RR +3,0% +3,0% -8,5%
Scoring -4,4% -7,7% -4,0%
Weekend
Czas dojazdu -3,2% +0,0% -4,8%
RR -1,5% -1,5% +5,0%
Scoring -3,5% -6,3% +4,0%

30. Dotychczasowe efekty
•Zmiana średniego scoringu: +0,4%
•Zmiana mediany czasu dojazdu: -8,5%
•Zmiana RR: +7,5%

31. Dlaczego tak mało?

32. Dlaczego tak mało?
•Rzeczywistość nieustannie się zmienia
•Optymalne algorytmy są specyficzne dla miast i czasu
•Testy A/B muszą być ostrożne -> określenie istotności
statystycznej zajmuje czas

33. Co dalej?

34. Plany
•Dynamiczna automatyczna optymalizacja
Prognoza
popytu
Natężenie
ruchu
Wybór funkcji i
parametrów przydziału
taksówki
Prognoza
zmian podaży
Lokalizacja
zlecenia
Obecny stan
podaży

35. Plany – automatyka testów
• SI (NN lub GA) przeszukuje zakres możliwych algorytmów
przydziału taksówek i testuje je w symulatorze
• Jeśli test istotnie poprawia funkcję celu, automatyczny test
A/B
• Jeśli w teście A/B poprawa jest potwierdzona, test
rozszerzany
• Jeśli w teście A/B poprawa nie jest potwierdzona, alert
(symulator wymaga poprawy)

36. • Jeśli możesz, przed testowaniem na żywo sprawdź scenariusz w
warunkach laboratoryjnych
• Jeśli problem jest zbyt skomplikowany do rozwiązania analitycznego,
przeprowadź symulację
• Rozbieżności wyników symulacji z wynikami testów A/B są narzędziem
do doskonalenia symulatora
• W zmieniającej się rzeczywistości optymalizacja nigdy się nie kończy
Na wynos