Jarosław Pałka Language: Polish System powstają i upadają. Często to człowiek zawodzi, na różnych etapach tworzenia. Czasami gdy system jest jeszcze na deskach kreślarskich, czasami gdy już myśl w kod się przekuwa, gdy podejmujemy tysiące tych drobnych decyzji, "to się zrobi później", "będzie jeszcze czas". Zapominamy ciągle jednak o tym, że jutro nie nadchodzi nigdy. I system upadają, pod naporem użytkowników, bez dostępu do szybkich dysków, niezawodnej sieci i stabilnych "chmur". Ta opowieść, będzie historią takich upadków i o tym co ja i ludzie z którymi pracowałem w projektach mogliśmy zrobić lepiej, by ustrzec się przed koszmarem nadgodzin i utrzymywania systemu w jako taki zdrowiu. Opowiem o wzorcach, które pozwalają wam budować stabilne systemy. Opowiem o "fail fast", "circuit braker", "supervisor" i innych wynalazkach. Tym razem jednak nie będzie tylko o technologii, będzie też o nas, o naszych błędach, o słabościach naszych i organizacji w których pracujemy, o braku komunikacji pomiędzy zespołami, o napiętych terminach i "business value", hegemonii procesów i braku zdrowego rozsądku.

1. Słowem wstępu
Nie jest moją intencją urazić
kogokolwiek na tej sali
Humor i żarty nie były testowane na
zwierzętach
Żadne też mniejszości nie zostały
Celowo pominięte
Wszelkie próby cenzury są daremne
I tak powiem co myślę

2. Jaka piękna
katastrofa w
doskonałym
świecie

3. rzecz o architekturze
skazanej na klęskę

4. czyli

5. Dzień z życia świra

6. Kim jestem?
Podróżnik wiedziony na manowce
przez technologie
Wyznawca kościoła JVM
Archeolog kodu odziedziczonego
Symentis.pl @j_palka

7. Programowanie rozproszone
To sztuka rozwiązywania tego
samego problemu, który możesz
Rozwiązać na jednym komputerze,
Przy użyciu wielu komputerów

8. System rozproszony
Gdzie awaria komputera o którego
istnieniu nie wiedziałeś
Czyni twój program bezużytecznym
Ktoś, kiedyś, w Internetach

9. prędkość światła
1 nanosekunda
=
30 cm

10. 0.5-1 nanosekund
Procesor -> L1 cache
7 nanosekund
Procesor -> L2 cache
100 nanosekund
Procesor -> RAM

11. Wszystkiemu winne?
Organizacje
Ludzie
Oprogramowanie (ale nie moje:) )
Sprzęt

12. Pierwsze I ostatnie
przykazanie
w teorii zupełnej i kompletnej
systemów
kompletnie rozproszonych
I
zupełnie spieprzonych

13. „fail fast”
upadnij
dopóki ty to kontrolujesz
w przeciwnym wypadku
to
upadek przejmie kontrolę
nad Tobą

14. Co ryzykujesz?
utratę danych
spójność danych
opóźnienia
„efekt domina”

15. Stabilny
system

16. Stabilnie, ale jakoś inaczej

17. Z teorii dynamiki systemów
inflow
|
capacity
|
outflow

18. inflow > outflow
capacity != const
delay = Tout-Tin

19. Drugie poprawione prawo
wyłączności i inercji systemów
rozproszonych „inaczej”
w
świetle
wszechogarniającej teorii
wszystkiego

20. „tragedy of commons”
nie dziel się
procesorem
pamięcią
operacjami I/O

21. „chmury”
wirtualizacja
kontenery
współczesna wersja socjalizmu
wszystkim po równo

23. procesy wsadowe
kopie zapasowe
automatyczne skalowanie
zachłanni klienci
nieoptymalnie napisany kod
pijani sysadmini

24. system to układ naczyń połączonych
gdy jeden z systemów nie odpowiada
Propagacja opóźnienia
Propagacja błędu

25. … z zapomnianej ...
Księgi Upadłych Systemów

26. supervisor

27. proces który jest odpowiedzialny za
uruchamianie,
zatrzymywanie
i monitorowanie innych procesów

28. Ale to już było

29. actor model
(erlang, akka)
unix daemons
(supervisord, eye, god)

30. circuit braker
„aka”
„g..no uderzyło w wentylator”

32. Remote Procedure Call
aka
Rozpacz Programisty Czarna
CORBA, RMI, SOAP
grpc.io (to jest jakiś żart, tak?)

33. Mikrousługi = RPC^N
Prawdopodobieństwo rośnie
Geometrycznie
Naturalnym stanem takich
systemów Jest
„huston mamy problem”

34. Ktoś zapomniał
wam powiedzieć?

35. class SimpleCircuitBraker {
final int threshold;
final AtomicLong counter;
<T> T call(Supplier<T> call) {
if (counter.get() > threshold) {
throw new CircuitBrakerOpen();
}
try {
return call.get();
} catch (Exception e) {
counter.incrementAndGet();
throw e;
}
}
boolean close() {
return counter.getAndSet(0) != 0;
}
}

36. Jeśli potrzebujesz coś bardziej
wymyślnego
Netflix/Hystrix
Latency and Fault Tolerance for
Distributed Systems

37. import com.netflix.hystrix.HystrixCommand;
import com.netflix.hystrix.HystrixCommandGroupKey;
public class HelloWorldCommand extends HystrixCommand<String> {
private final String name;
public HelloWorldCommand(String name) {
super(HystrixCommandGroupKey.Factory.asKey("HelloGroup"));
this.name = name;
}
@Override
protected String run() throws Exception {
return format("Hello %s", name);
}
@Override
protected String getFallback() {
return format("World is crueal Mr. %s", name);
}
}

38. public class HelloWorldCommandTest {
@Test
public void test_synchronous() {
String result = new HelloWorldCommand("Jarek").execute();
assertEquals("Hello Jarek", result);
Future<String> future = new HelloWorldCommand("Jarek").queue();
Observable<String> observable =
new HelloWorldCommand("Jarek").observe();
}

39. circuitBreaker.enabled
circuitBreaker.requestVolumeThreshold
circuitBreaker.sleepWindowInMilliseconds
circuitBreaker.errorThresholdPercentage

40. Robotnicy, kolejki i SEDA

41. SEDA
Staged Event Driven Architecture
By Matt Welsh, Eric Brewer

43. ciśnienie zwrotne
(backpressure)

44. gdy producent produkuje więcej
niż odbiorca
może przetworzyć
kolejki i bufory o nieograniczonym
rozmiarze
(unbounded queues)
asynchroniczna komunikacja

45. RxJava
Akka
Reactive Streams

46. public static Observable<Integer> hotStreamOfInts() {
return Observable.create((Subscriber<? super Integer> s) -> {
int i = 0;
while (!s.isUnsubscribed()) {
s.onNext(i++);
try {
Thread.sleep((long) (Math.random() * 10));
} catch (Exception e) {
}
}
} ).subscribeOn(Schedulers.newThread());
}

47. public static int doExpensiveWork(int i) {
try {
Thread.sleep(100);
} catch (InterruptedException e) {
}
return i;
}
public static void main(String[] args) {
hotStreamOfInts()
.onBackpressureDrop()
.observeOn(Schedulers.computation())
.map(Main::doExpensiveWork)
.toBlocking()
.forEach(System.out::println);
}

48. Gwarantowana
dostawa

49. Często kojarzony z
Enterprise Integration Patterns
Apache Camel, Mule ESB, Spring Integration

50. odtworzyć wiadomości/rządania
w kolejności
w jakiej zostały wysłane
github:sbtourist/Journal.IO

51. Journal journal = JournalBuilder.of(new File("/tmp")).open();
journal.write(new String("Hello world!!!").getBytes(), WriteType.SYNC);
Iterable<Location> redo = journal.redo();
for (Location location : redo) {
System.out.println(new String(journal.read(location, ReadType.SYNC)));
}

52. Podsumowań czas
Nie panikuj
Ktoś już w to wdepnął :)
supervisor
circuit braker
SEDA
backpressure
guaranteed delivery

53. O czym nie powiedziałem
a chciałbym
(złapcie mnie w przerwie)
organizacje
wyznawcy „....jowo ale stabilnie”
ludzie
to nie mój problem,
mój kod? To niemożliwe

54. Let the eternal stream of byte code
Flows through your body