HighLoad++ 2017 Зал «Дели + Калькутта», 7 ноября, 14:00 Тезисы: http://www.highload.ru/2017/abstracts/3031.html Apache Kafka - довольно популярная опенсорс-платформа для обработки потоков сообщений. Абстракция распределенного лога, лежащая в основе Kafka, дает возможность использовать ее в качестве системы очередей, но при этом дает некоторые очень полезные преимущества, недоступные даже решениям ESB-уровня. ...

1. Реактивные микросервисы
с Apache Kafka
Денис Иванов
denis@ivanovdenis.ru
@denisivanov
1

2. Обо мне
2

3. Код и презентация
https://github.com/denisivan0v/highload-2017
3

4. План
4

5. 5

6. Терминология
6

7. Терминология
7

8. Откуда берутся микросервисы?
8

9. Откуда берутся микросервисы?
Advertising Management System
в
9

10. 10
Storage API
S3 Storage
High-level API
Frontend App
Откуда берутся микросервисы?

11. 11
Storage API
S3 Storage
High-level API
Frontend App
Откуда берутся микросервисы?

12. Challenges
•Синхронное/асинхронное взаимодействие
компонентов
12

13. Challenges
•Синхронное/асинхронное взаимодействие
компонентов
•Гарантированная доставка данных с
минимальными задержками
13

14. Challenges
•Синхронное/асинхронное взаимодействие
компонентов
•Гарантированная доставка данных с
минимальными задержками
•Распределенные изменения и согласованность
14

15. Challenges
•Синхронное/асинхронное взаимодействие
компонентов
•Гарантированная доставка данных с
минимальными задержками
•Распределенные изменения и согласованность
15

16. Распределенные изменения

17. Распределенные изменения
•Блокирующие
•Неблокирующие (отложенные)
17

18. Распределенные изменения
18
Storage API
High-level API
S3 Storage

19. Распределенные изменения
19
Storage API
High-level API
S3 Storage

20. Распределенные изменения
20
Storage API
High-level API
S3 Storage

21. Распределенные изменения
21
Storage API
High-level API
S3 Storage

22. Распределенные изменения
22
Storage API
High-level API
S3 Storage

23. Распределенные изменения
23
Storage API
High-level API
S3 Storage

24. 24
/
Background workers
Frontend App
REST API
Storage
Фоновые процессы
/

25. 25

26. 26Kafka: The Definitive Guide by Neha Narkhede, Gwen Shapira, and Todd Palino (O’Reilly).
Распределенный лог

27. Kafka .NET Client
•Обертка над C-библиотекой librdkafka
•Реализовано подмножество API (open source)
•Использует managed и unmanaged память и
потоки
•xplat, .NET Core
27

28. Batched Kafka Consumer Wrapper
28

29. var consumer = new Consumer<Null, string>(
config, new NullDeserializer(), new StringDeserializer(Encoding.UTF8));
29

30. var consumer = new Consumer<Null, string>(
config, new NullDeserializer(), new StringDeserializer(Encoding.UTF8));
var messages = new List<Message<Null, string>>();
var isEof = false;
30

31. var consumer = new Consumer<Null, string>(
config, new NullDeserializer(), new StringDeserializer(Encoding.UTF8));
var messages = new List<Message<Null, string>>();
var isEof = false;
void OnMessage(object sender, Message<Null, string> message) =>
messages.Add(message);
void OnEof(object sender, TopicPartitionOffset offset) => isEof = true;
31

32. var consumer = new Consumer<Null, string>(
config, new NullDeserializer(), new StringDeserializer(Encoding.UTF8));
var messages = new List<Message<Null, string>>();
var isEof = false;
void OnMessage(object sender, Message<Null, string> message) =>
messages.Add(message);
void OnEof(object sender, TopicPartitionOffset offset) => isEof = true;
consumer.OnMessage += OnMessage;
consumer.OnPartitionEOF += OnEof;
consumer.Subscribe(topics);
32

33. var consumer = new Consumer<Null, string>(
config, new NullDeserializer(), new StringDeserializer(Encoding.UTF8));
var messages = new List<Message<Null, string>>();
var isEof = false;
void OnMessage(object sender, Message<Null, string> message) =>
messages.Add(message);
void OnEof(object sender, TopicPartitionOffset offset) => isEof = true;
consumer.OnMessage += OnMessage;
consumer.OnPartitionEOF += OnEof;
consumer.Subscribe(topics);
while (messages.Count < batchSize && !isEof &&
!cancellationToken.IsCancellationRequested)
{
consumer.Poll(TimeSpan.FromMilliseconds(100));
}
33

34. var consumer = new Consumer<Null, string>(
config, new NullDeserializer(), new StringDeserializer(Encoding.UTF8));
var messages = new List<Message<Null, string>>();
var isEof = false;
void OnMessage(object sender, Message<Null, string> message) =>
messages.Add(message);
void OnEof(object sender, TopicPartitionOffset offset) => isEof = true;
consumer.OnMessage += OnMessage;
consumer.OnPartitionEOF += OnEof;
consumer.Subscribe(topics);
while (messages.Count < batchSize && !isEof &&
!cancellationToken.IsCancellationRequested)
{
consumer.Poll(TimeSpan.FromMilliseconds(100));
}
consumer.Unsubscribe(topics);
34

35. var consumerWrapper = new ConsumerWrapper(brokerEndpoints, groupId);
35

36. var consumerWrapper = new ConsumerWrapper(brokerEndpoints, groupId);
while (!cancellationToken.IsCancellationRequested)
{
var messages = consumerWrapper.Consume(
topics, batchSize, cancellationToken);
}
36

37. var consumerWrapper = new ConsumerWrapper(brokerEndpoints, groupId);
while (!cancellationToken.IsCancellationRequested)
{
var messages = consumerWrapper.Consume(
topics, batchSize, cancellationToken);
}
37

38. var consumerWrapper = new ConsumerWrapper(brokerEndpoints, groupId);
while (!cancellationToken.IsCancellationRequested)
{
var messages = consumerWrapper.Consume(
topics, batchSize, cancellationToken);
foreach (var message in messages)
{
Console.WriteLine(
$"{message.Topic}/{message.Partition} @" +
$"{message.Offset}: '{message.Value}'");
}
}
38

39. var consumerWrapper = new ConsumerWrapper(brokerEndpoints, groupId);
while (!cancellationToken.IsCancellationRequested)
{
var messages = consumerWrapper.Consume(
topics, batchSize, cancellationToken);
foreach (var message in messages)
{
Console.WriteLine(
$"{message.Topic}/{message.Partition} @" +
$"{message.Offset}: '{message.Value}'");
await consumerWrapper.CommitAsync(message);
}
}

40. DEMO:
Kafka + Docker + .NET Core
40

41. More challenges
•Легко написать неправильно
41

42. More challenges
•Легко написать неправильно
•Частые перебалансировки consumer group
42

43. More challenges
•Легко написать неправильно
•Частые перебалансировки consumer group
•Управление распределенными consumer-ами
43

44. More challenges
•Легко написать неправильно
•Частые перебалансировки consumer group
•Управление распределенными consumer-ами
•Задержки, синхронизация, утилизация ресурсов
44

45. 45

46. Реактивные приложения
46
https://www.reactivemanifesto.org/
http://reactivex.io/

47. Реактивные приложения
•Событийно-ориентированные
47
https://www.reactivemanifesto.org/
http://reactivex.io/

48. Реактивные приложения
•Событийно-ориентированные
•Масштабируемые
48
https://www.reactivemanifesto.org/
http://reactivex.io/

49. Реактивные приложения
•Событийно-ориентированные
•Масштабируемые
•Отказоустойчивые
49
https://www.reactivemanifesto.org/
http://reactivex.io/

50. Реактивные приложения
•Событийно-ориентированные
•Масштабируемые
•Отказоустойчивые
•Отзывчивые
50
https://www.reactivemanifesto.org/
http://reactivex.io/

51. Pull-модель
51
public interface IEnumerable
{
IEnumerator GetEnumerator();
}
public interface IEnumerator
{
bool MoveNext();
object Current { get; }
void Reset();
}

52. Push-модель
52
public interface IObservable<out T>
{
IDisposable Subscribe(IObserver<T> observer);
}
public interface IObserver<in T>
{
void OnCompleted();
void OnError(Exception error);
void OnNext(T value);
}

53. …
void OnMessage(object sender, Message<Null, string> message) =>
messages.Add(message);
void OnEof(object sender, TopicPartitionOffset offset) => isEof = true;
consumer.OnMessage += OnMessage;
consumer.OnPartitionEOF += OnEof;
…
53

54. IEnumerable<string> topics;
var observable =
Observable.FromEventPattern<Message<Null, string>>(
x =>
{
consumer.OnMessage += x;
consumer.Subscribe(topics);
},
x =>
{
consumer.Unsubscribe();
consumer.OnMessage -= x;
})
.Select(x => x.EventArgs);
54

55. IEnumerable<string> topics;
var observable =
Observable.FromEventPattern<Message<Null, string>>(
x =>
{
consumer.OnMessage += x;
consumer.Subscribe(topics);
},
x =>
{
consumer.Unsubscribe();
consumer.OnMessage -= x;
})
.Select(x => x.EventArgs);
55

56. IEnumerable<string> topics;
var observable =
Observable.FromEventPattern<Message<Null, string>>(
x =>
{
consumer.OnMessage += x;
consumer.Subscribe(topics);
},
x =>
{
consumer.Unsubscribe();
consumer.OnMessage -= x;
})
.Select(x => x.EventArgs);
56

57. Rx Kafka Consumer Wrapper
57

58. var observable = consumerWrapper.Consume(token);
58

59. var observable = consumerWrapper.Consume(token);
59

60. var observable = consumerWrapper.Consume(token);
var subscription = observable
.Buffer(batchSize)
.Subscribe(
messages =>
{
foreach (var message in messages)
{
Console.WriteLine(message.Value);
consumerWrapper.CommitAsync(message)
.GetAwaiter().GetResult();
}
});
60

61. var observable = consumerWrapper.Consume(token);
var subscription = observable
.Buffer(batchSize)
.Subscribe(
messages =>
{
foreach (var message in messages)
{
Console.WriteLine(message.Value);
consumerWrapper.CommitAsync(message)
.GetAwaiter().GetResult();
}
});
61

62. var observable = consumerWrapper.Consume(token);
var subscription = observable
.Buffer(batchSize)
.Subscribe(
messages =>
{
foreach (var message in messages)
{
Console.WriteLine(message.Value);
consumerWrapper.CommitAsync(message)
.GetAwaiter().GetResult();
}
});
62

63. DEMO: Kafka + Rx
63

64. 64

65. Распределенные изменения
65

66. Распределенные изменения
66
Storage API
High-level API
S3 Storage

67. Распределенные изменения
67
Storage API
High-level API
S3 Storage

68. Распределенные изменения
68
Storage API
High-level API
S3 Storage

69. Распределенные изменения
69
Storage API
High-level API
S3 Storage

70. Распределенные изменения
70
Storage API
High-level API
S3 Storage

71. Распределенные изменения
Неизменяемость (immutability)
71

72. Распределенные изменения
Неизменяемость (immutability)
•Версионирование данных
72

73. Распределенные изменения
Неизменяемость (immutability)
•Версионирование данных
•Данные + события
73

74. Распределенные изменения
Неизменяемость (immutability)
•Версионирование данных
•Данные + события
•Данные = события (event sourcing)
74

75. 75
Storage API
High-level API
S3 Storage

76. 76
Storage API
High-level API
S3 Storage

77. 77
Storage API
High-level API
S3 Storage

78. Неблокирующие изменения
78

79. Неблокирующие изменения
79
Storage API
High-level API
S3 Storage

80. Неблокирующие изменения
80
Storage API
High-level API
StorageQueue

81. Неблокирующие изменения
81
Worker
StorageQueue
/

82. Неблокирующие изменения
82
StorageQueue
Worker /

83. Неблокирующие изменения
83
StorageQueue
Worker /

84. Краткие итоги
84

85. Краткие итоги
•Микросервисы не появляются сами по себе
85

86. Краткие итоги
•Микросервисы не появляются сами по себе
•Управление изменениями в приложении
значительно усложняется
86

87. Краткие итоги
•Микросервисы не появляются сами по себе
•Управление изменениями в приложении
значительно усложняется
•Apache Kafka упрощает асинхронные
взаимодействия
87

88. Краткие итоги
•Микросервисы не появляются сами по себе
•Управление изменениями в приложении
значительно усложняется
•Apache Kafka упрощает асинхронные
взаимодействия
•Реактивный подход убирает границы между
компонентами приложения
88

89. Полезные ссылки
https://github.com/denisivan0v/highload-2017
https://github.com/2gis/nuclear-vstore
89

90. Спасибо! Вопросы?
Денис Иванов
@denisivanov
denis@ivanovdenis.ru
https://github.com/denisivan0v
90