Практика показывает, что использование подхода, основанного на колбеках для асинхронного программирования обычно не является удобным и подвержено различным ошибкам. Для упрощения написания и поддержки сложных асинхронных программ можно использовать несколько иной подход: использовать сопрограммы для переключения контекста на время ожидания события. Такой подход позволяет реализовать интересные неблокирующие примитивы, включая неблокирующее сетевое взаимодействие, неблокирующие мьютексы, а также удобное переключение между различными пулами потоков для разнесения выполнения задач, которые требуют различные ресурсы.

2. Асинхронность и
неблокирующая
синхронизация
Григорий Демченко, 2016

3. План
▌Простой сервер
▌Сопрограммы
▌Планировщики
▌Синхронизация
▌Заключение

4. Простой сервер
Асинхронность и неблокирующая синхронизация
4

5. Синхронный многопоточный сервер
5
void multitheadedServer() {
Acceptor acceptor{80}; // слушаем 80 порт
while (true) {
auto socket = acceptor.accept(); // 1-й блокирующий вызов
thread([socket] {
auto request = socket.read(); // 2-й блокирующий вызов
auto response = handleRequest(request);
socket.write(response); // 3-й блокирующий вызов
}).detach();
}
}

6. Асинхронный сервер
6
void asynchronousServer() {
Acceptor acceptor{80};
acceptor.onAccept([] (auto socket) { // 1-й асинхронный вызов
socket.onRead([socket](auto request) { // 2-й асинхронный вызов
auto response = handleRequest(request);
socket.onWrite(response, []() { // 3-й асинхронный вызов
// завершение
});
});
// продолжаем принимать соединения...
});
}

7. Реальный асинхронный сервер
7
void realAsynchronousServer() {
Acceptor acceptor{80};
Handler accepting = [&acceptor, &accepting] {
struct Connection {
explicit Connection(Socket sock) : socket(std::move(sock)) {}
void onConnect() {
if (error)
return onError(error);
socket.onRead([this](const Request& request, const Error& error) {
if (error)
return onError(error);
response = handlerRequest(request);
socket.onWrite(response, [this](const Error& error) {
if (error)
return onError(error);
onDone();
});
});
}
private:
void onError(const Error& error) {
delete this;
}
void onDone() {
delete this;
}
Response response;
Socket socket;
};
acceptor.onAccept([&accepting](Socket socket, const Error& error) {
if (!error) {
(new Connection{socket})->onConnect();
accepting();
}
});
};
}
▌ Сравните:
void asynchronousServer() {
Acceptor acceptor{80};
acceptor.onAccept([] (socket) {
socket.onRead([socket](request) {
response = handleRequest(request);
socket.onWrite(response, []() {
// завершение
});
});
// продолжаем принимать соединения
});
}

8. Асинхронный сервер: обсуждение
8
▌ Плюсы:
› Производительность
› Автоматическая параллелизация исполнения
▌ Минусы:
› Сложность:
1. Нелинейный рост сложности и проблем
2. Явная передача контекста исполнения
3. Обработка ошибок
4. Время жизни объектов
5. Отладка

9. Что бы хотелось?
9
▌ Использовать эффективность асинхронного подхода
▌ Использовать простоту синхронного подхода

10. │ Решение: использовать
│ сопрограммы
10

11. Сопрограммы
Асинхронность и неблокирующая синхронизация

12. Сопрограммы
▌ Подпрограмма: полное выполнение действий
▌ Сопрограмма: возможно частичное выполнение действий
Т.е. сопрограммы обобщают подпрограммы
Примеры сопрограмм:
▌ Генераторы на языке Python.
▌ Async/await C++ proposal.
Метод сохранения контекста исполнения:
▌ Stackful сопрограммы.
12

13. Реализация сопрограмм
13
Проблема
▌ Сопрограммы всё еще не являются частью языка
▌ Необходимо применять низкоуровневые примитивы.
Решение: boost.context:
▌ Эффективное решение: использование ассемблера
▌ Десктопные платформы: Windows, Linux, MacOSX
▌ Мобильные платформы: Windows Phone, Android, IOS
▌ Процессоры: x86, x86_64, ARM, Spark, Spark64, PPC, PPC64, MIPS
▌ Компиляторы: GCC, Clang, Visual Studio

14. boost.context
14
▌ make_fcontext: создает контекст
▌ jump_fcontext: переключает контекст
Использование:
▌ 1. Аллокация памяти под стек
▌ 2. Создание контекста:
coroCtx = make_fcontext(stackPtr, stackSize, coroCb)
▌ 3. Запуск или продолжение исполнения:
jump_fcontext(callerCtx, coroCtx, opaquePtr)
▌ 4. Возвращение или заморозка исполнения:
jump_fcontext(coroCtx, callerCtx, opaquePtr)

15. Сопрограммы в действии
15
void coroFun() {
log << "2";
yield();
log << "4";
}
log << "1";
Coro c{coroFun};
log << "3";
c.resume();
log << "5";
Вывод:
▌ 12345

16. Использование сопрограммы
16
Преобразовать асинхронный вызов:
async(completionCallback);
В синхронный:
synca(); // async -> synca
Используя следующий подход:
void synca() {
auto& coro = currentCoro();
async([&coro] {
coro.resume();
});
yield();
}

17. Sequence Diagram
17

18. Проблема: состояние гонки
18

19. Возможные решения
19
▌ std::mutex
▌ boost::asio::strand
▌ defer

20. Использование defer
20
▌ defer откладывает асинхронный вызов:
using Handler = std::function<void()>;
void defer(Handler handler);

21. Решение: defer
21

22. Использование: defer
22
void synca() {
auto& coro = currentCoro();
async([&coro] {
coro.resume();
});
yield();
}
void synca() {
auto& coro = currentCoro();
defer([&coro] {
async([&coro] {
coro.resume();
});
});
}

23. Абстрагирование от сопрограмм
23
void synca() {
auto& coro = currentCoro();
defer([&coro] {
async([&coro] {
coro.resume();
});
});
}
void synca() {
deferProceed([](Handler proceed) {
async(proceed);
});
}

24. Synca сервер
24
void syncaServer() {
Acceptor acceptor{80}; // слушаем 80 порт
while (true) {
auto socket = acceptor.accept(); // 1-й неблокирующий вызов
go([socket] { // стартуем новую сопрограмму
auto request = socket.read(); // 2-й неблокирующий вызов
auto response = handleRequest(request);
socket.write(response); // 3-й неблокирующий вызов
});
}
}

25. Планировщики
Асинхронность и неблокирующая синхронизация

26. Планировщик
▌ Интерфейс планировщика:
struct IScheduler {
virtual void schedule(Handler) = 0;
};
Плашировщик запускает обработчики.

27. Пул потоков
27
struct ThreadPool : IScheduler {
explicit ThreadPool(size_t threads);
void schedule(Handler handler) {
service.post(std::move(handler));
}
private:
boost::asio::io_service service;
};

28. Сопрограммы и планировщик
28
struct Journey {
void defer(Handler handler) {
deferHandler = std::move(handler);
yield();
}
void proceed() {
scheduler->schedule([this] {
coro.resume();
deferHandler();
});
}
private:
IScheduler* scheduler;
Coro coro;
Handler deferHandler;
};

29. Телепортация
29
▌ Давайте перепрыгнем на другой планировщик:
go([&] {
log << "Inside 1st thread pool";
teleport(tp2);
log << “Inside 2nd thread pool";
}, tp1);
▌ Реализация:
void Journey::teleport(IScheduler& s) {
scheduler = &s;
defer([this] {
proceed();
});
}

30. Телепортация: Sequence Diagram
30

31. Порталы
31
▌ Портал – это RAII телепортация:
struct Portal {
Portal(IScheduler& destination)
: source{currentScheduler()} {
teleport(destination);
}
~Portal() {
teleport(source);
}
private:
IScheduler& source;
};

32. Использование порталов
32
struct Network {
void handleNetworkEvents() {
// действия внутри сетевого пула потоков
}
};
ThreadPool commonPool{4};
ThreadPool networkPool{2};
portal<Network>().attach(networkPool);
go([] {
log << "Inside common pool";
portal<Network>()->handleNetworkEvents();
log << "Inside common pool";
}, commonPool);

33. │ Портал – абстракция
│ среды исполнения
33

34. Синхронизация
Асинхронность и неблокирующая синхронизация

35. Alone
35
struct Alone : IScheduler {
void schedule(Handler handler) {
strand.post(std::move(handler));
}
private:
boost::asio::io_service::strand strand;
};
strand гарантирует, что ни один обработчик не будет запущен
параллельно с другим

36. │ Alone – это
│ неблокирующая
│ синхронизация
│ без дедлоков
36

37. Интегральный пример: инициализация
37
struct DiskCache/MemCache {
optional<string> get(const string& key);
void set(const string& key, const string& val);
};
struct Network {
string performRequest(const std::string& key);
};
ThreadPool commonPool{3}; // common operations pool
ThreadPool diskPool{2}; // disk operations pool
ThreadPool netPool{1}; // network operations pool
Alone memAlone{commonPool}; // MemCache access synchronization
portal<DiskCache>().attach(diskPool);
portal<MemCache>().attach(memAlone);
portal<Network>().attach(netPool);

38. Интегральный пример: получение значения
38
string obtainValue(const string& key) {
auto res = portal<MemCache>()->get(key);
if (res)
return *res;
res = portal<DiskCache>()->get(key);
if (res)
return *res;
auto val = portal<Network>()->performRequest(key);
go([key, val] {
portal<MemCache>()->set(key, val);
portal<DiskCache>()->set(key, val);
});
return val;
}

39. Свойства портала
39
▌ Работает с исключениями
▌ Абстрагирует контекст исполнения

40. Выводы
Асинхронность и неблокирующая синхронизация

41. Теорема
41
Любая асинхронная задача может быть реализована через сопрограммы
▌ 1. Нет кода после вызова:
// код до
async(params..., cb);
// отсутствует код
// код до
synca(params...);
cb();
▌ 2. Есть код после вызова:
// код до
async(..., cb);
// код после
// код до
go { async(..., cb); };
// код после
// код до
go { synca(...); cb(); };
// код после

42. Выводы
42
▌ Синхронный подход: простота
▌ Асинхронный подход : эффективность
▌ Неблокирующая синхронизация без дедлоков
▌ Работает с исключениями
▌ Прозрачно для использования
▌ Принципиально новые подходы и паттерны
▌ Это прикольно!
https://github.com/gridem/Synca
https://bitbucket.org/gridem/synca

43. Асинхронность и
неблокирующая синхронизация
habrahabr.ru/users/gridem
gridem.blogspot.com github.com/gridem
bitbucket.org/gridem
Григорий Демченко, Разработчик С++
43