Известный закон Джеймса Завински гласит “Каждая программа пытается расширяться до тех пор, пока не сможет читать почту”. В данном докладе будут рассмотрены следующие практические аспекты, возникшие при разработке популярного почтового клиента Spark (номинант “App Store Best Of 2015”): - Высоконагруженные интерфейсы: рендеринг цепочек сообщений и списка писем — ключевых элементов почтового приложения с высокими требованиями к производительности. Разбор подходов, использующих UIKit, CoreText, AsyncDisplayKit, Core Graphics. - Базы данных и поиск: работа с большими SQLite базами, оптимизация SQL-запросов, производительность полнотекстового поиска, опыт перехода с SQLite FTS4 на SQLite FTS5. - Ускоряем Core Foundation: техники кэширования, производительность регулярных выражений, использование альтернативных библиотек (expat, libxml, libcurl), разгрузка applicationDidFinishLaunching, эффективная работа с многопоточностью. - Работа в фоновом режиме и сетевое взаимодействие: энергосбережение с использованием облачной инфраструктуры; асимметричное шифрование почтовых сообщений; поддержка HTTP/2 для REST API, результаты тестирования алгоритма сжатия LZFSE. Помимо практических аспектов, в докладе будет уделено внимание используемой в Spark методологии тестирования производительности и энергопотребления.

1. Spark: практика
разработки
высоконагруженных iOS-
приложений
Андриан Буданцов

2. .
• PDF Expert, Scanner Pro,
Documents, Calendars, Spark,
Printer Pro, Fluix
• 6 больших iOS/macOS
кодовых баз; большей частью
ObjC, в новых проектах Swift

3. • Почтовый клиент
• Кодовое название SmartMail
• Начата разработка в феврале 2014 года
• Первый релиз 29 мая 2015

5. Достаточно быстрая почта

6. Методология тестирования
• Субъективная оценка
• Xcode
• Тесты

7. Субъективная оценка: Dog Fooding

8. Субъективная оценка: β

9. Xcode

10. Performance Tests
- [XCTest measureBlock:]
• установить baseline!
- [RDTestCase measureBlock: limit:]
• Проверка прямо в коде
• Защита от разницы на порядок
• Тесты UI
• Общее время выполнения

11. Производительность ≈ Энергоэффективность

12. Критические места
1. Получение
2. Обработка
3. Просмотр
кадр, 16 мс
Первый запуск,
использование,
батарейка
Сеть, холодный старт

13. 3. Просмотр почты

14. Просмотр: интерфейс Thread Viewer
Видели?
Задержка > 1 кадр

15. UICollectionView + UILabel + Autolayout
Считает ширину/высоту
Собирает элементы в письмоСобирает список писем, нужна
высота UICollectionViewCell
Все работает на Main Thread

16. 0
0.5
1
1.5
2
2.5
3
100 200 300 400
Время, сек.
Количество View
Производительность Autolayout
Источник: Флориан Куглер, http://bit.ly/2fhJbwB

17. Ручной layout
• Считаем frame всех view
• Оценка размера текста с помощью UILabel
• Меньше связей, чем с Auto-Layout => быстрее
• Много кода layout
• Простор для улучшения

19. ASDisplayNode
ASDisplayNode UIView CALayer
содержит
ИЛИ
• NSObject
• Thread Safe
• -[ASDisplayNode view] содержит view

20. Background поток
• ASTextNode
• Измерение ширины текста (TextKit)
• Рендер текста
• ASImageNode
• Загрузка/декодирование изображения
• Layout
• Похож на FlexBox

21. Саб-класс ASRangeController… +
Саб-класс ASTextNode…

22. Саб-класс ASTextNode: выделение текста

23. «Листание почты»

24. «Листание почты»
следующие и
предыдущие письма
(UI загружается
асинхронно)
Текущее письмо (тред)

25. Просмотр: интерфейс Message List

26. UITableView + UITableViewCell
• Оптимизация для GPU медленных устройств
• От множества UIView к -[UIView drawRect:]
• Влияет на скорость создания таблицы
• Большой метод -drawRect

27. 2. Обработка почты

28. Mailcore + XML + RegEx + … + SQLite

29. Оптимизация регулярных выражений
(альтернативные группы)
(?>to|кому|a[n]?|à|til[l]?|para|À|destinataire|Pour)[^Sn]*+:
(?=[tкaàtpÀdP])(?>to|кому|a[n]?|à|til[l]?|para|À|destinataire|Pour)[^Sn]*+:
На 30% быстрее!
Было
Стало c выносом первой буквы из альт. групп

30. Кэширование NSRegularExpression
[NSRegularExpression regularExpressionWithPattern:options:error:]
static NSRegularExpression *cachedRegularExpression;
На 44% быстрее, тест: 1000 раз подряд,
1280 байт
Было
Стало после кэширования

31. Оптимизация регулярных выражений
(Remove case-insensitive)
(?i)(?=[tкaàtpÀd])(?>to|кому|a[n]?|à|til[l]?|para|À|destinataire|Pour)[^Sn]*+:(?-i)
(?=[tкaàtpÀd])(?>to|кому|a[n]?|à|til[l]?|para|À|destinataire|Pour)[^Sn]*+:
На 60% быстрее, тест: 1000 раз подряд, 1280 байт текст
Было
Стало без (?i)

33. Индексы
•Не забыть
•EXPLAIN
•Составные индексы
•DESC индексы

34. SQLite: Full Text Search

35. Проблемы с FTS4
• Язык запросов
• Не полная поддержка AND, OR, NOT в MATCH
• Долгое «прогревание» при первом запросе
• Задержки до 10+ секунд при индексировании
• Нагрузка на IO / CPU
• Релевантность (?)

36. SQLite FTS5
CREATE VIRTUAL TABLE IF NOT EXISTS messagesfts USING fts4(messagePk,
messageFrom, messageTo, subject, searchBody, tokenize=unicode61)
CREATE VIRTUAL TABLE IF NOT EXISTS messagesfts USING fts5 (messagePk,
messageFrom, messageTo, subject, searchBody)

37. SQLite FTS5
• SQLite 3.9 + SQLITE_ENABLE_FTS5
• Нет задержек при индексировании (быстро!)
• Улучшенный язык запросов
~ 17%
• Скорость поиска:
FTS4
FTS5

38. Трюки SQLite
• Несколько баз
• Задержка при индексировании/поиска не влияет на основную базу
• Миграции
• ADD COLUMN — бесплатен
• Пересоздание таблицы для других изменений
• Несколько баз
• C-функции в SQLite
• atomic_write: +10% к записи на iOS

39. 1. Получение почты

40. IMAP & EWS

41. HTTP vs IMAP
• TCP / TLS — так же
• Больше времени на авторизацию, выбор папки
• XOAuth
• Не поддерживается NSURLSession
• Постоянный обмен короткими пакетами
• Polling / long-polling: NOOP/ IDLE

42. Push-сообщения
• UIBackgroundModeFetch — не достаточно надежен
• Посылаем push-сообщения с сервере

43. Минутка бэкенда: SmartMail Cloud
…
APP
APNS
HTTP запрос
DB & Manager
Worker Worker
Filter & Pusher
IMAP IMAP

44. HTTP-Запрос в SmartMailCloud
• Авторизация к IMAP серверу (Oauth, пароль)
• Публичный ключ девайса
• Правила для отправки push-сообщений на JSON “LISP”
["or",
["has", "from", "mother@home.io"],
["has", "from", "boss@work.com"]
]

45. Узкое место: время от пуша до письма

46. Загрузка писем по HTTP
• Тело письма (<2Мб) скачивается нашей инфраструктурой и
шифруется публичным ключом девайса
• Пуш-сообщение содержит ссылку на зашифрованное письмо
• Тело письма скачивается Push Service Extension
• …
• PROFIT!

47. Минутка бэкенда: SmartMail Cloud
…
APP
APNS
HTTP запрос
DB & Manager
Worker Worker
Filter & Pusher
IMAP IMAPMail
Storage

48. HTTP/2
• HTTP/2 быстрее HTTP/1.1
• Поддерживается, начиная с iOS 9
• Более эффективен в мелочах
• Мультиплексирование

49. LZFSE
• Алгоритм от Apple
• Open Source (github)
• ~ 40% быстрее ZLIB
• Spark: экономия ~ 1 секунды CPU времени
• Альтернативы: bzip2, brotli
• Время сжатия на сервере?

50. 0. Запуск

51. Скорость запуска
• application: willFinishLaunchingWithOptions:
• Менеджер загрузки приложения
• Параллельные операции инициализации

52. Спасибо!
@andrianbdn
andrian@readdle.com
Отдельная благодарность команде Spark и
лично Виктору, Александру, Дмитрию и Владимиру

55. NSXMLParser vs libxml (SAX)
NSXMLParser
libxml 40% быстрее

56. LZFSE, zlib, Brotli, bzip2
0
0.5
1
1.5
2
2.5
0 50 100 150 200 250
Соотношение
Скорость распаковки, МиБ/сек
BZIP2 L5
Brotli L11
ZLIB L5 LZFSE
Источник, Squash Benchmark Unstable, http://bit.ly/2fgstiv

57. LZFSE, zlib, Brotli, bzip2
0
0.5
1
1.5
2
2.5
0 5 10 15 20 25 30 35 40 45
Соотношение
Скорость упаковки, МиБ/сек
BZIP2 L5
Brotli L11
ZLIB L5 LZFSE
Источник, Squash Benchmark Unstable, http://bit.ly/2fgstiv