My talk on programming languages at SPbLUG Mar 2017
My talk on HBase ops engineering at TBD Jun 2016
1. Эксплуатация HBase в проекте
«Контур.НДС+»
Александр Чистяков, ведущий специалист
ЗАО “ПФ “СКБ Контур”
21.06.2016
Москва, “Технологии Больших Данных”
2. Давайте познакомимся
●
Меня зовут Саша
●
Я работаю в компании “СКБ Контур”
●
У меня есть кластер
●
Когда-то давно (в прошлом веке) начинал с того,
что писал на языках Perl и С
3. Вы?
●
Работаете с большими массивами данных?
●
Используете Hadoop-стек?
●
Используете HBase?
●
Используете PostgreSQL?
●
Используете для разработки язык Perl?
5. Чем мы занимаемся?
●
С 2015 года отчетность в ФНС предоставляется в
электронном виде
●
На основании анализа электронной отчетности возможны
следующие печальные исходы:
●
Автоматически выставленные требования
6. Чем мы занимаемся?
●
С 2015 года отчетность в ФНС предоставляется в
электронном виде
●
На основании анализа электронной отчетности возможны
следующие печальные исходы:
●
Автоматически выставленные требования
●
Камеральная проверка
7. Чем мы занимаемся?
●
С 2015 года отчетность в ФНС предоставляется в
электронном виде
●
На основании анализа электронной отчетности возможны
следующие печальные исходы:
●
Автоматически выставленные требования
●
Камеральная проверка
●
Мы помогаем бизнесу этого избежать
9. Как это работает?
●
Пользователи загружают через веб-интерфейс торговые книги
●
Классические сервисы сверки требуют загрузки торговых книг
себя и контрагнента
10. Как это работает?
●
Пользователи загружают через веб-интерфейс торговые книги
●
Классические сервисы сверки требуют загрузки торговых книг
себя и контрагнента
●
Но мы не такие!
11. Как это работает?
●
Пользователи загружают через веб-интерфейс торговые книги
●
Классические сервисы сверки требуют загрузки торговых книг
себя и контрагнента
●
Но мы не такие!
●
Мы – единственный в России облачный сервис
12. Как это работает?
●
Пользователи загружают через веб-интерфейс торговые книги
●
Классические сервисы сверки требуют загрузки торговых книг
себя и контрагнента
●
Но мы не такие!
●
Мы – единственный в России облачный сервис
●
Когда контрагент загрузит свою торговую книгу (если он наш
пользователь) – сверка произойдет автоматически
13. Как это устроено?
●
Реляционная СУБД
●
Нереляционная СУБД
●
Индексатор для FTS
●
Веб-интерфейс
●
Очередь задач
●
Разборщики очереди
●
Вспомогательные приложения
27. Какие были проблемы?
●
Резервирование namenode
●
Primary-secondary – раз в час
●
Общее хранилище – NFS или что-то подобное
●
Active-standby – quorum of journalnodes
28. Какие были проблемы?
●
Резервирование namenode
●
Primary-secondary – раз в час
●
Общее хранилище – NFS или что-то подобное
●
Active-standby – quorum of journalnodes
●
Automatic switching – active-standby + Zookeeper, ZKFC
32. Индексатор для FTS
●
Естественно, Solr
●
Шардинг (4 шарда) и репликация (по 1 реплике в шарде)
●
Итого, 8 узлов в кластере
●
Выделенные машины
33. Индексатор для FTS
●
Естественно, Solr
●
Шардинг (4 шарда) и репликация (по 1 реплике в шарде)
●
Итого, 8 узлов в кластере
●
Выделенные машины
●
Примерно миллиард проиндексированных строк
38. Почему Perl в 2016 году?
●
Сложившаяся команда, которая умеет писать на Perl
39. Очередь задач
●
Реализована в виде таблицы в PostgreSQL
●
Почему не специализированное приложение?
●
Нет смысла поддерживать еще одно приложение
●
Текущая реализация работает и справляется с нагрузкой
40. Разборщики очереди
●
Реализованы на Perl
●
Непосредственно взаимодействуют с HBase через Thrift
●
Запускаются по сron
●
Поставляются в виде Docker image
42. Забавные факты
●
В моем предыдущем докладе фигурировал
дистрибутив Cloudera
●
После замены HBase (1.0) из состава Сloudera на HBase
1.1.2 с конфигурационными файлами по шаблонам
проекта “Контур.НДС+”, расчет пошел быстрее на 6
часов (более чем 30% выигрыша)
43. Спасибо за внимание!
●
Пожалуйста, ваши вопросы?
●
С вами был
●
Александр Чистяков, ведущий специалист, “СКБ Контур”
●
http://gitinsky.com
●
alex@gitinsky.com
●
http://meetup.com/DevOps-40