Анализ данных

1. Происхождение термина NoSQL
• NoSQL означает <Not Only SQL>.
• Johan Oskarsson – автор термина.
• Термин появился в 2009 году.

2. Основные характеристики
NoSQL систем
• Простые и гибкие нереляционные модели данных, предназначенные
для решения специфического для каждой модели круга задач.
• Возможности масштабирования по горизонтали.
• Обеспечение высокой степени доступности данных.
• Поддержка BASE-принципов (Basically Available, Soft state, Eventually consistent).

3. Основы BASE-принципов
• Basically Available – данные доступны всегда,
когда к ним происходит обращение.
• Soft state – данные могут находиться
в рассогласованном состоянии в какой-то
период времени.
• Eventually consistent – в конечном счете
данные в хранилище окажутся
в согласованном состоянии.

4. Используемые технологии
• MapReduce.
• Основное преимущество технологии –
высокая отказоустойчивость.

5. Основные категории
NoSQL моделей данных
• Хранилища типа «ключ-значение».
• Документные хранилища.
• Колоночные хранилища.
• Граф-ориентированные.

6. Хранилища типа
«ключ-значение»
Наиболее популярные представители согласно DB-Engines Ranking:
55 systems in ranking, November 2016
Rank
DBMS Database Model
Rank
Nov 2016 Oct 2016 Nov 2015 Nov 2016 Oct 2016 Nov 2015
1. 1. 1. Redis Key-value store 115.54 +6.00 +13.3
2. 2. 2. Memcached Key-value store 29.19 +0.10 -3.20
3. 3. 3. Riak KV + Key-value store 10.97 +0.10 -4.09
4. 4. 5. Hazelcast Key-value store 7.24 -0.29 +0.18
5. 5. 4. Encache Key-value store 6.60 +0.16 -1.28
↓
↑

7. Основные характеристики
систем типа «ключ-значение»
• Легко масштабируются.
• Эффективный поиск возможен только по уникальному ключу.
• Объекты хранилища могут иметь достаточно сложную структуру.
• Разработчики систем декларируют высокую производительность.

8. Основные характеристики
систем типа «ключ-значение»
• Полностью отсутствуют отношения между
сущностями системы.
• Весьма эффективны для определенного
класса задач.

9. Документные хранилища
Наиболее популярные представители согласно DB-Engines Ranking:
44 systems in ranking, November 2016
Rank
DBMS Database Model
Rank
Nov 2016 Oct 2016 Nov 2015 Nov 2016 Oct 2016 Nov 2015
1. 1. 1. MongoDB + Document store 325.48 +6.67 +20.87
2. 3. 4. Amazon DynamoDB + Document store 29.78 +0.80 +8.04
3. 2. 3. Couchbase + Document store 29.05 -0.25 +3.23
4. 4. 2. CouchDB Document store 22.66 +0.48 -3.72
↓
↓
↑ ↑

10. Основные форматы для
представления документов
Формат JSON (Java Script Object Notation)
или BSON(Binary JSON).

11. Структура JSON
• Строка JSON содержит: массив значений/объект.
• Массив заключается в квадратные скобки ([ и ])
и содержит разделенный запятой список значений.
• Объект заключается в фигурные скобки ({ и }) и содержит
разделенный запятой список пар имя/значение.
• Пара имя/значение состоит из имени поля, заключенного
в двойные кавычки, за которым следует двоеточие (:)
и значение поля.

12. Элементы JSON
Возможные значения в массиве или объекте:
• число (целое или с плавающей точкой);
• строка (в двойных кавычках);
• логическое значение (true или false);
• другой массив (заключенный в квадратные скобки);
• другой объект (заключенный в фигурные скобки);
• значение null.

13. {
"SudentId": "54874",
"StudentName": "Кольцов Вадим",
"GroupNumber": 102,
"phoneList": [
{"type": "дом", "phone":
"812 123-1234"},
{ "type": "моб", "phone":
"916 123-4567"}
]
}
Пример: JSON документ

14. Особенности
документных хранилищ
• Допускают атрибуты простых типов, массивы,
а также вложенные объекты.
• Поддерживают индексы на полях документов
и позволяют строить сложные запросы.

15. Свойства
документных хранилищ
• Не поддерживают полноценные AСID-транзакции,
однако операции обновления на уровне одного
документа обычно являются атомарными.
• Эффективно применяются в системах
управления содержимым, издательском
деле, документарном поиске и т. п.

16. Колоночные хранилища
Наиболее популярные представители согласно DB-Engines Ranking:
8 systems in ranking, November 2016
Rank
DBMS Database Model
Rank
Nov 2016 Oct 2016 Nov 2015 Nov 2016 Oct 2016 Nov 2015
1. 1. 1. Cassandra + Wide column store 133.97 -1.09 +1.05
2. 2. 2. HBase Wide column store 58.74 +0.54 +2.28
3. 3. 3. Accumulo Wide column store 3.47 +0.04 -0.47
4. 4. 4. Hypertable Wide column store 0.52 -0.03 -0.18

17. Основные характеристики
колоночных хранилищ
• Данные представляются в виде таблиц.
• Хранение и фрагментация этих данных
возможны по столбцам.
• Для многих систем этого класса
характерно наличие SQL-подобных
языков высокого уровня.

18. Граф-ориентированные
хранилища
Наиболее популярные представители согласно DB-Engines Ranking:
21 systems in ranking, November 2016
Rank
DBMS Database Model
Rank
Nov 2016 Oct 2016 Nov 2015 Nov 2016 Oct 2016 Nov 2015
1. 1. 1. Neo4j + Graph DBMS 36.75 +0.30 +2.71
2. 2. 3. OrientDB + Multi-model i 6.07 -0.17 +0.57
3. 3. 2. Titan Graph DBMS 5.46 +0.34 -0.60
4. 4. 4. Virtuoso Multi-model i 2.56 -0.13 -1.00
↓
↑

19. Основные характеристики
граф-ориентированных хранилищ
• Предназначены для хранения узлов графов и связей между ними.
• Большинство систем позволяют задавать для узлов и связей набор
произвольных атрибутов и выбирать узлы и связи по этим атрибутам.
• Поддерживают алгоритмы обхода графов и построения маршрутов.
• Эффективно используются для задач, связанных с анализом
социальных сетей, выбором маршрутов и т.п.