L'avenir de LAMP

L’AVENIR DE LAMP
Innovation dans la pile
AFUP, Paris, 12 novembre 2009

C’EST GLACHMMP!
S’il vous plait,
utilisez plus de voyelles
dans les noms de projets Open Source

ORDRE DU JOUR

D’éléphpants

De canapés

D’engrenages

D’esclaves

De cochons

INTERVENANT

Damien Seguy

Services expert Open Source

Eleveur d’éléphpants

damien.seguy@alterway.fr

CACHE LOCAL

Cache local

Redondance Cache Cache

Double travail
Web Web
Limitation à la capacité locale

AVEC MEMCACHE

Cache partagé

Capacité doublée Memcache
Partage des résultats
Web Web
La capacité dépasse les
limitations physiques

PRATIQUE COURANTE

Cache partagé
Memcache
Capacité extensible
Web Web Web
Centralisation des caches

MEMCACHE

http://memcached.org/

Un cache géant en mémoire

Une table de hashage extensible

Intégrée dans PHP

EXEMPLE

<?php

$memcache = new Memcache;
$memcache->connect('memcache.wan', 11211);

$membre = new Membre_AFUP();
$membre->nom = 'Seguy';
$membre->prenom = 'Damien';
$membre->elephpants = 1009;

$memcache->set( $membre->nom. $membre->prenom,
$membre, false, 0);
?>

EXEMPLE

add <?php

$memcache = new Memcache;
get $memcache->connect('memcache.wan', 11211);

$membre = $memcache->get('DamienSeguy');
set
var_dump($membre);
?>
replace

increment

UTILISATION

Reproduction rapide d’objets/ contextes

Résultats de requêtes SQL

Fichiers distants (RSS, etc...)

Stockage de sessions

STOCKAGE DE BLOB

Memcache == stockage de BLOB

Stockage plus structuré ?

Tableaux de données, multi-dimensionnels

ENTREPÔTS CLÉ/VALEUR

Uniquement des paires clé => valeur

Les lignes deviennent un document

Les tables deviennent des collections

Il n’y a plus de modèle de données

Quelques types : date, entier, chaîne, booléen, list, map

STRUCTURE

{
"_id": "ABBC89DDEBC",
"_rev": "876BBDC",
"type": "blog",
"titre": "Un nouveau paradigme de bases de données",
"contenus": "Un nouveau paradigme de bases de données",
"tags": ["bd", "json", "super"],
"publié": true
}

STRUCTURE
Format JSON (comme XML, mais plus simple)

{
"_rev": "876BBDC",
"type": "blog",
"publié": true
}

STRUCTURE

Clé primaire pour tous
{
"_rev": "876BBDC",
"type": "blog",
"publié": true
}

STRUCTURE

{
"_rev": "876BBDC", Numéro de révision
"type": "blog",
"publié": true
}

STRUCTURE

{
"type": "blog",
"publié": true
}

Booléen

STRUCTURE

{
"type": "blog",
"publié": true
} Liste
Booléen

VUES function (doc) {
for(var i in doc.tags)
emit(doc.tags[i], 1);
}

Les vues sont écrites en JavaScript
"bd"
"json"
Possibilités de filtrer, retraiter
"super"
Approche map/reduce

Groupages multiples, sous-requêtes...

VUES function (doc) {
for(var i in doc.tags)
emit(doc.tags[i], 1);
}

Les vues sont écrites en JavaScript
"bd",1
"bd"
"json",2
"json"
Possibilités de filtrer, retraiter
"super",1
"super"
Approche map/reduce function (Key, Values) {
var sum = 0;
Groupages multiples, sous-requêtes...
for(var i in Values)
sum += Values[i];
return sum;
}

AVANTAGES

Une approche naturelle des documents

Migration naturelle, pas de NULL

Pas de délire avec les jointures

Indexation

Partitionnement, réplication, clustering, fail over, MVCC

API REST en HTTP

LIMITATIONS

Ce n’est pas une base objet

Syndrome de PHP3!

Pas de transactions

Attention aux conflits!

ACTUELLEMENT

Apache’s CouchDB, Cassandra, MongoDB

Utilisés en production par Digg, Facebook.

Amazon simpleDB

CONCEPTION DE SCRIPT

Application de forum

Modèle hiérarchique : entrée >> sortie

modèle adjacent : sortie >> entrée

PHP assume le travail, en ligne avec l’internaute!

ARCHI
La transaction Web doit
attendre chaque élément de
l’architecture

ARCHI
PHP est assez rapide pour
servir le client

ARCHI
Il faut exporter
les tâches lourdes

GEARMAN

Anagramme de manager

Un système de distribution de tâches

Trois acteurs :

serveur, gearmand : distribue les tâches

client, gearman : émet les commandes

esclave, worker : effectue les tâches

Miniatures PDF Miniatures
PDF
Recherche

FONCTIONNEMENT

PHP assure le filtrage des données, l’enregistrement des
commandes, la restitution au navigateur

Gearman répartit les tâches entre esclaves

Si la charge augmente, il faut ajouter des esclaves

Spécialisation des serveurs, réorganisation

Découplage des frontaux Web

MAP/REDUCE
Découpage du travail en Corpus

lots

Traitement du lot : MAP Map Map Map Map

m1:1; m2:2 m2:1 m1:3; m3:1
Concentration des
résultats : reduce Regroupement

Résultat final m1:1,3 m2:2,1 m3:1

Reduce Reduce Reduce

Hadoop fait tout sauf map
et réduce m1:4 m2:3 m3:1

UN MODÈLE ROBUSTE

Détection des crash

Relance des tâches de map et reduce

Doublement des tâches lentes

Map et reduce fonctionnent simultanément

Résultats intermédiaires possibles

Addition des capacités de traitement

HADOOP

Fonctions exportables via stdin/out

Hive : HADOPP appliqué aux bases de données

HDFS : cluster de stockage

1 Po de données, triées en 16h15

1 To de données triées en 62 secondes

3800 machines approx.

MAÎTRISE

Personnalisation

Public/ répétition

Contexte
Cohérence
Tâches de fond Tâches lourdes

L'avenir de LAMP

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (17)

Destaque

Destaque (20)

Semelhante a L'avenir de LAMP

Semelhante a L'avenir de LAMP (20)

Mais de Damien Seguy

Mais de Damien Seguy (20)

L'avenir de LAMP