Medidas de formas, coeficiente de asimetría y coeficiente de curtosis.pptx
Presentacion Google File System
1. Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Google File System (GFS)
El sistema de archivos distribuido de Google !!
Mario A. del Riego
Consejo de Educación Secundaria
Mario A. del Riego Google File System
2. Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Agenda
1 Introducción
Definiciones
Requerimientos
Mente conservadora...
2 Diseño alto nivel
Hipótesis
3 Arquitectura
4 Interacción entre componentes
Ejemplo 1: Write
Ejemplo 2: Snapshot
5 Conclusiones
Mario A. del Riego Google File System
3. Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Agenda
1 Introducción
Definiciones
Requerimientos
Mente conservadora...
2 Diseño alto nivel
Hipótesis
3 Arquitectura
4 Interacción entre componentes
Ejemplo 1: Write
Ejemplo 2: Snapshot
5 Conclusiones
Mario A. del Riego Google File System
4. Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Agenda
1 Introducción
Definiciones
Requerimientos
Mente conservadora...
2 Diseño alto nivel
Hipótesis
3 Arquitectura
4 Interacción entre componentes
Ejemplo 1: Write
Ejemplo 2: Snapshot
5 Conclusiones
Mario A. del Riego Google File System
5. Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Agenda
1 Introducción
Definiciones
Requerimientos
Mente conservadora...
2 Diseño alto nivel
Hipótesis
3 Arquitectura
4 Interacción entre componentes
Ejemplo 1: Write
Ejemplo 2: Snapshot
5 Conclusiones
Mario A. del Riego Google File System
6. Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Agenda
1 Introducción
Definiciones
Requerimientos
Mente conservadora...
2 Diseño alto nivel
Hipótesis
3 Arquitectura
4 Interacción entre componentes
Ejemplo 1: Write
Ejemplo 2: Snapshot
5 Conclusiones
Mario A. del Riego Google File System
7. Introducción
Diseño alto nivel Definiciones
Arquitectura Requerimientos
Interacción entre componentes Mente conservadora...
Conclusiones
Solo unas definiciones
Definition
Un File System (FS) es un sistema que estructura los datos en
una unidad de almacenamiento.
Definition
Un Distributed File System (DFS) es un servicio que permite al
usuario acceder y procesar archivos guardados en un servidor
como si fuese local.
Definition
Google File System (GFS) es el DFS que da soporte a todas
las aplicaciones de Google Inc.
Mario A. del Riego Google File System
8. Introducción
Diseño alto nivel Definiciones
Arquitectura Requerimientos
Interacción entre componentes Mente conservadora...
Conclusiones
Solo unas definiciones
Definition
Un File System (FS) es un sistema que estructura los datos en
una unidad de almacenamiento.
Definition
Un Distributed File System (DFS) es un servicio que permite al
usuario acceder y procesar archivos guardados en un servidor
como si fuese local.
Definition
Google File System (GFS) es el DFS que da soporte a todas
las aplicaciones de Google Inc.
Mario A. del Riego Google File System
9. Introducción
Diseño alto nivel Definiciones
Arquitectura Requerimientos
Interacción entre componentes Mente conservadora...
Conclusiones
Solo unas definiciones
Definition
Un File System (FS) es un sistema que estructura los datos en
una unidad de almacenamiento.
Definition
Un Distributed File System (DFS) es un servicio que permite al
usuario acceder y procesar archivos guardados en un servidor
como si fuese local.
Definition
Google File System (GFS) es el DFS que da soporte a todas
las aplicaciones de Google Inc.
Mario A. del Riego Google File System
10. Introducción
Diseño alto nivel Definiciones
Arquitectura Requerimientos
Interacción entre componentes Mente conservadora...
Conclusiones
Las aplicaciones actuales de Google
Google Mail
Google Search / History / Image / Cache
Google Video / Youtube
Google Books
Google Maps
Google Earth
Google Street View
Google Apps
Google Docs
Google Drive (NUEVO! 5GB por usuario)
Google ... ???
Mario A. del Riego Google File System
11. Introducción
Diseño alto nivel Definiciones
Arquitectura Requerimientos
Interacción entre componentes Mente conservadora...
Conclusiones
Las aplicaciones actuales de Google
Google Mail
Google Search / History / Image / Cache
Google Video / Youtube
Google Books
Google Maps
Google Earth
Google Street View
Google Apps
Google Docs
Google Drive (NUEVO! 5GB por usuario)
Google ... ???
Mario A. del Riego Google File System
12. Introducción
Diseño alto nivel Definiciones
Arquitectura Requerimientos
Interacción entre componentes Mente conservadora...
Conclusiones
Las aplicaciones actuales de Google
Google Mail
Google Search / History / Image / Cache
Google Video / Youtube
Google Books
Google Maps
Google Earth
Google Street View
Google Apps
Google Docs
Google Drive (NUEVO! 5GB por usuario)
Google ... ???
Mario A. del Riego Google File System
13. Introducción
Diseño alto nivel Definiciones
Arquitectura Requerimientos
Interacción entre componentes Mente conservadora...
Conclusiones
Las aplicaciones actuales de Google
Google Mail
Google Search / History / Image / Cache
Google Video / Youtube
Google Books
Google Maps
Google Earth
Google Street View
Google Apps
Google Docs
Google Drive (NUEVO! 5GB por usuario)
Google ... ???
Mario A. del Riego Google File System
14. Introducción
Diseño alto nivel Definiciones
Arquitectura Requerimientos
Interacción entre componentes Mente conservadora...
Conclusiones
Las aplicaciones actuales de Google
Google Mail
Google Search / History / Image / Cache
Google Video / Youtube
Google Books
Google Maps
Google Earth
Google Street View
Google Apps
Google Docs
Google Drive (NUEVO! 5GB por usuario)
Google ... ???
Mario A. del Riego Google File System
15. Introducción
Diseño alto nivel Definiciones
Arquitectura Requerimientos
Interacción entre componentes Mente conservadora...
Conclusiones
Las aplicaciones actuales de Google
Google Mail
Google Search / History / Image / Cache
Google Video / Youtube
Google Books
Google Maps
Google Earth
Google Street View
Google Apps
Google Docs
Google Drive (NUEVO! 5GB por usuario)
Google ... ???
Mario A. del Riego Google File System
16. Introducción
Diseño alto nivel Definiciones
Arquitectura Requerimientos
Interacción entre componentes Mente conservadora...
Conclusiones
Las aplicaciones actuales de Google
Google Mail
Google Search / History / Image / Cache
Google Video / Youtube
Google Books
Google Maps
Google Earth
Google Street View
Google Apps
Google Docs
Google Drive (NUEVO! 5GB por usuario)
Google ... ???
Mario A. del Riego Google File System
17. Introducción
Diseño alto nivel Definiciones
Arquitectura Requerimientos
Interacción entre componentes Mente conservadora...
Conclusiones
Las aplicaciones actuales de Google
Google Mail
Google Search / History / Image / Cache
Google Video / Youtube
Google Books
Google Maps
Google Earth
Google Street View
Google Apps
Google Docs
Google Drive (NUEVO! 5GB por usuario)
Google ... ???
Mario A. del Riego Google File System
18. Introducción
Diseño alto nivel Definiciones
Arquitectura Requerimientos
Interacción entre componentes Mente conservadora...
Conclusiones
Las aplicaciones actuales de Google
Google Mail
Google Search / History / Image / Cache
Google Video / Youtube
Google Books
Google Maps
Google Earth
Google Street View
Google Apps
Google Docs
Google Drive (NUEVO! 5GB por usuario)
Google ... ???
Mario A. del Riego Google File System
19. Introducción
Diseño alto nivel Definiciones
Arquitectura Requerimientos
Interacción entre componentes Mente conservadora...
Conclusiones
Las aplicaciones actuales de Google
Google Mail
Google Search / History / Image / Cache
Google Video / Youtube
Google Books
Google Maps
Google Earth
Google Street View
Google Apps
Google Docs
Google Drive (NUEVO! 5GB por usuario)
Google ... ???
Mario A. del Riego Google File System
20. Introducción
Diseño alto nivel Definiciones
Arquitectura Requerimientos
Interacción entre componentes Mente conservadora...
Conclusiones
Las aplicaciones actuales de Google
Google Mail
Google Search / History / Image / Cache
Google Video / Youtube
Google Books
Google Maps
Google Earth
Google Street View
Google Apps
Google Docs
Google Drive (NUEVO! 5GB por usuario)
Google ... ???
Mario A. del Riego Google File System
21. Introducción
Diseño alto nivel Definiciones
Arquitectura Requerimientos
Interacción entre componentes Mente conservadora...
Conclusiones
. . . porqué no centralizado?
La historia me avala!
Mario A. del Riego Google File System
22. Introducción
Diseño alto nivel Definiciones
Arquitectura Requerimientos
Interacción entre componentes Mente conservadora...
Conclusiones
bueh... y porqué no NFS (Network File System)?
Otra vez... ¡La historia me avala!
Mario A. del Riego Google File System
23. Introducción
Diseño alto nivel Definiciones
Arquitectura Requerimientos
Interacción entre componentes Mente conservadora...
Conclusiones
Basado en la experiencia. . .
Los componentes fallan, es la norma y no la excepción
Errores en la aplicación
Errores en el SO
Errores humanos (errar es humano.. dijo el caballo)
Errores en los HDD / RAM
Errores en la red
Cortes de energía
Los archivos crecen muy rápido, llegando inclusive al
orden de TB
La mayoría de los archivos son modificados agregando
info. Modificaciones aleatorias dentro del archivo ni
existen.
Mario A. del Riego Google File System
24. Introducción
Diseño alto nivel Definiciones
Arquitectura Requerimientos
Interacción entre componentes Mente conservadora...
Conclusiones
Basado en la experiencia. . .
Los componentes fallan, es la norma y no la excepción
Errores en la aplicación
Errores en el SO
Errores humanos (errar es humano.. dijo el caballo)
Errores en los HDD / RAM
Errores en la red
Cortes de energía
Los archivos crecen muy rápido, llegando inclusive al
orden de TB
La mayoría de los archivos son modificados agregando
info. Modificaciones aleatorias dentro del archivo ni
existen.
Mario A. del Riego Google File System
25. Introducción
Diseño alto nivel Definiciones
Arquitectura Requerimientos
Interacción entre componentes Mente conservadora...
Conclusiones
Basado en la experiencia. . .
Los componentes fallan, es la norma y no la excepción
Errores en la aplicación
Errores en el SO
Errores humanos (errar es humano.. dijo el caballo)
Errores en los HDD / RAM
Errores en la red
Cortes de energía
Los archivos crecen muy rápido, llegando inclusive al
orden de TB
La mayoría de los archivos son modificados agregando
info. Modificaciones aleatorias dentro del archivo ni
existen.
Mario A. del Riego Google File System
26. Introducción
Diseño alto nivel Definiciones
Arquitectura Requerimientos
Interacción entre componentes Mente conservadora...
Conclusiones
Basado en la experiencia. . .
Los componentes fallan, es la norma y no la excepción
Errores en la aplicación
Errores en el SO
Errores humanos (errar es humano.. dijo el caballo)
Errores en los HDD / RAM
Errores en la red
Cortes de energía
Los archivos crecen muy rápido, llegando inclusive al
orden de TB
La mayoría de los archivos son modificados agregando
info. Modificaciones aleatorias dentro del archivo ni
existen.
Mario A. del Riego Google File System
27. Introducción
Diseño alto nivel Definiciones
Arquitectura Requerimientos
Interacción entre componentes Mente conservadora...
Conclusiones
Basado en la experiencia. . .
Los componentes fallan, es la norma y no la excepción
Errores en la aplicación
Errores en el SO
Errores humanos (errar es humano.. dijo el caballo)
Errores en los HDD / RAM
Errores en la red
Cortes de energía
Los archivos crecen muy rápido, llegando inclusive al
orden de TB
La mayoría de los archivos son modificados agregando
info. Modificaciones aleatorias dentro del archivo ni
existen.
Mario A. del Riego Google File System
28. Introducción
Diseño alto nivel Definiciones
Arquitectura Requerimientos
Interacción entre componentes Mente conservadora...
Conclusiones
Basado en la experiencia. . .
Los componentes fallan, es la norma y no la excepción
Errores en la aplicación
Errores en el SO
Errores humanos (errar es humano.. dijo el caballo)
Errores en los HDD / RAM
Errores en la red
Cortes de energía
Los archivos crecen muy rápido, llegando inclusive al
orden de TB
La mayoría de los archivos son modificados agregando
info. Modificaciones aleatorias dentro del archivo ni
existen.
Mario A. del Riego Google File System
29. Introducción
Diseño alto nivel Definiciones
Arquitectura Requerimientos
Interacción entre componentes Mente conservadora...
Conclusiones
Basado en la experiencia. . .
Los componentes fallan, es la norma y no la excepción
Errores en la aplicación
Errores en el SO
Errores humanos (errar es humano.. dijo el caballo)
Errores en los HDD / RAM
Errores en la red
Cortes de energía
Los archivos crecen muy rápido, llegando inclusive al
orden de TB
La mayoría de los archivos son modificados agregando
info. Modificaciones aleatorias dentro del archivo ni
existen.
Mario A. del Riego Google File System
30. Introducción
Diseño alto nivel Definiciones
Arquitectura Requerimientos
Interacción entre componentes Mente conservadora...
Conclusiones
Basado en la experiencia. . .
Los componentes fallan, es la norma y no la excepción
Errores en la aplicación
Errores en el SO
Errores humanos (errar es humano.. dijo el caballo)
Errores en los HDD / RAM
Errores en la red
Cortes de energía
Los archivos crecen muy rápido, llegando inclusive al
orden de TB
La mayoría de los archivos son modificados agregando
info. Modificaciones aleatorias dentro del archivo ni
existen.
Mario A. del Riego Google File System
31. Introducción
Diseño alto nivel Definiciones
Arquitectura Requerimientos
Interacción entre componentes Mente conservadora...
Conclusiones
Basado en la experiencia. . .
Los componentes fallan, es la norma y no la excepción
Errores en la aplicación
Errores en el SO
Errores humanos (errar es humano.. dijo el caballo)
Errores en los HDD / RAM
Errores en la red
Cortes de energía
Los archivos crecen muy rápido, llegando inclusive al
orden de TB
La mayoría de los archivos son modificados agregando
info. Modificaciones aleatorias dentro del archivo ni
existen.
Mario A. del Riego Google File System
32. Introducción
Diseño alto nivel
Arquitectura Hipótesis
Interacción entre componentes
Conclusiones
Hipótesis
Es construído en base a componentes baratos
Se debe manejar eficientemente archivos muy grandes
(GB)
Dos operaciones típicas:
Lecturas largas y continuas
Lecturas aleatorias y chicas
Escrituras que hacen append a los archivos
Debe soportar eficientemente la concurrencia
Mucho ancho de banda
Mario A. del Riego Google File System
33. Introducción
Diseño alto nivel
Arquitectura Hipótesis
Interacción entre componentes
Conclusiones
Hipótesis
Es construído en base a componentes baratos
Se debe manejar eficientemente archivos muy grandes
(GB)
Dos operaciones típicas:
Lecturas largas y continuas
Lecturas aleatorias y chicas
Escrituras que hacen append a los archivos
Debe soportar eficientemente la concurrencia
Mucho ancho de banda
Mario A. del Riego Google File System
34. Introducción
Diseño alto nivel
Arquitectura Hipótesis
Interacción entre componentes
Conclusiones
Hipótesis
Es construído en base a componentes baratos
Se debe manejar eficientemente archivos muy grandes
(GB)
Dos operaciones típicas:
Lecturas largas y continuas
Lecturas aleatorias y chicas
Escrituras que hacen append a los archivos
Debe soportar eficientemente la concurrencia
Mucho ancho de banda
Mario A. del Riego Google File System
35. Introducción
Diseño alto nivel
Arquitectura Hipótesis
Interacción entre componentes
Conclusiones
Hipótesis
Es construído en base a componentes baratos
Se debe manejar eficientemente archivos muy grandes
(GB)
Dos operaciones típicas:
Lecturas largas y continuas
Lecturas aleatorias y chicas
Escrituras que hacen append a los archivos
Debe soportar eficientemente la concurrencia
Mucho ancho de banda
Mario A. del Riego Google File System
36. Introducción
Diseño alto nivel
Arquitectura Hipótesis
Interacción entre componentes
Conclusiones
Hipótesis
Es construído en base a componentes baratos
Se debe manejar eficientemente archivos muy grandes
(GB)
Dos operaciones típicas:
Lecturas largas y continuas
Lecturas aleatorias y chicas
Escrituras que hacen append a los archivos
Debe soportar eficientemente la concurrencia
Mucho ancho de banda
Mario A. del Riego Google File System
37. Introducción
Diseño alto nivel
Arquitectura Hipótesis
Interacción entre componentes
Conclusiones
Hipótesis
Es construído en base a componentes baratos
Se debe manejar eficientemente archivos muy grandes
(GB)
Dos operaciones típicas:
Lecturas largas y continuas
Lecturas aleatorias y chicas
Escrituras que hacen append a los archivos
Debe soportar eficientemente la concurrencia
Mucho ancho de banda
Mario A. del Riego Google File System
38. Introducción
Diseño alto nivel
Arquitectura Hipótesis
Interacción entre componentes
Conclusiones
Hipótesis
Es construído en base a componentes baratos
Se debe manejar eficientemente archivos muy grandes
(GB)
Dos operaciones típicas:
Lecturas largas y continuas
Lecturas aleatorias y chicas
Escrituras que hacen append a los archivos
Debe soportar eficientemente la concurrencia
Mucho ancho de banda
Mario A. del Riego Google File System
39. Introducción
Diseño alto nivel
Arquitectura Hipótesis
Interacción entre componentes
Conclusiones
Hipótesis
Es construído en base a componentes baratos
Se debe manejar eficientemente archivos muy grandes
(GB)
Dos operaciones típicas:
Lecturas largas y continuas
Lecturas aleatorias y chicas
Escrituras que hacen append a los archivos
Debe soportar eficientemente la concurrencia
Mucho ancho de banda
Mario A. del Riego Google File System
40. Introducción
Diseño alto nivel
Arquitectura Hipótesis
Interacción entre componentes
Conclusiones
Interfase
No soporta POSIX (..pero muy parecido)
Agrega dos operaciones importantes: snapshot y append
Mario A. del Riego Google File System
41. Introducción
Diseño alto nivel
Arquitectura Hipótesis
Interacción entre componentes
Conclusiones
Interfase
No soporta POSIX (..pero muy parecido)
Agrega dos operaciones importantes: snapshot y append
Mario A. del Riego Google File System
42. Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Arquitectura
1 master
N chunkserver
M clientes
Archivos divididos en un tamaño fijo
Cada “pedazo” se llama chunk
Cada chunk es identificado por un número único de 64 bits,
llamado chunk handle
1 archivo se divide en size(archivo) chunks
64MB
1chunk → {Location1 , . . . , LocationN }
Mario A. del Riego Google File System
43. Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Arquitectura
1 master
N chunkserver
M clientes
Archivos divididos en un tamaño fijo
Cada “pedazo” se llama chunk
Cada chunk es identificado por un número único de 64 bits,
llamado chunk handle
1 archivo se divide en size(archivo) chunks
64MB
1chunk → {Location1 , . . . , LocationN }
Mario A. del Riego Google File System
44. Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Arquitectura
1 master
N chunkserver
M clientes
Archivos divididos en un tamaño fijo
Cada “pedazo” se llama chunk
Cada chunk es identificado por un número único de 64 bits,
llamado chunk handle
1 archivo se divide en size(archivo) chunks
64MB
1chunk → {Location1 , . . . , LocationN }
Mario A. del Riego Google File System
45. Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Arquitectura
1 master
N chunkserver
M clientes
Archivos divididos en un tamaño fijo
Cada “pedazo” se llama chunk
Cada chunk es identificado por un número único de 64 bits,
llamado chunk handle
1 archivo se divide en size(archivo) chunks
64MB
1chunk → {Location1 , . . . , LocationN }
Mario A. del Riego Google File System
46. Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Arquitectura
1 master
N chunkserver
M clientes
Archivos divididos en un tamaño fijo
Cada “pedazo” se llama chunk
Cada chunk es identificado por un número único de 64 bits,
llamado chunk handle
1 archivo se divide en size(archivo) chunks
64MB
1chunk → {Location1 , . . . , LocationN }
Mario A. del Riego Google File System
47. Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Arquitectura
1 master
N chunkserver
M clientes
Archivos divididos en un tamaño fijo
Cada “pedazo” se llama chunk
Cada chunk es identificado por un número único de 64 bits,
llamado chunk handle
1 archivo se divide en size(archivo) chunks
64MB
1chunk → {Location1 , . . . , LocationN }
Mario A. del Riego Google File System
48. Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Arquitectura
1 master
N chunkserver
M clientes
Archivos divididos en un tamaño fijo
Cada “pedazo” se llama chunk
Cada chunk es identificado por un número único de 64 bits,
llamado chunk handle
1 archivo se divide en size(archivo) chunks
64MB
1chunk → {Location1 , . . . , LocationN }
Mario A. del Riego Google File System
49. Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Arquitectura
1 master
N chunkserver
M clientes
Archivos divididos en un tamaño fijo
Cada “pedazo” se llama chunk
Cada chunk es identificado por un número único de 64 bits,
llamado chunk handle
1 archivo se divide en size(archivo) chunks
64MB
1chunk → {Location1 , . . . , LocationN }
Mario A. del Riego Google File System
50. Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Arquitectura (cont.)
Mario A. del Riego Google File System
51. Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Master Server
Mantiene la Metadata (control de acceso, mapeo de
archivos a chunks, chunks a locations, etc)
Gestiona los chunk leases, Garbage Collector,
migraciones entre chunkservers, y monitorea el estado de
cada chunkserver
Un master simplifica el diseño y la implementación
NO se envían datos a través de él
Existe un shadow server. . .
Mario A. del Riego Google File System
52. Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Master Server
Mantiene la Metadata (control de acceso, mapeo de
archivos a chunks, chunks a locations, etc)
Gestiona los chunk leases, Garbage Collector,
migraciones entre chunkservers, y monitorea el estado de
cada chunkserver
Un master simplifica el diseño y la implementación
NO se envían datos a través de él
Existe un shadow server. . .
Mario A. del Riego Google File System
53. Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Master Server
Mantiene la Metadata (control de acceso, mapeo de
archivos a chunks, chunks a locations, etc)
Gestiona los chunk leases, Garbage Collector,
migraciones entre chunkservers, y monitorea el estado de
cada chunkserver
Un master simplifica el diseño y la implementación
NO se envían datos a través de él
Existe un shadow server. . .
Mario A. del Riego Google File System
54. Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Master Server
Mantiene la Metadata (control de acceso, mapeo de
archivos a chunks, chunks a locations, etc)
Gestiona los chunk leases, Garbage Collector,
migraciones entre chunkservers, y monitorea el estado de
cada chunkserver
Un master simplifica el diseño y la implementación
NO se envían datos a través de él
Existe un shadow server. . .
Mario A. del Riego Google File System
55. Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Master Server
Mantiene la Metadata (control de acceso, mapeo de
archivos a chunks, chunks a locations, etc)
Gestiona los chunk leases, Garbage Collector,
migraciones entre chunkservers, y monitorea el estado de
cada chunkserver
Un master simplifica el diseño y la implementación
NO se envían datos a través de él
Existe un shadow server. . .
Mario A. del Riego Google File System
56. Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Cliente y Chunk Server
Chunk Server
Cliente (Aplicación) Linux standard. En su
tiempo kernel 2.2. . .
No utiliza cache para
Todo implementado
los datos. Solamente
en User space
para los chunk
No implementa cache.
locations
Delegado al cache del
kernel
Mario A. del Riego Google File System
57. Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Cliente y Chunk Server
Chunk Server
Cliente (Aplicación) Linux standard. En su
tiempo kernel 2.2. . .
No utiliza cache para
Todo implementado
los datos. Solamente
en User space
para los chunk
No implementa cache.
locations
Delegado al cache del
kernel
Mario A. del Riego Google File System
58. Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Cliente y Chunk Server
Chunk Server
Cliente (Aplicación) Linux standard. En su
tiempo kernel 2.2. . .
No utiliza cache para
Todo implementado
los datos. Solamente
en User space
para los chunk
No implementa cache.
locations
Delegado al cache del
kernel
Mario A. del Riego Google File System
59. Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Cliente y Chunk Server
Chunk Server
Cliente (Aplicación) Linux standard. En su
tiempo kernel 2.2. . .
No utiliza cache para
Todo implementado
los datos. Solamente
en User space
para los chunk
No implementa cache.
locations
Delegado al cache del
kernel
Mario A. del Riego Google File System
60. Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Cliente y Chunk Server
Chunk Server
Cliente (Aplicación) Linux standard. En su
tiempo kernel 2.2. . .
No utiliza cache para
Todo implementado
los datos. Solamente
en User space
para los chunk
No implementa cache.
locations
Delegado al cache del
kernel
Mario A. del Riego Google File System
61. Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Cliente y Chunk Server
Chunk Server
Cliente (Aplicación) Linux standard. En su
tiempo kernel 2.2. . .
No utiliza cache para
Todo implementado
los datos. Solamente
en User space
para los chunk
No implementa cache.
locations
Delegado al cache del
kernel
Mario A. del Riego Google File System
62. Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Cliente y Chunk Server
Chunk Server
Cliente (Aplicación) Linux standard. En su
tiempo kernel 2.2. . .
No utiliza cache para
Todo implementado
los datos. Solamente
en User space
para los chunk
No implementa cache.
locations
Delegado al cache del
kernel
Mario A. del Riego Google File System
63. Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Cliente y Chunk Server
Chunk Server
Cliente (Aplicación) Linux standard. En su
tiempo kernel 2.2. . .
No utiliza cache para
Todo implementado
los datos. Solamente
en User space
para los chunk
No implementa cache.
locations
Delegado al cache del
kernel
Mario A. del Riego Google File System
64. Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Cliente y Chunk Server
Chunk Server
Cliente (Aplicación) Linux standard. En su
tiempo kernel 2.2. . .
No utiliza cache para
Todo implementado
los datos. Solamente
en User space
para los chunk
No implementa cache.
locations
Delegado al cache del
kernel
Mario A. del Riego Google File System
65. Introducción
Diseño alto nivel
Ejemplo 1: Write
Arquitectura
Ejemplo 2: Snapshot
Interacción entre componentes
Conclusiones
Ejemplo: Write
Mario A. del Riego Google File System
66. Introducción
Diseño alto nivel
Ejemplo 1: Write
Arquitectura
Ejemplo 2: Snapshot
Interacción entre componentes
Conclusiones
Ejemplo: Snapshot
(← VER PIZARRÓN)
COW: Copy On-Write
Mario A. del Riego Google File System
67. Introducción
Diseño alto nivel
Ejemplo 1: Write
Arquitectura
Ejemplo 2: Snapshot
Interacción entre componentes
Conclusiones
Ejemplo: Snapshot
(← VER PIZARRÓN)
COW: Copy On-Write
Mario A. del Riego Google File System
68. Introducción
Diseño alto nivel
Arquitectura
Interacción entre componentes
Conclusiones
Gracias!
Ya terminamos...
Podemos volver a trabajar. . . iupi !!
Mario A. del Riego Google File System