Đăng ký tham dự tại đây: http://vfossa.vn/vi/reg-sfd-2013/ A. Giới thiệu chung: Software Freedom Day là một ngày hội khởi xướng từ năm 2004, được tổ chức mỗi năm một lần với mục đích quảng bá cho Phần mềm Tự do Nguồn mở (FOSS) và các chuẩn định dạng mở đến với mọi người dùng máy tính cũng như các doanh nghiệp, cơ quan, tổ chức... Software Freedom Day (SFD) thường niên tổ chức vào ngày thứ bảy, tuần thứ 3 của tháng 9. B. Thời gian diễn ra: Tiếp nối thành công của Ngày Hội phần mềm Tự Do nguồn Mở SFD 2012; cùng với sự ủng hộ của cộng đồng, Câu lạc bộ Phần mềm Tự do Nguồn mở Việt Nam (Vietnam Free & Open Source SoftwareAssociation - viết tắt là VFOSSA) và nhóm Người sử dụng Linux tại Tp Hồ Chí Minh (Saigon Linux User Group - viết tắt là SaigonLUG) hợp tác cùng Ban giám hiệu các trường ĐH đăng cai tổ chức Software Freedom Day – SFD 2013. Thứ 7 - Ngày 21/09/2013; tại cả hai miền Nam và Bắc Tại Hà Nội: từ 08h00 đến 17h00 tại Nhà D5 - Trường ĐH Bách Khoa - Số 1 Đại Cồ Việt, http://vfossa.vn/vi/news/event/Ngay-hoi-tu-do-phan-mem-Software-Freedom-Day-2013-74/ Tại Tp Hồ Chí Minh: từ 08h00 – 12h00 tại Trường ĐH Khoa Học Tự Nhiên, http://sfd.saigonlug.org/ C. Đối tượng/ Lợi ích tham dự: Những cá nhân, sinh viên, doanh nghiệp và tổ chức làm việc trong lĩnh vực CNTT, đặc biệt là Phần mềm Tự do Nguồn mở Đối với cá nhân, sinh viên và những ai yêu thích công nghệ: Các bạn sẽ được giao lưu, học hỏi thêm nhiều kiến thức bổ ích, vừa giúp ích cho vốn kiến thức của bản thân mà vừa giúp cho bạn có thêm những cơ hội việc làm hấp dẫn. Đối với các doanh nghiệp, tổ chức: Ngày hội sẽ là cơ hội để các doanh nghiệp chia sẻ cùng nhau những kinh nghiệm từ ứng dụng Phần mềm Tự do Nguồn mở vào hoạt động kinh doanh, mở rộng quan hệ hợp tác phát triển và tuyển dụng nhân sự chất lượng cao. D. Nội dung chính: - Hội thảo: xoay quanh chủ đề: + Chính sách, kinh doanh, Cộng đồng Phần mềm Tự do Nguồn mở + Các vấn đề kỹ thuật: An ninh và nguồn mở, nguồn mở và giáo dục đào tạo: moodle, scolarix, các giải pháp kỹ thuật khác sử dụng phần mềm nguồn mở như: quản lý dự án, hệ điều hành, giải pháp văn phòng… + Hội thảo tuyển dụng, giới thiệu sản phẩm ứng dụng thực của Doanh nghiệp trong Phần mềm Tự do Nguồn mở - Lớp học Phần mềm Tự Do Nguồn mở miễn phí - Thi đấu giải Game: với nhiều quà tặng hấp dẫn từ Nhà tài trợ ^^

1. Phần mềm mã mở
và dự tính khí hậu 100 năm
Nguyen
Trung
Kien
Hanoi
University
of
Science
DTT
Technology
Group
Hà
Nội,
ngày
21
tháng
09
năm
2013
So.ware
Freedom
Day
2013,
HUST,
Hanoi

2. Nội
dung
Nhu
cầu
@nh
toán
&
lưu
trữ
1
PMMM
cho
HPC
và
lưu
trữ
2
Hỏi
đáp
3

3. Nhu
cầu
@nh
toán
và
lưu
trữ
• Đề
tài
cấp
nhà
nước:
– Nghiên
cứu
xây
dựng
hệ
thống
mô
hình
dự
báo
hạn
mùa
một
số
hiện
tượng
khí
hậu
cực
đoan
phục
vụ
phòng
tránh
thiên
tai
ở
VN
– Nghiên
cứu
xây
dựng
hệ
thống
đồng
hoá
tổ
hợp
cho
mô
hình
thời
lết
và
hệ
thống
tổ
hợp
cho
một
số
mô
hình
khí
hậu
khu
vực
nhằm
dự
báo
và
dự
@nh
các
hiện
tượng
thời
lết,
khí
hậu
cực
đoan

4. Nhu
cầu
@nh
toán
và
lưu
trữ
• Dự
án
Danida
–
Đan
Mạch:
– Nghiên
cứu
thuỷ
tai
do
biến
đổi
khí
hậu
và
xây
dựng
hệ
thống
thông
ln
nhiều
bên
tham
gia
nhằm
giảm
thiểu
@nh
dễ
bị
tổn
thương
ở
Bắc
Trung
Bộ
Việt
Nam
• Dự
án
CSIRO
–
Úc:
– Hạ
quy
mô
phân
giải
cao
cho
Việt
Nam

5. Nhu
cầu
@nh
toán
và
lưu
trữ
• Dự
báo
thời
lết:
MM5,
WRF,
HRM
– Dự
báo
3
ngày
–
chạy
4
lần/ngày
– 2
giờ/1
lần
chạy
(node
@nh:
2xQuad
2.5GHz,
8GB
Ram)
• Dò
ˆm
xoáy
bão:
RegCM
– Dò
ˆm
12
tháng
–
chạy
1
lần/tháng
– 140
giờ/1
lần
chạy
– Lưu
trữ
70
GB
dữ
liệu
• Dự
báo
mùa:
MM5,
WRF,
RegCM
– Dự
báo
7
tháng
–
chạy
1
lần/tuần
– 35-­‐50
giờ/1
lần
chạy
– Lưu
trữ
6-­‐16
GB
dữ
liệu

6. Nhu
cầu
@nh
toán
và
lưu
trữ
• Mô
phỏng
khí
hậu
1979
–
2010:
– Nhiều
loại
đầu
vào:
ERA40,
NCEP,
INTERIM
– Models:
RegCM,
MM5CL,
clWRF,
REMO
– Mất
2-­‐5
giờ/1
tháng
mô
phỏng,
~
5GB
dữ
liệu
• Dự
@nh
khí
hậu
2011-­‐2100:
– Kịch
bản
phát
thải
A1B,
A2
– Models:
MM5CL,
CCAM,
RegCM,
clWRF,
REMO
– Mất
2-­‐5
giờ/1
tháng
mô
phỏng,
~
5GB
dữ
liệu

7. Nhu
cầu
@nh
toán
và
lưu
trữ
• Số
lượng
tương
đối
lớn
người
dùng:
– 10
cán
bộ
– 2-­‐3
NCS
– 5-­‐6
Học
viên
CH
– >
15
sinh
viên
ĐH
– Người
dùng
từ
các
tổ
chức
khác
• Cần
lưu
trữ
dữ
liệu
từ
các
dự
án/đề
tài
trước
• Nhu
cầu
lưu
trữ:
>
100
TB
• Ngân
sách
hạn
chế

8. Phần
cứng
thông
dụng
và
PMMM
cho
HPC
• Phần
cứng
thông
dụng:
– Đã
được
chuẩn
hoá
– Sản
xuất
với
số
lượng
lớn
• Sử
dụng
server
Intel,
Supermicro
• Mellanox
Infiniband
SDR
10
Gbps
• Rocks
toolkit
• Centos
• Torque
+
Maui
• GNU,
Intel
compiler
(academic),
mvapich,
netcdf,
opengrads,
module
environment,
…

9. PMMM
cho
hệ
thống
lưu
trữ
• Tốc
độ
đọc/ghi
cao
• Dung
lượng
lưu
trữ
>
100
TB
• Tin
cậy,
ổn
định
• Tận
dụng
được
các
ổ
cứng
có
sẵn
– Hàng
chục
ổ
cứng
300GB
–
2TB
dành
cho
máy
để
bàn
(WD,
Seagate,
Samsung,
…)
LustreFS
và
HDFS

10. Hệ
thống
lưu
trữ
LustreFS
• Linux
+
Cluster
=
Lustre
• Khởi
đầu
tại
Cluster
File
System
–
2003
• Mua
lại
bởi
Sun
–
2007
• Oracle
lếp
quản
–
2010
• Cuối
2010,
Oracle
dừng
phát
triển
Lustre
=>
cộng
đồng:
Whamcloud,
Xyratex,
OpenSFS,
…
•
Intel
mua
lại
Whamcloud
–
2012

11. Hệ
thống
lưu
trữ
LustreFS
• Hệ
thống
file
phân
tán
• Thường
được
sử
dụng
trong
các
hệ
thống
@nh
toán
lớn
• 6/10
và
60/100
hệ
thống
mạnh
nhất
thế
giới
(Titan
#2,
K
Computer
#4,
…)
• Hỗ
trợ
hàng
chục
nghìn
node
@nh
• Dung
lượng
mở
rộng
tới
hàng
chục
PB
• Thông
lượng
I/O
>
1
TB/s

12. Hệ
thống
lưu
trữ
LustreFS

13. Hệ
thống
lưu
trữ
LustreFS
Hot
spare
Raid5
Raid5

14. Hệ
thống
lưu
trữ
LustreFS
Hot
spare
Raid5
Raid5
Hot
spare
Raid5
Raid5

15. Hệ
thống
lưu
trữ
LustreFS
Hot
spare
Raid5
Raid5
Hot
spare
Raid5
Raid5
Infiniband
(10Gbps)

16. Hệ
thống
lưu
trữ
LustreFS
Hot
spare
Raid5
Raid5
Hot
spare
Raid5
Raid5
Infiniband
(10Gbps)
Use
only
Enterprise
SAS/SATA
HDD
LustreFS

17. Hệ
thống
lưu
trữ
HDFS
• HDFS
=
Hadoop
Distributed
File
System
• Thiết
kế
để
chạy
trên
phần
cứng
thông
dụng
(commodity
hardware)
• Bắt
đầu
phát
triển
bởi
Doug
Cu¡ng
–
2002
• Được
“truyền
cảm
hứng”
từ
GFS
của
Google
–
2003
• Trở
thành
dự
án
mã
mở
Apache
–
2006
• Sử
dụng
bởi:
Facebook,
Yahoo,
Ne¦lix,
…
• Không
tương
thích
chuẩn
POSIX
• Thông
lượng
I/O
tổng
gộp
cao
nhưng
độ
trễ
lớn

18. Hệ
thống
lưu
trữ
HDFS

19. Hệ
thống
lưu
trữ
HDFS
Name
node
Data
node3
Client
Hệ
số
nhân
=
2:
Mỗi
file
được
cắt
thành
các
block
64MB
và
được
lưu
trên
2
node
khác
nhau
Data
node1
Data
node2

20. Hệ
thống
lưu
trữ
HDFS
Name
node
Client
Client
đọc
dữ
liệu
trực
lếp
từ
các
Datanode
-­‐>
thông
lượng
tổng
gộp
cao
Data
node3
Data
node1
Data
node2

21. Hệ
thống
lưu
trữ
HDFS
Name
node
Chịu
lỗi:
Block
có
số
bản
nhân
<
2
được
tự
động
copy
sang
1
node
khác
Data
node2
Data
node3
Data
node1

22. Metocean
Cluster
• 14
node,
106
core,
141
GB
RAM,
Rpeak
~
TFlops
• Infiniband
SDR
10Gbps
&
1Gbps
interconnect
network
• 76
TB
LustreFS
sử
dụng
Enterprise
HDD
(2TB/ổ)
• ~
70
TB
“Cloud
Storage”
HDFS
sử
dụng
ổ
cứng
cho
máy
để
bàn
– Lưu
trữ
những
file
dung
lượng
lớn
(bội
số
của
64MB)
– Hệ
số
nhân
=
2
(dung
lượng
thực
dùng
~
35
TB)
– Mount
vào
hệ
thống
file
bằng
FUSE
• Dữ
liệu
quan
trọng
nhất
của
hệ
thống
HDFS
và
LustreFS
-­‐
metadata
(vài
GB)
-­‐
được
upload
tự
động
lên
Dropbox
Infiniband
10Gbps
1Gbps
Ethernet
192.168.0.0/24
192.168.1.0/24
Dropbox
Cloud
Storage

23. Kết
quả
benchmark
Đánh giá khi LustreFS đã sử dụng tới 98% (Tốc độ đọc/
ghi giảm đáng kể)
mpirun -np 16 IOR -a MPIIO -r -w -b 1g -t 1m -o !
/work/users/kiennt/IORFILE -v -i 3 !
1
mb
10
mb
100
mb
1
gb
2
gb
3
gb
8
clients
460.05
648.65
301.74
343.47
340.3
337.21
16
clients
45.72
661.26
438.17
477.21
477.76
363.43
24
clients
42.15
548.84
444.19
479.93
499.2
387.3
32
clients
111.86
373.07
544.19
514.12
488.83
410.73
40
clients
142.81
333.58
551.62
556.51
524.36
453.79
0
100
200
300
400
500
600
700
MB/s
Block
size
Write speed
Max
speed
1
mb
10
mb
100
mb
1
gb
2
gb
3
gb
8
clients
72.68
5725.97
4116.08
614.1
493.62
500.98
16
clients
155.99
953.16
3856.11
1613.18
1269.88
1029.32
24
clients
223.75
514.94
2983.58
1573.84
1286.87
953.75
32
clients
1315.45
1993.96
4310.74
1804.51
1175.01
979.01
40
clients
1546.91
2181.85
5007.63
1957.33
1128.21
1065.43
50
250
1250
6250
MB/s
Block
size
Read speed
caching
effect

24. Kết
quả
thực
• LustreFS:
– Chạy
RegCM,
MM5,
CCAM
trên
1
node
– Dữ
liệu
xuất
ra
được
ghi
lên
LustreFS
và
NFS
– Thời
gian
chạy
trên
LustreFS
giảm
từ
30%-­‐50%
so
với
NFS
• Hadoop
Streaming:
–
Chỉ
dùng
Map
để
phân
@ch
dữ
liệu
trên
12
nodes
(2
mapper/node)
– Các
nodes
vẫn
đang
chạy
các
chương
trình
MPI
– Thời
gian
chạy
giảm
tới
10
lần
• An
toàn
dữ
liệu:
– Mất
3
block
HDFS
/
2.5
năm

25. Hỏi
đáp
Xin
chân
thành
cảm
ơn