소프트웨어 마에스트로 3기 자유프로젝트 Avro조사

1. APACHE AVRO
Software Maestro 3기 한진수

2. 목차
1. 소개
2. 장점
3. 지원 언어
4. Serialization
5. Example
6. 속도
7. 참고

3. 소개
RPC format이다.
File format이다.
Serialization Framework이다.
- 기존 Frameworks는 크게 protocol buffer, thrift가 있다.
Doug Cutting이 만들었다.

4. 장점
thrift나 protocol buffer로 쓰고 읽을 수 있다.
다양한 Language를 지원한다.
generic type에 의해서 dynamic language와 쉽게 통합이 잘 된다.

5. 지원 언어

6. Avro Serialization
Schema Language 가 JSON이다 (모든 언어는 JSON Parser가 존재하기때문)
주어진 언어로 데이터 읽고 쓰기가 구현이 가능하다.

7. Avro Serialization - Primitive Types
Type
null
boolean
int
long
float
double
bytes
string
Desc
no value
a binary value
long
64-bit signed integer
single precision (32-bit) IEEE 754 floating point number
double precision (64-bit) IEEE 754 floating-point number
sequence of 8-bit unsigned bytes
unicode character sequence
{ “type” : “string” } 의 꼴로 표현된다.

8. Avro Serialization - Complex Types
Type
Desc
Recodes
Use the type name “recode”
Enums
Use the type name “enum”
Arrays
Use the type name “array”
Maps
Use the type name “map”
Unions
Unions are represented using JSON arrays.
Unisons my not contain more than one schema with the same type
Fixed
Use the type name “fixed”
진짜로 Complex하다. 맨뒤 레퍼런스 참고.

9. Example - Avro 독립 예제

10. Example - Avro + Flume
Example.conf 파일
avro로
localhost에 포트 33333에서
받을 거에요

11. Example - Avro + Flume
Example.conf 파일
avro로
localhost에 포트 33333에서
받을 거에요
log4j로 기록할 것이고요

12. Example - Avro + Flume
agent 실행 -> 대기
client 실행
잘 받아서 저장했다.

13. Example - Avro + Flume2
Client
Source
Channel
Agent
Avro
Sink
Source
Channel
Sink
Agent
File Rolling

14. Example - Avro + Flume2

15. 속도 - Total
썩 빠른 편은 아니다.

16. 속도 - Size
작다.

17. 참고
Apache Avro : http://avro.apache.org
Slideshare : http://www.slideshare.net/ChicagoHUG/avro-chug-20120416
http://www.slideshare.net/hadoopusergroup/3-avrohug20100721
Types : http://avro.apache.org/docs/current/spec.html#schema_primitive
Avro-RPC-Quickstart : https://github.com/phunt/avro-rpc-quickstart
benchmarking : https://code.google.com/p/thrift-protobuf-compare/wiki/
BenchmarkingV2