구글의 머신러닝 비전: TPU부터 모바일까지 (Google I/O Extended Seoul 2017) 이 발표에서는 구글의 머신러닝 분야에 대한 접근 분야, 방법 및 목표를 구글 I/O 2017의 세션 발표들을 통해 알아봅니다. From TPU to Mobile: Google's Machine Learning Vision In this presentation, I will cover about the approaches, methods and goals of Google's machine learning area through the sessions of Google I/O 2017.

1. 신정규
Lablup Inc.
20170702 Google I/O Extended Seoul
구글의 머신러닝 비전:
TPU부터 모바일까지

3. 세션 레퍼런스: Google I/O Keynote
구글의 머신러닝

4. 세션 레퍼런스: Google I/O Keynote
음성 인식
단어 인식 오류율
2016년 7월 2016년 10월 2016년 12월 현재

5. 세션 레퍼런스: Google I/O Keynote

6. 세션 레퍼런스: Google I/O Keynote

7. 세션 레퍼런스: Google I/O Keynote

8. 세션 레퍼런스: Google I/O Keynote

9. 머신러닝 관련 요약
▪기반 (infrastructure) / 소프트웨어
▪TensorFlow
▪ TensorFlow 1.2 → 1.3
▪TPU
▪ 2nd Generation TPU
▪ CloudTPU
▪Android O
▪ TensorFlow Lite
▪서비스 / 제품
▪Image-based breakthrough
▪ Google Photo
▪ Google Lens
▪ Visual positioning service
▪Android Things
▪ Google Home
▪ Google IoT
▪TensorFlow + Everyone
▪ Google for Jobs
▪Firebase + TensorFlow

10. 머신러닝 관련 요약

11. 기반 / 소프트웨어
하드웨어부터 소프트웨어까지

12. 세션 레퍼런스: Effective TensorFlow for Non-Experts

13. 머신러닝 관련 요약
▪기반 (infrastructure) / 소프트웨어
▪TensorFlow
▪ TensorFlow 1.2 → 1.3
▪TPU
▪ 2nd Generation TPU
▪ CloudTPU
▪Android O
▪ TensorFlow Lite
▪서비스 / 제품
▪Image-based breakthrough
▪ Google Photo
▪ Google Lens
▪ Visual positioning service
▪Android Things
▪ Google Home
▪ Google IoT
▪TensorFlow + Everyone
▪ Google for Jobs
▪Firebase + TensorFlow

14. TensorFlow 요약
▪통계
▪2015년 12월 이후 17500 이상의
커밋수
▪475명 이상의 구글 외부 기여자
(v1.0 기준)
▪상당한 양의 외부 커밋
▪6400개 이상의 TensorFlow 관련
저장소
▪현재
▪완전한 ML 모델 프로토타이핑
▪분산 훈련 지원
▪CPU/GPU/TPU/모바일 환경 지원
세션 레퍼런스: Effective TensorFlow for Non-Experts

15. TensorFlow 요약
▪Keras API support
▪추상화를 통한 고급 프로그래밍 API 도입
▪TensorFlow Serving
▪텐서플로 모델 추론 서비스를 쉽게 해 주는 도구
▪XLA compiler
▪다양한 환경 지원 및 속도 향상을 위한 개선

16. 세션 레퍼런스: Effective TensorFlow for Non-Experts

17. 세션 레퍼런스: Effective TensorFlow for Non-Experts

18. TensorFlow Serving
▪C++ 라이브러리
▪TensorFlow 모델 저장 / 내보내기 포맷: protocol buffer
▪일반 코어 플랫폼
▪바이너리
▪바로 쓸 수 있는 예제 포함
▪Docker 컨테이너, K8s 예제
▪호스팅 서비스
세션 레퍼런스: From Research to Production

19. 세션 레퍼런스: From Research to Production

20. 세션 레퍼런스: TensorFlow Frontiers

21. 머신러닝 관련 요약
▪기반 (infrastructure) / 소프트웨어
▪TensorFlow
▪ TensorFlow 1.2 → 1.3
▪TPU
▪ 2nd Generation TPU
▪ CloudTPU
▪Android O
▪ TensorFlow Lite
▪서비스 / 제품
▪Image-based breakthrough
▪ Google Photo
▪ Google Lens
▪ Visual positioning service
▪Android Things
▪ Google Home
▪ Google IoT
▪TensorFlow + Everyone
▪ Google for Jobs
▪Firebase + TensorFlow

22. TPU: Tensor Processing Unit
▪2세대 TPU 공개
▪1세대 TPU
▪ 일반 CPU&GPU 보다 15~30배 빠름
▪ 30~80배의 전성비
▪ 추론 과정에 특화 (훈련에 쓰지 않음)
▪2세대 TPU
▪ 180테라플롭스의 FP 성능
▪ 64GB의 엄청 높은 대역폭의 메모리
▪ 훈련 및 추론 모두를 위해 디자인
▪ 상호 연결이 가능하도록 설계
세션 레퍼런스: TensorFlow Frontiers

23. 세션 레퍼런스: TensorFlow Frontiers

24. 세션 레퍼런스: TensorFlow Frontiers

25. 세션 레퍼런스: TensorFlow Frontiers

26. TensorFlow 연구 클라우드
공개 머신러닝 연구의 가속을 위해 제공
세션 레퍼런스: TensorFlow Frontiers

27. 머신러닝 관련 요약
▪기반 (infrastructure) / 소프트웨어
▪TensorFlow
▪ TensorFlow 1.2 → 1.3
▪TPU
▪ 2nd Generation TPU
▪ CloudTPU
▪Android O
▪ TensorFlow Lite
▪서비스 / 제품
▪Image-based breakthrough
▪ Google Photo
▪ Google Lens
▪ Visual positioning service
▪Android Things
▪ Google Home
▪ Google IoT
▪TensorFlow + Everyone
▪ Google for Jobs
▪Firebase + TensorFlow

28. Android O와 TensorFlow
▪TensorFlow 모바일 보급 활성화 방안
▪TensorFlow Lite 내장
▪ 별도의 환경 설치를 앱마다 할 필요가 없음
▪ 운영체제 차원의 하드웨어 가속 지원
▪XLA 기반의 최적화 제공
▪ 다양한 프로그래밍 언어에 바인딩 가능
세션 레퍼런스: Android meets TensorFlow

29. 세션 레퍼런스: Android meets TensorFlow
최근 번역 향상
번역 모델
번역품질

30. ML+모바일
적용예
이미지 / 글씨 인식
음성 - 텍스트 변환
번역
자연어 처리
동작 인식
GPS
및 기타 등등
세션 레퍼런스: Android meets TensorFlow

31. 세션 레퍼런스: Android meets TensorFlow
더 적은 트래픽 & 빠른 응답
머신러닝을 이용해 원시데이터에서 의미
를 추출할 수 있음
예. 이미지 인식
원시 이미지를 전송
발견한 레이블 전송
예. 동작 인식
원시 동작 벡터 전송
특징 벡터 전송

32. 휴대성 및 확장성
▪훈련 환경
▪Mac/ Windows
▪GPU 서버
▪클라우드 상의 GPU / TPU
▪예측
▪안드로이드 / iOS
▪라즈베리파이와 TPU
세션 레퍼런스: Android meets TensorFlow

33. 큰 뉴럴넷
세션 레퍼런스: Android meets TensorFlow

34. 모델 압축
▪그래프 프리징
▪그래프 변환 도구
▪가중치 양자화
▪계산 양자화
▪메모리 매핑
세션 레퍼런스: Android meets TensorFlow

35. 양자화
세션 레퍼런스: Android meets TensorFlow

36. TensorFlow에서의 양자화
세션 레퍼런스: Android meets TensorFlow

37. 신경망 압축
세션 레퍼런스: Android meets TensorFlow
압축한 Inception v3 모델 = 23MB
TensorFlow 바이너리 = 1.5MB

38. 안드로이드 Neural Network API
▪뉴럴넷을 위한 새 API 추가
▪Android Framework에 포함
▪하드웨어 가속기 추상화
▪GPU, DSP, ISP 및 기타
세션 레퍼런스: Android meets TensorFlow

39. TensorFlow Lite
▪새 TensorFlow 런타임
▪모바일 및 임베디드 환경에 최적화
▪기기에서 TensorFlow 모델 실행
▪안드로이드 NN API 레버리지
▪오픈소스화 (예정)
세션 레퍼런스: Android meets TensorFlow

40. XLA: TensorFlow의 선형대수 컴파일러
세션 레퍼런스: TensorFlow Frontiers
TF 그래프 입력
최적화 및 특성화된
어셈블리가 나옴

41. 서비스 / 제품
: 올해 사용자는 실제로 무엇을 만나게 되나?

42. 머신러닝 관련 요약
▪기반 (infrastructure) / 소프트웨어
▪TensorFlow
▪ TensorFlow 1.2 → 1.3
▪TPU
▪ 2nd Generation TPU
▪ CloudTPU
▪Android O
▪ TensorFlow Lite
▪서비스 / 제품
▪Image-based breakthrough
▪ Google Photo
▪ Google Lens
▪ Visual positioning service
▪Android Things
▪ Google Home
▪ Google IoT
▪TensorFlow + Everyone
▪ Google for Jobs
▪Firebase + TensorFlow

43. 머신러닝 관련 요약
▪기반 (infrastructure) / 소프트웨어
▪TensorFlow
▪ TensorFlow 1.2 → 1.3
▪TPU
▪ 2nd Generation TPU
▪ CloudTPU
▪Android O
▪ TensorFlow Lite
▪서비스 / 제품
▪Image-based breakthrough
▪ Google Photo
▪ Google Lens
▪ Visual positioning service
▪Android Things
▪ Google Home
▪ Google IoT
▪TensorFlow + Everyone
▪ Google for Jobs
▪Firebase + TensorFlow

44. Google Lens
▪센서 기반의 위치 정보 서비스
▪이미지+지역 정보+추천 검색
▪실시간으로 현재 위치의 정보 파악
▪이미지 기반의 POV 정보 추적
▪추천기능
세션 레퍼런스: Google I/O Keynote

45. 세션 레퍼런스: Google I/O Keynote

46. 세션 레퍼런스: Google I/O Keynote

47. 머신러닝 관련 요약
▪기반 (infrastructure) / 소프트웨어
▪TensorFlow
▪ TensorFlow 1.2 → 1.3
▪TPU
▪ 2nd Generation TPU
▪ CloudTPU
▪Android O
▪ TensorFlow Lite
▪서비스 / 제품
▪Image-based breakthrough
▪ Google Photo
▪ Google Lens
▪ Visual positioning service
▪Android Things
▪ Google Home
▪ Google IoT
▪TensorFlow + Everyone
▪ Google for Jobs
▪Firebase + TensorFlow

48. Google Home
▪다중 사용자 구분 (신경망 기반의 빔포밍 / 유저 인식 기술)
▪더 많은 도구 및 기기들과의 통합 지원
▪중요한 점
▪Google Home은 구글이 보여준 하나의 예에 해당된다
▪실질적으로 중요한 전략 목표는 Google Assistant API 를 통한 디지털 어시스
턴트의 대중화에 방점을 찍고 있음

49. 세션 레퍼런스: Using Google Cloud and TensorFlow on Android Things
사용자가 원하는
모든 컨텐트나 서비스들
구글 어시스턴트가
제공
사용자가 필요한
모든 장소

50. Android Things
▪임베디드 및 저스펙 환경을 위한
안드로이드 배포판
▪HW 프로토타이핑 업체 제휴
▪Adafruit
▪Pimoroni
▪Sparkfun Project Kit
▪개발킷, BSP 등 제공
▪Intel® Edison
▪Intel® Joule
▪NXP Pico i.MX7D
▪NXP Pico i.MX6UL
▪NXP Argon i.MX6UL
▪Raspberry Pi 3

51. 세션 레퍼런스: Using Google Cloud and TensorFlow on Android Things

52. Google Assistant API
▪Hotword 라이브러리
▪Hotword
▪타이머
▪알람
▪하드웨어
▪라즈베리파이 3B
▪하나 또는 두개의 마이크
▪스피커
▪인터넷 연결
▪gRPC API
▪클라이언트/서버 API RPC 콜
▪ TCP/IP가 되면 지원
▪최소화된 계산
▪최소화된 전력 소모
▪거의 모든 플랫폼에서 실행됨
▪ TCP/IP가 되면 지원
▪오픈소스 샘플 코드 제공
▪ 플랫폼: Linux, macOS, Windows, Android, iOS
▪ 언어: C/C++/C#, Go, Python, Node.js, PHP,
Ruby

53. 기기에 어시스턴트 추가
세션 레퍼런스: Using Google Cloud and TensorFlow on Android Things

54. AIY Voice Kit
▪자연어 인식기
▪Google Assistant SDK 사용
▪스피커, 버튼, 마이크, 카드보드 박스
▪라즈베리파이 3
세션 레퍼런스: Using Google Cloud and TensorFlow on Android Things

55. Google Assistant SDK
▪런칭된 기능
세션 레퍼런스: Using Google Cloud and TensorFlow on Android Things

56. Google Assistant SDK
▪공개 예정 기능
▪개선된 음성 기반 컨트롤
세션 레퍼런스: Using Google Cloud and TensorFlow on Android Things

57. 세션 레퍼런스: Using Google Cloud and TensorFlow on Android Things
호출 실행 경로

58. 요약
▪기반 및 소프트웨어
▪소프트웨어: TensorFlow를 중심으로 모바일부터 거대 연산 클러스터까지 다양한 스케일
의 머신러닝 보급 및 헤게모니 장악 준비
▪하드웨어 및 클라우드: TPU를 이용하여 가성비 및 스케일링에 집중
▪서비스 / 제품
▪구글 번역, 구글 포토: 머신러닝을 통한 기존 서비스 및 제품의 정확도 향상
▪Google Lens: 머신러닝이 가장 강력한 힘을 발휘하는 이미지 영역의 응용 서비스
▪DIY 키트 및 Android Things Assistant API를 내세운 디지털 어시스턴트 전략
▪ 제 2의 카드보드

59. 잡담
▪2017년 기업들의 벡터
▪목표와 위치

60. 끝! :)
@inureyes
fb/jeongkyu.shin
inureyes@gmail.com