Enviar pesquisa
Carregar
110828 tokyo scipy1_hido_dist
•
4 gostaram
•
1,218 visualizações
Shohei Hido
Seguir
Denunciar
Compartilhar
Denunciar
Compartilhar
1 de 22
Recomendados
111015 tokyo scipy2_ディスカッション
111015 tokyo scipy2_ディスカッション
Shohei Hido
NumPy闇入門
NumPy闇入門
Ryosuke Okuta
Chainer入門と最近の機能
Chainer入門と最近の機能
Yuya Unno
リテラル文字列型までの道
リテラル文字列型までの道
Satoshi Sato
My code
My code
俊 中村
数式をnumpyに落としこむコツ
数式をnumpyに落としこむコツ
Shuyo Nakatani
明日使える超高速Ruby - RXbyak (Mitaka.rb #5)
明日使える超高速Ruby - RXbyak (Mitaka.rb #5)
Shuyo Nakatani
Constexprとtemplateでコンパイル時にfizz buzz
Constexprとtemplateでコンパイル時にfizz buzz
京大 マイコンクラブ
Recomendados
111015 tokyo scipy2_ディスカッション
111015 tokyo scipy2_ディスカッション
Shohei Hido
NumPy闇入門
NumPy闇入門
Ryosuke Okuta
Chainer入門と最近の機能
Chainer入門と最近の機能
Yuya Unno
リテラル文字列型までの道
リテラル文字列型までの道
Satoshi Sato
My code
My code
俊 中村
数式をnumpyに落としこむコツ
数式をnumpyに落としこむコツ
Shuyo Nakatani
明日使える超高速Ruby - RXbyak (Mitaka.rb #5)
明日使える超高速Ruby - RXbyak (Mitaka.rb #5)
Shuyo Nakatani
Constexprとtemplateでコンパイル時にfizz buzz
Constexprとtemplateでコンパイル時にfizz buzz
京大 マイコンクラブ
Introduction to NumPy & SciPy
Introduction to NumPy & SciPy
Shiqiao Du
CuPy解説
CuPy解説
Ryosuke Okuta
Pythonによる画像処理について
Pythonによる画像処理について
Yasutomo Kawanishi
LT@Chainer Meetup
LT@Chainer Meetup
Shunta Saito
GPU上でのNLP向け深層学習の実装について
GPU上でのNLP向け深層学習の実装について
Yuya Unno
HTML5 Conference LT TensorFlow
HTML5 Conference LT TensorFlow
isaac-otao
Deep learning実装の基礎と実践
Deep learning実装の基礎と実践
Seiya Tokui
文法圧縮入門:超高速テキスト処理のためのデータ圧縮(NLP2014チュートリアル)
文法圧縮入門:超高速テキスト処理のためのデータ圧縮(NLP2014チュートリアル)
Shirou Maruyama
High performance python computing for data science
High performance python computing for data science
Takami Sato
Chainerの使い方と自然言語処理への応用
Chainerの使い方と自然言語処理への応用
Yuya Unno
Chainer Meetup LT (Alpaca)
Chainer Meetup LT (Alpaca)
Jun-ya Norimatsu
Kerasで深層学習を実践する
Kerasで深層学習を実践する
Kazuaki Tanida
[FUNAI輪講] BERT
[FUNAI輪講] BERT
Takanori Ebihara
NumPyが物足りない人へのCython入門
NumPyが物足りない人へのCython入門
Shiqiao Du
Tokyo.R #19 発表資料 「Rで色々やってみました」
Tokyo.R #19 発表資料 「Rで色々やってみました」
Masayuki Isobe
みんなが知らない pytorch-pfn-extras
みんなが知らない pytorch-pfn-extras
Takuji Tahara
Python for Data Anaysis第2回勉強会4,5章
Python for Data Anaysis第2回勉強会4,5章
Makoto Kawano
2013.07.15 はじパタlt scikit-learnで始める機械学習
2013.07.15 はじパタlt scikit-learnで始める機械学習
Motoya Wakiyama
画像処理でのPythonの利用
画像処理でのPythonの利用
Yasutomo Kawanishi
Chainer meetup20151014
Chainer meetup20151014
Jiro Nishitoba
Scalaプログラミング・マニアックス
Scalaプログラミング・マニアックス
Tomoharu ASAMI
オブジェクト指向開発におけるObject-Functional Programming
オブジェクト指向開発におけるObject-Functional Programming
Tomoharu ASAMI
Mais conteúdo relacionado
Mais procurados
Introduction to NumPy & SciPy
Introduction to NumPy & SciPy
Shiqiao Du
CuPy解説
CuPy解説
Ryosuke Okuta
Pythonによる画像処理について
Pythonによる画像処理について
Yasutomo Kawanishi
LT@Chainer Meetup
LT@Chainer Meetup
Shunta Saito
GPU上でのNLP向け深層学習の実装について
GPU上でのNLP向け深層学習の実装について
Yuya Unno
HTML5 Conference LT TensorFlow
HTML5 Conference LT TensorFlow
isaac-otao
Deep learning実装の基礎と実践
Deep learning実装の基礎と実践
Seiya Tokui
文法圧縮入門:超高速テキスト処理のためのデータ圧縮(NLP2014チュートリアル)
文法圧縮入門:超高速テキスト処理のためのデータ圧縮(NLP2014チュートリアル)
Shirou Maruyama
High performance python computing for data science
High performance python computing for data science
Takami Sato
Chainerの使い方と自然言語処理への応用
Chainerの使い方と自然言語処理への応用
Yuya Unno
Chainer Meetup LT (Alpaca)
Chainer Meetup LT (Alpaca)
Jun-ya Norimatsu
Kerasで深層学習を実践する
Kerasで深層学習を実践する
Kazuaki Tanida
[FUNAI輪講] BERT
[FUNAI輪講] BERT
Takanori Ebihara
NumPyが物足りない人へのCython入門
NumPyが物足りない人へのCython入門
Shiqiao Du
Tokyo.R #19 発表資料 「Rで色々やってみました」
Tokyo.R #19 発表資料 「Rで色々やってみました」
Masayuki Isobe
みんなが知らない pytorch-pfn-extras
みんなが知らない pytorch-pfn-extras
Takuji Tahara
Python for Data Anaysis第2回勉強会4,5章
Python for Data Anaysis第2回勉強会4,5章
Makoto Kawano
2013.07.15 はじパタlt scikit-learnで始める機械学習
2013.07.15 はじパタlt scikit-learnで始める機械学習
Motoya Wakiyama
画像処理でのPythonの利用
画像処理でのPythonの利用
Yasutomo Kawanishi
Chainer meetup20151014
Chainer meetup20151014
Jiro Nishitoba
Mais procurados
(20)
Introduction to NumPy & SciPy
Introduction to NumPy & SciPy
CuPy解説
CuPy解説
Pythonによる画像処理について
Pythonによる画像処理について
LT@Chainer Meetup
LT@Chainer Meetup
GPU上でのNLP向け深層学習の実装について
GPU上でのNLP向け深層学習の実装について
HTML5 Conference LT TensorFlow
HTML5 Conference LT TensorFlow
Deep learning実装の基礎と実践
Deep learning実装の基礎と実践
文法圧縮入門:超高速テキスト処理のためのデータ圧縮(NLP2014チュートリアル)
文法圧縮入門:超高速テキスト処理のためのデータ圧縮(NLP2014チュートリアル)
High performance python computing for data science
High performance python computing for data science
Chainerの使い方と自然言語処理への応用
Chainerの使い方と自然言語処理への応用
Chainer Meetup LT (Alpaca)
Chainer Meetup LT (Alpaca)
Kerasで深層学習を実践する
Kerasで深層学習を実践する
[FUNAI輪講] BERT
[FUNAI輪講] BERT
NumPyが物足りない人へのCython入門
NumPyが物足りない人へのCython入門
Tokyo.R #19 発表資料 「Rで色々やってみました」
Tokyo.R #19 発表資料 「Rで色々やってみました」
みんなが知らない pytorch-pfn-extras
みんなが知らない pytorch-pfn-extras
Python for Data Anaysis第2回勉強会4,5章
Python for Data Anaysis第2回勉強会4,5章
2013.07.15 はじパタlt scikit-learnで始める機械学習
2013.07.15 はじパタlt scikit-learnで始める機械学習
画像処理でのPythonの利用
画像処理でのPythonの利用
Chainer meetup20151014
Chainer meetup20151014
Semelhante a 110828 tokyo scipy1_hido_dist
Scalaプログラミング・マニアックス
Scalaプログラミング・マニアックス
Tomoharu ASAMI
オブジェクト指向開発におけるObject-Functional Programming
オブジェクト指向開発におけるObject-Functional Programming
Tomoharu ASAMI
Scheme Interpreter in Ruby
Scheme Interpreter in Ruby
Masato HORINOUCHI
Introduction to Chainer and CuPy
Introduction to Chainer and CuPy
Kenta Oono
How wonderful to be (statically) typed 〜型が付くってスバラシイ〜
How wonderful to be (statically) typed 〜型が付くってスバラシイ〜
Hiromi Ishii
PythonでLispを実装した (evalつき)
PythonでLispを実装した (evalつき)
t-sin
Ruby Extended Library
Ruby Extended Library
Akio Tajima
ガイオプライベートセミナー2012秋(坂本)
ガイオプライベートセミナー2012秋(坂本)
Kazunori Sakamoto
PFI Christmas seminar 2009
PFI Christmas seminar 2009
Preferred Networks
関数型言語&形式的手法セミナー(3)
関数型言語&形式的手法セミナー(3)
啓 小笠原
Reco choku tech night #09 -reinvent2018報告会-
Reco choku tech night #09 -reinvent2018報告会-
recotech
中3女子が狂える本当に気持ちのいい constexpr
中3女子が狂える本当に気持ちのいい constexpr
Genya Murakami
Object-Functional Analysis and Design and Programming温泉
Object-Functional Analysis and Design and Programming温泉
Tomoharu ASAMI
2014 11-20 Machine Learning with Apache Spark 勉強会資料
2014 11-20 Machine Learning with Apache Spark 勉強会資料
Recruit Technologies
Introduction of "the alternate features search" using R
Introduction of "the alternate features search" using R
Satoshi Kato
より深く知るオプティマイザとそのチューニング
より深く知るオプティマイザとそのチューニング
Yuto Hayamizu
Or seminar2011final
Or seminar2011final
Mikio Kubo
あなたのScalaを爆速にする7つの方法(日本語版)
あなたのScalaを爆速にする7つの方法(日本語版)
x1 ichi
0730 bp study#35発表資料
0730 bp study#35発表資料
Yasuhiro Horiuchi
Data management of cosmos db using apache gremlin
Data management of cosmos db using apache gremlin
Takao Tetsuro
Semelhante a 110828 tokyo scipy1_hido_dist
(20)
Scalaプログラミング・マニアックス
Scalaプログラミング・マニアックス
オブジェクト指向開発におけるObject-Functional Programming
オブジェクト指向開発におけるObject-Functional Programming
Scheme Interpreter in Ruby
Scheme Interpreter in Ruby
Introduction to Chainer and CuPy
Introduction to Chainer and CuPy
How wonderful to be (statically) typed 〜型が付くってスバラシイ〜
How wonderful to be (statically) typed 〜型が付くってスバラシイ〜
PythonでLispを実装した (evalつき)
PythonでLispを実装した (evalつき)
Ruby Extended Library
Ruby Extended Library
ガイオプライベートセミナー2012秋(坂本)
ガイオプライベートセミナー2012秋(坂本)
PFI Christmas seminar 2009
PFI Christmas seminar 2009
関数型言語&形式的手法セミナー(3)
関数型言語&形式的手法セミナー(3)
Reco choku tech night #09 -reinvent2018報告会-
Reco choku tech night #09 -reinvent2018報告会-
中3女子が狂える本当に気持ちのいい constexpr
中3女子が狂える本当に気持ちのいい constexpr
Object-Functional Analysis and Design and Programming温泉
Object-Functional Analysis and Design and Programming温泉
2014 11-20 Machine Learning with Apache Spark 勉強会資料
2014 11-20 Machine Learning with Apache Spark 勉強会資料
Introduction of "the alternate features search" using R
Introduction of "the alternate features search" using R
より深く知るオプティマイザとそのチューニング
より深く知るオプティマイザとそのチューニング
Or seminar2011final
Or seminar2011final
あなたのScalaを爆速にする7つの方法(日本語版)
あなたのScalaを爆速にする7つの方法(日本語版)
0730 bp study#35発表資料
0730 bp study#35発表資料
Data management of cosmos db using apache gremlin
Data management of cosmos db using apache gremlin
Mais de Shohei Hido
CuPy: A NumPy-compatible Library for GPU
CuPy: A NumPy-compatible Library for GPU
Shohei Hido
Deep Learning Lab 異常検知入門
Deep Learning Lab 異常検知入門
Shohei Hido
NIPS2017概要
NIPS2017概要
Shohei Hido
ディープラーニングの産業応用とそれを支える技術
ディープラーニングの産業応用とそれを支える技術
Shohei Hido
機械学習モデルフォーマットの話:さようならPMML、こんにちはPFA
機械学習モデルフォーマットの話:さようならPMML、こんにちはPFA
Shohei Hido
Software for Edge Heavy Computing @ INTEROP 2016 Tokyo
Software for Edge Heavy Computing @ INTEROP 2016 Tokyo
Shohei Hido
Chainer GTC 2016
Chainer GTC 2016
Shohei Hido
How AI revolutionizes robotics and automotive industries
How AI revolutionizes robotics and automotive industries
Shohei Hido
NIPS2015概要資料
NIPS2015概要資料
Shohei Hido
プロダクトマネージャのお仕事
プロダクトマネージャのお仕事
Shohei Hido
あなたの業務に機械学習を活用する5つのポイント
あなたの業務に機械学習を活用する5つのポイント
Shohei Hido
PFIセミナー "「失敗の本質」を読む"発表資料
PFIセミナー "「失敗の本質」を読む"発表資料
Shohei Hido
NIPS2013読み会: More Effective Distributed ML via a Stale Synchronous Parallel P...
NIPS2013読み会: More Effective Distributed ML via a Stale Synchronous Parallel P...
Shohei Hido
機械学習CROSS 後半資料
機械学習CROSS 後半資料
Shohei Hido
機械学習CROSS 前半資料
機械学習CROSS 前半資料
Shohei Hido
Jubatus Casual Talks #2 異常検知入門
Jubatus Casual Talks #2 異常検知入門
Shohei Hido
Jubatusが目指すインテリジェンス基盤
Jubatusが目指すインテリジェンス基盤
Shohei Hido
今年のKDDベストペーパーを実装・公開しました
今年のKDDベストペーパーを実装・公開しました
Shohei Hido
さらば!データサイエンティスト
さらば!データサイエンティスト
Shohei Hido
ICML2013読み会 開会宣言
ICML2013読み会 開会宣言
Shohei Hido
Mais de Shohei Hido
(20)
CuPy: A NumPy-compatible Library for GPU
CuPy: A NumPy-compatible Library for GPU
Deep Learning Lab 異常検知入門
Deep Learning Lab 異常検知入門
NIPS2017概要
NIPS2017概要
ディープラーニングの産業応用とそれを支える技術
ディープラーニングの産業応用とそれを支える技術
機械学習モデルフォーマットの話:さようならPMML、こんにちはPFA
機械学習モデルフォーマットの話:さようならPMML、こんにちはPFA
Software for Edge Heavy Computing @ INTEROP 2016 Tokyo
Software for Edge Heavy Computing @ INTEROP 2016 Tokyo
Chainer GTC 2016
Chainer GTC 2016
How AI revolutionizes robotics and automotive industries
How AI revolutionizes robotics and automotive industries
NIPS2015概要資料
NIPS2015概要資料
プロダクトマネージャのお仕事
プロダクトマネージャのお仕事
あなたの業務に機械学習を活用する5つのポイント
あなたの業務に機械学習を活用する5つのポイント
PFIセミナー "「失敗の本質」を読む"発表資料
PFIセミナー "「失敗の本質」を読む"発表資料
NIPS2013読み会: More Effective Distributed ML via a Stale Synchronous Parallel P...
NIPS2013読み会: More Effective Distributed ML via a Stale Synchronous Parallel P...
機械学習CROSS 後半資料
機械学習CROSS 後半資料
機械学習CROSS 前半資料
機械学習CROSS 前半資料
Jubatus Casual Talks #2 異常検知入門
Jubatus Casual Talks #2 異常検知入門
Jubatusが目指すインテリジェンス基盤
Jubatusが目指すインテリジェンス基盤
今年のKDDベストペーパーを実装・公開しました
今年のKDDベストペーパーを実装・公開しました
さらば!データサイエンティスト
さらば!データサイエンティスト
ICML2013読み会 開会宣言
ICML2013読み会 開会宣言
110828 tokyo scipy1_hido_dist
1.
NumPyと
RとMATL 比較に 関 A B ®の する一考 察 比戸将平 Tokyo.S (@sla) ciPy#1 2 011.08.2 8
2.
自己紹介 • 比戸将平(HIDO Shohei) •
TwitterID: @sla • 所属:IBM東京基礎研究所(6年目) • 専門:データマイニング、機械学習 • 使用言語:Java、 R、 MATLAB®、Python • マイブーム:NumPy+SciPy – 4年前:「Rすげぇ!」 – 3年前:「Rちょっとうぜぇ!」 – 2年前:「MATLAB様!」 – 1年前:「おいMATLAB!」 – 今年:「冷やしNumPy始めました」
3.
本発表の目的 • 「私にとっての」NumPyの有用性を検証したい • 比較対象
–R – MATLAB® • そのために「個人的・主観的」評価 – 定性的な評価:全てを試した立場から比較検討 – 定量的な評価:同等の実験で性能比較 注:一般的な優劣を付けるわけではない
4.
本発表の結論
適材適所 • 大きく見れば同じような機能・性能・環境 • パフォーマンスー習得コスト-実装コスト • 決定打となる要素は何か?
5.
R • 統計言語Sのオープンソース実装 • OSSライセンス:GNU
GPL • 多数の公開ライブラリ群(CRAN) – 統計、バイオ、機械学習、DM、信号処理 abs <- function( value ) { if (value < 0) { abs_value <- -value } else { abs_value <- value } return(abs_value) } 絶対値を める関数 例:絶対値を求める関数
6.
MATLAB® • MathWorks社の製品 • 独自の言語 •
多数のToolBox製品(アドオン) – Statistics, Optimization, Signal Processing,… • 配布に関して:MATLAB Compilerがあれば – MATLAB Common Runtime+バイナリ配布可 function [ abs_value ] = abs( value ) if (value < 0 ) abs_value = - value; else abs_value = value; end end 絶対値を める関数 例:絶対値を求める関数
7.
NumPy (Numerical Python) •
Python用の数値計算ライブラリ • 科学計算フレームワークSciPyの基盤 • OSSライセンス:BSD&MIT def abs(value): if value < 0: abs_value = -value else: abs_value = value return(abs_value) 例:絶対値を求める関数 絶対値を める関数
8.
定性評 価
9.
定性比較項目 • 使う:公開ツールや利用環境の充実度 • 作る&配る:自前開発環境と公開の容易さ
10.
使う NumPy
R MATLAB • 無償 • 無償 • 有償製品 • Python各種ツール • 豊富なライブラリ • Toolbox別売 •matplotlib • CRANで一括管理 • ユーザーコミュニティ •Cython •f2python •IronPython •PyPy •PyUnit •PyLint • 内部パッケージが複雑 • 機能の重複がいろいろ
11.
作る&配る
NumPy R MATLAB • Eclipse+PyDev • R GUI • MATLAB製品 • R+StatET • BSD • RStudio • MATLAB Compiler • MATLAB Common ・ ツール群はGPL Runtimeのインストール
12.
定量評 価
13.
定量評価の既存例 • http://scipy.org/PerformancePython
– ラプラス方程式でNumPy=MATLAB – NumPy+Fortlan/C++でPure C++に近づける • http://www.sciviews.org/benchmark/ – いろんな統計計算・数値計算のスコアを平均してR=MATLAB – 専門ツールはさらに早いが拡張性が無い • http://mlg.eng.cam.ac.uk/dave/rmbenchmark.php – 2倍くらい速い NumPy vs. R vs. MATLABはあまり無い
14.
今回の定量評価対象 • 行列演算:機械学習等で非常に重要 –
逆行列 – 固有値分解 – 特異値分解 • 比較軸 – 行列size:{100, 200, 400, 800} – 行列density:{0.001, 0.01, 0.1} • スパース行列に対する計算 • ただしスパース行列のデータ構造は未使用
15.
実験環境 • 実験マシン:Lenovo Thinkpad
X201 – CPU i5 M560 2.67GHz, メインメモリ3GB • R:Ver 2.13.0 • MATLAB:Ver7.12(R2011a) Win32bit版 • NumPy:Ver1.6.1(Python2.6ベース) – SciPy:Ver0.9.0
16.
逆行列(density=1.0) 100 10
NumPy 1 R 100 200 400 800 MATLAB 0.1 0.01
17.
固有値分解(density=0.1) 1000 100
10 NumPy R 1 MATLAB 100 200 400 800 0.1 0.01
18.
特異値分解(density=0.01) 100 10
NumPy 1 R 100 200 400 800 MATLAB 0.1 0.01
19.
逆行列(size=800) 100
NumPy 10 R MATLAB 1 0 0.01 0.1 1
20.
固有値分解(size=800) 1000 100
NumPy R MATLAB 10 1 0 0.01 0.1 1
21.
R+sparse+SVD? • Rのスパース行列パッケージ –
Matrix – SparseM – 両方ともSVDを持たない • 解決方法 – 直にSVDLIBCを呼び出す – 反復解法を実装する
22.
まとめ • 定性評価 –
NumPyはPython関連ツールが強み – Rのライブラリ充実度は使う分には大きな強み – MATLABはMCRを使えるならば有用 • 定量評価 – MATLABはそのままで最適化されている – NumPyとRはどっこいどっこい – 行列の密度でかなり性能が変わる • スパース行列は使っていないにも関わらず