Mais conteúdo relacionado
Semelhante a Excel × Google BigQuery CData Driver で BigQuery とのデータ連携を実現 (20)
Mais de CData Software Japan (8)
Excel × Google BigQuery CData Driver で BigQuery とのデータ連携を実現
- 1. © 2019 CData Software Japan, LLC | www.cdata.com/jp
Excel × Google BigQuery
CData Driver で BigQuery とのデータ連携を実現
- 2. © 2019 CData Software Japan, LLC | www.cdata.com/jp
クラウドエース様との協業を開始
- 3. © 2019 CData Software Japan, LLC | www.cdata.com/jp
自己紹介
• CData Software Japan 合同会社
• エンジニア
• 宮本 航太
• @miyamon(Twitter)
• kota.miyamoto.902(Facebook)
- 4. © 2019 CData Software Japan, LLC | www.cdata.com/jp
About CData Software
Bi-directional Access to Live App, Database, & Web API Data Through Standard Drivers
・CData Software, Inc. / Started: 1994 (/nsoftware)
・Location: Chapel Hill, NC a spin-off of /n software
・CData Japan: 2016/6 (JV with Infoteria)
・20年以上にわたりデータ関連コンポーネントを提供
・150+ 対応データソース
・「標準化によりAPI を使いやすく」をミッションに連携ツールを提供
- 5. © 2019 CData Software Japan, LLC | www.cdata.com/jp
CDatα Software = データ連携用のドライバ屋
150+種類のデータソース 標準SQLインタフェース
SELECT * from クラウド が出来る 各種 ドライバ を提供
- 6. © 2019 CData Software Japan, LLC | www.cdata.com/jp
CData ODBC Driver
ODBC 3.8 準拠
クロスプラットフォーム (Windows, MacOS,
Linux)対応
32ビット、64ビット、Unicode をサポート
DSN 設定だけで、各種ツールから利用可能
• BI ツール
• 帳票ツール
• ETL / EAIツール
• アプリビルダー
• Office ツール(Excel / Access / Word など)
- 7. © 2019 CData Software Japan, LLC | www.cdata.com/jp
CData JDBC Drivers
Pure Java タイプ4/5 ドライバー
JDBC 3.0、JDBC 4.0 準拠
JDBC 対応の各種ツールから利用可能
• IDE (Eclipse / IntelliJ / NetBeansなど)
• BI ツール
• 帳票ツール
• ETL / EAIツール
• アプリビルダー
- 8. © 2019 CData Software Japan, LLC | www.cdata.com/jp
CData ADO.NET Data Providers
ADO.NET 準拠のデータプロバイダー
Visual Studio ウィザードに完全統合で、VB や
C# でクラウドデータソース連携アプリを開発
VS のグリッドやチャートへのデータバインド
MVC、EntityFramework6 対応
- 9. © 2019 CData Software Japan, LLC | www.cdata.com/jp
CData Excel Add-Ins
Excel のリボンに統合
Excel テーブルにクラウドデータをバインド
データの読み出し/更新/挿入がGUI で可能
Excel データベースとSaas のマスター同期
Excel をUI としたBigQuery の操作
ユースケース
• 一括入力(一括作成・一括更新)
• 簡易BI
• VBA用モジュール
- 10. © 2019 CData Software Japan, LLC | www.cdata.com/jp
ドライバでAPIをデータベースとして操作
ユーザーはAPIを意識することなく、
データベースを扱う感覚でクラウドデータとの連携を実現
- 11. © 2019 CData Software Japan, LLC | www.cdata.com/jp
CData Sync for BigQuery
Saas、DB、ローカルファイルを ノンコーディングで
BigQuery へ同期
BigQuery
Oracle
SQL Server
MySQL
PosgreSQL
Salesforce
kintone
Marketo
Google
Spreadsheets
Twitter
Google
Analytics
Office 365
Dynamics
365
JSON
XML
CSV
- 12. © 2019 CData Software Japan, LLC | www.cdata.com/jp
CData Sync で 3ステップでBigQuery へ同期
① 同期元の接続設定 ②同期先DB の接続設定 ③オブジェクト選択・起動設定
- 13. © 2019 CData Software Japan, LLC | www.cdata.com/jp
Global Customers
- 14. © 2019 CData Software Japan, LLC | www.cdata.com/jp
CData Software Japan Customers
- 15. © 2019 CData Software Japan, LLC | www.cdata.com/jp
CData Drivers はOEM で活躍
Embedded in the leading BI, ETL, Data Integration, Data Virtualization, and Data Warehousing tools
- 16. © 2019 CData Software Japan, LLC | www.cdata.com/jp
BigQuery へデータを集めるのは・・・
「CData Software Blog」で検索して頂くと、
最近の記事でCData Sync の活用方法をアップしています。
CData Sync というデータレプリケーションツールを使ってBigQueryへ!
BigQuery
- 17. © 2019 CData Software Japan, LLC | www.cdata.com/jp
今回は・・・
CData Driver を使って、 BigQuery のデータを Excel に取り込みます!
BigQuery Excel
- 18. © 2019 CData Software Japan, LLC | www.cdata.com/jp
CData Driver をインストール
- 19. © 2019 CData Software Japan, LLC | www.cdata.com/jp
Excel Add-In for BigQuery のインストール
https://www.cdata.com/jp/drivers/bigquery/excel/
- 20. © 2019 CData Software Japan, LLC | www.cdata.com/jp
Excel Add-In for BigQuery のインストール
- 21. © 2019 CData Software Japan, LLC | www.cdata.com/jp
Excel Add-In for BigQuery の起動および接続設定
BigQuery の
DatasetID、ProjectID をセット
- 22. © 2019 CData Software Japan, LLC | www.cdata.com/jp
BigQuery へのアクセス許可
- 23. © 2019 CData Software Japan, LLC | www.cdata.com/jp
Excel のクエリ入力画面
クエリを直接書いて、自由に
データを取得することが可能
プルダウンでBigQueryのテーブルが一
覧表示される
- 24. © 2019 CData Software Japan, LLC | www.cdata.com/jp
クエリ実行後
BigQuery に格納されているテーブルの中身を取得!
ちなみに、VBA からもアクセスできます!
- 25. © 2019 CData Software Japan, LLC | www.cdata.com/jp
先ほどのスライドにもありましたが、クエリは自由に書くことができます。
テーブル結合、関数、Group By Order Byなどなど
- 26. © 2019 CData Software Japan, LLC | www.cdata.com/jp
例えば、Wikiのサンプルデータのサイズ
• テーブルサイズ:35.7GB
• レコード数:約3億行
- 27. © 2019 CData Software Japan, LLC | www.cdata.com/jp
Excel と約3億行のデータのイメージ
Excel
さすがにこのサイズだと全データは持ってこれないんで、
全データください!
やめときなさい!
- 28. © 2019 CData Software Japan, LLC | www.cdata.com/jp
条件付きで取得すればOK
Excel
というように、標準的なSQLでExcelからBigQueryの
データを取得することができます。
〇〇が△△で、集約してデータを
もってきてください
これならOK!
- 29. © 2019 CData Software Japan, LLC | www.cdata.com/jp
では、実際に BigQuery からデータを持ってきてみます。
- 30. © 2019 CData Software Japan, LLC | www.cdata.com/jp
単純に50件データを取得
Excel
CData Driver
事前に BigQuery にはアメリカで人気の新生児名
(1910年~)のデータを投入済み
SELECT *
FROM `cdataj`.`cdata_excel`.`TopBabyNamesbyState`
limit 50
OK!50件ね!
BigQuery
- 31. © 2019 CData Software Japan, LLC | www.cdata.com/jp
1910年~2012年の名前トップ5を取得
Excel
CData Driver
SELECT TopName, count(*) AS count
FROM `cdataj`.`cdata_excel`.`TopBabyNamesbyState`
group by TopName
order by count(*) desc limit 5
OK!トップ5ね!
BigQuery
count、group by、order by などなど使用
- 32. © 2019 CData Software Japan, LLC | www.cdata.com/jp
セルにクエリを埋め込んでおくことも可能
BigQuery のデータを Excel の申請書などに埋め込むことも!
=CDATAQUERY(“SELECT ・・・",
"GoogleBigQuery.Connection2",,"B4:C5")
- 33. © 2019 CData Software Japan, LLC | www.cdata.com/jp
Excel から BigQuery へデータを追加することも
例えば、いつも Excel で見ているデータの一覧を、
BigQuery にそのまま移行することも可
=CDATAINSERT(B4:F15,"cdataj.cdata_excel.
TopBabyNamesbyState","GoogleBigQuery.Co
nnection2")
- 34. © 2019 CData Software Japan, LLC | www.cdata.com/jp
今度はAccessへ
もちろん Access にも、 BigQuery のデータを取得することだってできます
BigQuery Access
- 35. © 2019 CData Software Japan, LLC | www.cdata.com/jp
BigQuery ODBC Driver のインストール
https://www.cdata.com/jp/drivers/bigquery/odbc/
- 36. © 2019 CData Software Japan, LLC | www.cdata.com/jp
ODBC の設定
Driver インストール後、Excel と同じように、
ProjectId と DatasetId を設定
- 37. © 2019 CData Software Japan, LLC | www.cdata.com/jp
リンクテーブル作成①
- 38. © 2019 CData Software Japan, LLC | www.cdata.com/jp
リンクテーブル作成②
リンクテーブルにしたい BigQuery のテーブルを選択するだけ!
OKボタン押下で完了
- 39. © 2019 CData Software Japan, LLC | www.cdata.com/jp
(BigQueryにある)Account テーブルを表示
インストールから BigQuery のテーブルの中身を参照するまでに5分も掛かりません!
- 40. © 2019 CData Software Japan, LLC | www.cdata.com/jp
今度は BI ツールへ
BI ツール にも、 BigQuery のデータを取り込むことだってできます
BigQuery BI/データ分析
- 41. © 2019 CData Software Japan, LLC | www.cdata.com/jp
Power BI Connectors のインストール
https://www.cdata.com/jp/drivers/bigquery/powerbi/
- 42. © 2019 CData Software Japan, LLC | www.cdata.com/jp
Account テーブルの取得
CData BigQueryのコネクタを選択
取得したいデータをSQLで指定
取得したデータを読み込ませる
【 SQL 】
SELECT * FROM cdataj.demo.Account
where IsDeleted = false LIMIT 100
CData Google BigQuery を選択して Account テーブルを取得します。
- 43. © 2019 CData Software Japan, LLC | www.cdata.com/jp
Power BI でAccount オブジェクトを可視化
各顧客に対する優先度の割合を表示
- 44. © 2019 CData Software Japan, LLC | www.cdata.com/jp
30日間の無償評価版がダウンロード可能!
今回ご紹介した各Driver含め、
Cdata Driver は30日間の無償評価版が
ダウンロード可能です!
- 45. © 2019 CData Software Japan, LLC | www.cdata.com/jp
最後に
別回のミニセッションでご紹介しました、
ノーコードで BigQuery やその他DBにSaaSデータを
連携することができる「CData Sync」について、
CData Software Blog に詳しく掲載しています!
ご興味ある方は、こちらの QRコードからGO!!
★クラウドエース様ブース近辺にいますので、お気軽にお声がけください★
Notas do Editor
- CData software japanといいまして、データ接続コンポーネント、ライブラリを専門に開発している会社です。
で、本社がアメリカにありまして、日本法人としては仙台で2016年から活動しているといったところです。
現在はですね100種類以上のデータソース、 たとえばsalesforceとかgoogleBigquery、twitterなどと多種多様なSaasと標準なSQLで連携ができるようになっております。
- CData は、独立したソリューションではなく、ライブラリです。
ほかの製品に組み合わせて使うソフトウェアです。
このように、グローバル・日本のトップツールベンダーにクラウド連携機能のOEM として使われています。
もうクラウド連携は自社でカバーできるものではないのです。