Enviar pesquisa
Carregar
5社のGTFSをマージして、PostgreSQLにインポートしてみた
•
0 gostou
•
3,321 visualizações
Masaki Ito
Seguir
2021年3月6日開催「公共交通オープンデータ最前線 in インターナショナルオープンデータデイ2021」における松田和也氏(RACDA)の発表資料です。
Leia menos
Leia mais
Tecnologia
Denunciar
Compartilhar
Denunciar
Compartilhar
1 de 13
Baixar agora
Baixar para ler offline
Recomendados
公共交通データを可視化するQGIS演習
公共交通データを可視化するQGIS演習
Masaki Ito
オープンデータをLOD化するデータソン in 高槻
オープンデータをLOD化するデータソン in 高槻
Kouji Kozaki
GTFSオープンデータで公共交通をアップデート
GTFSオープンデータで公共交通をアップデート
Masaki Ito
防災とGis
防災とGis
Yukiya Iwasaki
rstanで簡単にGLMMができるglmmstan()を作ってみた
rstanで簡単にGLMMができるglmmstan()を作ってみた
Hiroshi Shimizu
幾何と機械学習: A Short Intro
幾何と機械学習: A Short Intro
Ichigaku Takigawa
QGIS2.18_デジタイズ編
QGIS2.18_デジタイズ編
Jyun Tanaka
QGIS はじめてのラスタ解析
QGIS はじめてのラスタ解析
Mayumit
Recomendados
公共交通データを可視化するQGIS演習
公共交通データを可視化するQGIS演習
Masaki Ito
オープンデータをLOD化するデータソン in 高槻
オープンデータをLOD化するデータソン in 高槻
Kouji Kozaki
GTFSオープンデータで公共交通をアップデート
GTFSオープンデータで公共交通をアップデート
Masaki Ito
防災とGis
防災とGis
Yukiya Iwasaki
rstanで簡単にGLMMができるglmmstan()を作ってみた
rstanで簡単にGLMMができるglmmstan()を作ってみた
Hiroshi Shimizu
幾何と機械学習: A Short Intro
幾何と機械学習: A Short Intro
Ichigaku Takigawa
QGIS2.18_デジタイズ編
QGIS2.18_デジタイズ編
Jyun Tanaka
QGIS はじめてのラスタ解析
QGIS はじめてのラスタ解析
Mayumit
[DL輪読会]QUASI-RECURRENT NEURAL NETWORKS
[DL輪読会]QUASI-RECURRENT NEURAL NETWORKS
Deep Learning JP
Fokker–Planck equation and DPD simulations
Fokker–Planck equation and DPD simulations
Kotaro Tanahashi
MateriApps LIVE!の設定
MateriApps LIVE!の設定
Computational Materials Science Initiative
Geometry Processingで学ぶSparse Matrix
Geometry Processingで学ぶSparse Matrix
Jun Saito
密度汎関数法, Density Fuctional Theory (DFT)の基礎第5回
密度汎関数法, Density Fuctional Theory (DFT)の基礎第5回
SATOH daisuke, Ph.D.
CuPy解説
CuPy解説
Ryosuke Okuta
[DL輪読会]Meta Reinforcement Learning
[DL輪読会]Meta Reinforcement Learning
Deep Learning JP
文献紹介:Simple Copy-Paste Is a Strong Data Augmentation Method for Instance Segm...
文献紹介:Simple Copy-Paste Is a Strong Data Augmentation Method for Instance Segm...
Toru Tamaki
[DL Hacks]Simple Online Realtime Tracking with a Deep Association Metric
[DL Hacks]Simple Online Realtime Tracking with a Deep Association Metric
Deep Learning JP
統計的係り受け解析入門
統計的係り受け解析入門
Yuya Unno
情報アクセス技術のためのテストコレクション作成
情報アクセス技術のためのテストコレクション作成
kt.mako
ポアソン画像合成
ポアソン画像合成
Arumaziro
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
Deep Learning JP
JSON:APIについてざっくり入門
JSON:APIについてざっくり入門
iPride Co., Ltd.
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
Deep Learning JP
車両運行管理システムのためのデータ整備と機械学習の活用
車両運行管理システムのためのデータ整備と機械学習の活用
Eiji Sekiya
20210625_GTFS/OpenTripPlanner/QGISを用いた到達圏分析の事例紹介
20210625_GTFS/OpenTripPlanner/QGISを用いた到達圏分析の事例紹介
Kenji Morohoshi
Ml system in_python
Ml system in_python
yusuke shibui
ParaViewでCSVの点群を表示する
ParaViewでCSVの点群を表示する
RyogaSato1
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
Deep Learning JP
OSC2015nagoya
OSC2015nagoya
Miki Shimogai
OSC2015kyoto
OSC2015kyoto
Miki Shimogai
Mais conteúdo relacionado
Mais procurados
[DL輪読会]QUASI-RECURRENT NEURAL NETWORKS
[DL輪読会]QUASI-RECURRENT NEURAL NETWORKS
Deep Learning JP
Fokker–Planck equation and DPD simulations
Fokker–Planck equation and DPD simulations
Kotaro Tanahashi
MateriApps LIVE!の設定
MateriApps LIVE!の設定
Computational Materials Science Initiative
Geometry Processingで学ぶSparse Matrix
Geometry Processingで学ぶSparse Matrix
Jun Saito
密度汎関数法, Density Fuctional Theory (DFT)の基礎第5回
密度汎関数法, Density Fuctional Theory (DFT)の基礎第5回
SATOH daisuke, Ph.D.
CuPy解説
CuPy解説
Ryosuke Okuta
[DL輪読会]Meta Reinforcement Learning
[DL輪読会]Meta Reinforcement Learning
Deep Learning JP
文献紹介:Simple Copy-Paste Is a Strong Data Augmentation Method for Instance Segm...
文献紹介:Simple Copy-Paste Is a Strong Data Augmentation Method for Instance Segm...
Toru Tamaki
[DL Hacks]Simple Online Realtime Tracking with a Deep Association Metric
[DL Hacks]Simple Online Realtime Tracking with a Deep Association Metric
Deep Learning JP
統計的係り受け解析入門
統計的係り受け解析入門
Yuya Unno
情報アクセス技術のためのテストコレクション作成
情報アクセス技術のためのテストコレクション作成
kt.mako
ポアソン画像合成
ポアソン画像合成
Arumaziro
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
Deep Learning JP
JSON:APIについてざっくり入門
JSON:APIについてざっくり入門
iPride Co., Ltd.
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
Deep Learning JP
車両運行管理システムのためのデータ整備と機械学習の活用
車両運行管理システムのためのデータ整備と機械学習の活用
Eiji Sekiya
20210625_GTFS/OpenTripPlanner/QGISを用いた到達圏分析の事例紹介
20210625_GTFS/OpenTripPlanner/QGISを用いた到達圏分析の事例紹介
Kenji Morohoshi
Ml system in_python
Ml system in_python
yusuke shibui
ParaViewでCSVの点群を表示する
ParaViewでCSVの点群を表示する
RyogaSato1
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
Deep Learning JP
Mais procurados
(20)
[DL輪読会]QUASI-RECURRENT NEURAL NETWORKS
[DL輪読会]QUASI-RECURRENT NEURAL NETWORKS
Fokker–Planck equation and DPD simulations
Fokker–Planck equation and DPD simulations
MateriApps LIVE!の設定
MateriApps LIVE!の設定
Geometry Processingで学ぶSparse Matrix
Geometry Processingで学ぶSparse Matrix
密度汎関数法, Density Fuctional Theory (DFT)の基礎第5回
密度汎関数法, Density Fuctional Theory (DFT)の基礎第5回
CuPy解説
CuPy解説
[DL輪読会]Meta Reinforcement Learning
[DL輪読会]Meta Reinforcement Learning
文献紹介:Simple Copy-Paste Is a Strong Data Augmentation Method for Instance Segm...
文献紹介:Simple Copy-Paste Is a Strong Data Augmentation Method for Instance Segm...
[DL Hacks]Simple Online Realtime Tracking with a Deep Association Metric
[DL Hacks]Simple Online Realtime Tracking with a Deep Association Metric
統計的係り受け解析入門
統計的係り受け解析入門
情報アクセス技術のためのテストコレクション作成
情報アクセス技術のためのテストコレクション作成
ポアソン画像合成
ポアソン画像合成
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
JSON:APIについてざっくり入門
JSON:APIについてざっくり入門
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
車両運行管理システムのためのデータ整備と機械学習の活用
車両運行管理システムのためのデータ整備と機械学習の活用
20210625_GTFS/OpenTripPlanner/QGISを用いた到達圏分析の事例紹介
20210625_GTFS/OpenTripPlanner/QGISを用いた到達圏分析の事例紹介
Ml system in_python
Ml system in_python
ParaViewでCSVの点群を表示する
ParaViewでCSVの点群を表示する
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
Semelhante a 5社のGTFSをマージして、PostgreSQLにインポートしてみた
OSC2015nagoya
OSC2015nagoya
Miki Shimogai
OSC2015kyoto
OSC2015kyoto
Miki Shimogai
20190518 27th-chugoku db-lt-pg12
20190518 27th-chugoku db-lt-pg12
Toshi Harada
About GStreamer 1.0 application development for beginners
About GStreamer 1.0 application development for beginners
Shota TAMURA
20181212 - PGconf.ASIA - LT
20181212 - PGconf.ASIA - LT
Kohei KaiGai
Application Developer Festival 2015 LT
Application Developer Festival 2015 LT
Junpei Matsuda
Webサーバ勉強会 LT資料
Webサーバ勉強会 LT資料
学 松崎
Semelhante a 5社のGTFSをマージして、PostgreSQLにインポートしてみた
(7)
OSC2015nagoya
OSC2015nagoya
OSC2015kyoto
OSC2015kyoto
20190518 27th-chugoku db-lt-pg12
20190518 27th-chugoku db-lt-pg12
About GStreamer 1.0 application development for beginners
About GStreamer 1.0 application development for beginners
20181212 - PGconf.ASIA - LT
20181212 - PGconf.ASIA - LT
Application Developer Festival 2015 LT
Application Developer Festival 2015 LT
Webサーバ勉強会 LT資料
Webサーバ勉強会 LT資料
Mais de Masaki Ito
公共交通のデジタル化の現状とMaaS、データ活用の可能性
公共交通のデジタル化の現状とMaaS、データ活用の可能性
Masaki Ito
公共交通オープンデータの現在地と今後の展望
公共交通オープンデータの現在地と今後の展望
Masaki Ito
行政サービスにデータ資産を活かす: 公共交通データから考える行政の現場でのデータ活用のありかた
行政サービスにデータ資産を活かす: 公共交通データから考える行政の現場でのデータ活用のありかた
Masaki Ito
サービス化に向けて進化する公共交通と沖縄のポテンシャル
サービス化に向けて進化する公共交通と沖縄のポテンシャル
Masaki Ito
データビジュアライゼーションをきっかけに沖縄の交通の「次の一手」を考えよう
データビジュアライゼーションをきっかけに沖縄の交通の「次の一手」を考えよう
Masaki Ito
公共交通オープンデータ第2幕:「静的データは出来た、次はリアルタイム」と決めつける前に考えること
公共交通オープンデータ第2幕:「静的データは出来た、次はリアルタイム」と決めつける前に考えること
Masaki Ito
わたしの考える未来の交通事業
わたしの考える未来の交通事業
Masaki Ito
MaaSを捉えなおそう・熊本の交通を見直そう
MaaSを捉えなおそう・熊本の交通を見直そう
Masaki Ito
GTFSデータ整備から始める公共交通の未来像
GTFSデータ整備から始める公共交通の未来像
Masaki Ito
IT・データが導く新しい地域公共交通の姿を考える
IT・データが導く新しい地域公共交通の姿を考える
Masaki Ito
What i think about when i conduct research in the society
What i think about when i conduct research in the society
Masaki Ito
公共交通オープンデータの現状と可能性 社会がデータを使いこなすために何をなすべきか
公共交通オープンデータの現状と可能性 社会がデータを使いこなすために何をなすべきか
Masaki Ito
ジョルダン「乗換案内」での鉄道・バスのリアルタイム情報活用の取り組み
ジョルダン「乗換案内」での鉄道・バスのリアルタイム情報活用の取り組み
Masaki Ito
日本バス情報協会の活動について
日本バス情報協会の活動について
Masaki Ito
公共交通のオープンデータ化とICT企業としての役割
公共交通のオープンデータ化とICT企業としての役割
Masaki Ito
GTFS-JPを活用した総合的な路線時刻表作成の取組
GTFS-JPを活用した総合的な路線時刻表作成の取組
Masaki Ito
複数のGTFSを用いた時刻表アプリ
複数のGTFSを用いた時刻表アプリ
Masaki Ito
ミャンマー国ヤンゴンにおける公共交通オープンデータ開発の取組事例
ミャンマー国ヤンゴンにおける公共交通オープンデータ開発の取組事例
Masaki Ito
西日本豪雨で止まった「広島の公共交通情報提供」のその後
西日本豪雨で止まった「広島の公共交通情報提供」のその後
Masaki Ito
バス会社からのデータ提供がオープンデータにたどり着くまで
バス会社からのデータ提供がオープンデータにたどり着くまで
Masaki Ito
Mais de Masaki Ito
(20)
公共交通のデジタル化の現状とMaaS、データ活用の可能性
公共交通のデジタル化の現状とMaaS、データ活用の可能性
公共交通オープンデータの現在地と今後の展望
公共交通オープンデータの現在地と今後の展望
行政サービスにデータ資産を活かす: 公共交通データから考える行政の現場でのデータ活用のありかた
行政サービスにデータ資産を活かす: 公共交通データから考える行政の現場でのデータ活用のありかた
サービス化に向けて進化する公共交通と沖縄のポテンシャル
サービス化に向けて進化する公共交通と沖縄のポテンシャル
データビジュアライゼーションをきっかけに沖縄の交通の「次の一手」を考えよう
データビジュアライゼーションをきっかけに沖縄の交通の「次の一手」を考えよう
公共交通オープンデータ第2幕:「静的データは出来た、次はリアルタイム」と決めつける前に考えること
公共交通オープンデータ第2幕:「静的データは出来た、次はリアルタイム」と決めつける前に考えること
わたしの考える未来の交通事業
わたしの考える未来の交通事業
MaaSを捉えなおそう・熊本の交通を見直そう
MaaSを捉えなおそう・熊本の交通を見直そう
GTFSデータ整備から始める公共交通の未来像
GTFSデータ整備から始める公共交通の未来像
IT・データが導く新しい地域公共交通の姿を考える
IT・データが導く新しい地域公共交通の姿を考える
What i think about when i conduct research in the society
What i think about when i conduct research in the society
公共交通オープンデータの現状と可能性 社会がデータを使いこなすために何をなすべきか
公共交通オープンデータの現状と可能性 社会がデータを使いこなすために何をなすべきか
ジョルダン「乗換案内」での鉄道・バスのリアルタイム情報活用の取り組み
ジョルダン「乗換案内」での鉄道・バスのリアルタイム情報活用の取り組み
日本バス情報協会の活動について
日本バス情報協会の活動について
公共交通のオープンデータ化とICT企業としての役割
公共交通のオープンデータ化とICT企業としての役割
GTFS-JPを活用した総合的な路線時刻表作成の取組
GTFS-JPを活用した総合的な路線時刻表作成の取組
複数のGTFSを用いた時刻表アプリ
複数のGTFSを用いた時刻表アプリ
ミャンマー国ヤンゴンにおける公共交通オープンデータ開発の取組事例
ミャンマー国ヤンゴンにおける公共交通オープンデータ開発の取組事例
西日本豪雨で止まった「広島の公共交通情報提供」のその後
西日本豪雨で止まった「広島の公共交通情報提供」のその後
バス会社からのデータ提供がオープンデータにたどり着くまで
バス会社からのデータ提供がオープンデータにたどり着くまで
5社のGTFSをマージして、PostgreSQLにインポートしてみた
1.
マスター タイトルの書式設定 1 5社のGTFSをマージして、 PostgreSQLにインポートし てみた N P
O 法 人 公 共 の 交 通 ラ ク ダ ( R A C D A ) 松 田 和 也
2.
マスター タイトルの書式設定 2 GTFSのマージ セ オ
リ ー 的 に は o n e b u s a w a y - g t f s - m e r g e - c l i な の で す が ・ ・ ・ 2
3.
マスター タイトルの書式設定 3 Onebusaway-gtfs-merge-cli がビルドできない 仕 方
な い の で 別 の 方 法 を 考 え た 3
4.
マスター タイトルの書式設定 4 pythonのライブラリ「gtfsmerger」 ググって見つけたpythonのライブラリを用いて複数のGTFSデータをマージ プログラム例もライブラリのHPにあったので、ほぼそのまま引用 from gtfsmerger
import GTFSMerger merged_gtfs = GTFSMerger() f_1 = open('akaiwa-city20210201.zip', 'rb').read() f_2 = open('chutetsu20210201.zip', 'rb').read() f_3 = open('maniwa-city20210201.zip', 'rb').read() f_4 = open('okaden20210201.zip', 'rb').read() f_5 = open('ryobi20210201.zip', 'rb').read() f_6 = open('shimoden20210201.zip', 'rb').read() f_7 = open('uno20210201.zip', 'rb').read() merged_gtfs.merge_from_bytes_list([f_1, f_2, f_3, f_4, f_5, f_6, f_7]) merged_gtfs.get_zipfile("./merged_gtfs.zip") 4
5.
マスター タイトルの書式設定 5 gtfs_mergr.pyの実行 5
6.
マスター タイトルの書式設定 6 merge完了?! 作業前 作業後 6
7.
マスター タイトルの書式設定 7 GTFSDBでPostgreSQLにインポート 仮想環境をアクティベート Zc.buildoutのインストール GTFSDBのインストール 「gtfs-merged-okayama」を作る 7 Facebookで悩みを書いたら、太田さんが助言の返信をしていただけたので、その手順で進めることに。
8.
マスター タイトルの書式設定 8 GTFSDBでPostgreSQLにインポート 8 「create extension
postgis;」を実行 gtfsdb-loadでマージしたGTFSデータをインポート開始
9.
マスター タイトルの書式設定 9 GTFSDBでPostgreSQLにインポート 9 終わったけど。??
10.
マスター タイトルの書式設定 10 GTFSDBでPostgreSQLにインポート 10 SELECT * FROM agency ; SELECT * FROM stops ;
11.
マスター タイトルの書式設定 11 “ 11
12.
マスター タイトルの書式設定 12 一応、インポートはできたけど。 これでいいのかな? とやや不安。 Onebusaway-gtfs-merge-cliで作業できると 結果が違うのか?
13.
マスター タイトルの書式設定 13 ありがとうございました 分からないなりにいろいろ検索したり助けられたりしながら、 マージしてインポートしてみたでした。
Baixar agora