SlideShare uma empresa Scribd logo
1 de 29
リアルで Real な Twitter データ
〜ゆるふわ版〜
榊 剛史
@tksakaki    
軽く自己紹介
ソーシャルセンサを提唱した人(の部
下)
軽く自己紹介
ソーシャルセンサを提唱した人(の部
下)
Twitte
r
ソーシャ
ルセンサ
宮崎駿っぽ
い
(写真が)
今日の目標
Twitter データを定期クロールする楽し
さを共有したい!!
Twitter データを定期クロールする楽し
さを共有したい!!
 Twitter における「今」と「どこ」の重要性
 地震の発生と震源地を知る
 天体現象を知る
 ゲリラ豪雨
 虹
 朝の電車遅延情報
Twitter における「今」と「どこ」
リアルな世界で
「今」「どこで」何かが起きているのが
分かる
ブログブログ マイクロ
ブログ
マイクロ
ブログ
ユーザ ユーザ ユーザ ユーザ センサー センサーセンサー センサー
対象の観測
確率・統計処理 確率・統計処理
交通情報 気象・自然現象 お祭り・イベ
ント
観測値
観測値
対象の観測
ソーシャルセンサの考え方
今日紹介するデータ
リアルで Real な Twitter データセッ
ト
〜ゆるふわ版〜
リアルで Real な Twitter データセッ
ト
〜ゆるふわ版〜
リアルリアル
ワールドでワールドで
リアルリアル
ワールドでワールドで
RealtimeRealtime 性の性の
高い高い
RealtimeRealtime 性の性の
高い高い
けちって研究室のサーバで
収集してるので、大学の停
電にあわせて欠損
が・・・・
今日紹介するデータ
リアルで Real な Twitter データセッ
ト
〜ゆるふわ版〜
リアルで Real な Twitter データセッ
ト
〜ゆるふわ版〜
リアルリアル
ワールドでワールドで
リアルリアル
ワールドでワールドで
RealtimeRealtime 性の性の
高い高い
RealtimeRealtime 性の性の
高い高い
イベント系データイベント系データ
ユーザ系データユーザ系データ
データセットの説明
イベント系データイベント系データ
データセットの説明
イベント系データイベント系データ
と、その前に
収集しているデータ項目
データセットの説明
イベント系データイベント系データ
地震
キーワー
ド
地震 OR  揺れ
収集期間 2010 年 10 月〜 2012
年 10 月
ツイート
数
約 1600 万
サイズ 3.8GB
その他 機械学習でフィルタ
イング
天候
キーワー
ド
雨 OR 霧
収集期間 2010 年 10 月〜
2012 年 11 月
ツイート数 約 3600 万
サイズ 6.5GB
その他 地名を別カラムに
保存
データセットの説明
イベント系データイベント系データ
人物目撃
キーワー
ド
遭遇 OR 目撃 OR 見
掛け OR 見かけ OR
みかけ
収集期間 2010 年 8 月〜 2011 年 6
月
ツイート数 260 万
サイズ 640MB
その他 芸能人名をタグで囲んで
ある
交通状況
キーワー
ド
渋滞 OR 交通規制
OR 通行規制 OR
検問
収集期間 2010 年 10 月〜 2012
年 11 月
ツイート
数
約 420 万
サイズ 900MB
その他 地名を別カラムに保
存
地震速報システム  Toretter
道路交通詳細情報 収集システム
芸能人目撃情報システム Celeb Paparazzi
Finder
その他応用
人間直観天気予報
「雨が降りそう」「雨が止みそ
う」
みたいなツイート集めて、天気
予報ことわざ天気予報
「ツバメが低く飛ぶと雨」「月に
傘がかかると雨」みたいなことわ
ざにある現象の発生を検知して天
気予報
今日紹介するデータ
リアルで Real な Twitter データセッ
ト
〜ゆるふわ版〜
リアルで Real な Twitter データセッ
ト
〜ゆるふわ版〜
リアルリアル
ワールドでワールドで
リアルリアル
ワールドでワールドで
RealtimeRealtime 性の性の
高い高い
RealtimeRealtime 性の性の
高い高い
イベント系データイベント系データ
ユーザ系データユーザ系データ
データセットの説明
ユーザ系データユーザ系データ
ユーザ系データユーザ系データ
データセットの説明
データセットの説明
オリ合
宿キーワー
ド
オリ合宿
収集期間 2012 年 4 月
ツイート
数
4400
サイズ 778KB
学振
キーワー
ド
学振 OR DC1 OR
DC2
収集期間 2011 年 10 月〜 11 月
ツイート
数
5313
サイズ 1.8MB
ユーザ系データユーザ系データ
おまけ説明
 オリ合宿とは!!
 東大生が入学直後に、先輩に連れられていくオリエー
テーション合宿のことである!!
 東大にしか無い言葉
東大生リスト、というえげつない(≒金の
においがする)リストが作れてしまうか
も?
東大生リスト、というえげつない(≒金の
においがする)リストが作れてしまうか
も?
おまけ説明
 学振とは!!
 優秀な博士課程の学生に、月 20 万円の給料をくれる制度
である。学術振興会特別研究員の略。
 倍率20%なので、非常に厳しい
将来偉くなる研究者リストが
作れてしまうかも?
将来偉くなる研究者リストが
作れてしまうかも?
その他応用
雨男・雨女判定
外出時にいつも雨に遭遇してい
るユーザ群を推定
ご近所さんユーザ判定
自分の近所の人しか呟かないよ
うなキーワードでクロールして
、ご近所さんを推定
まとめ
ユーザ系データユーザ系データ
イベント系データイベント系データ
現実に発生しているイベントについて
いろんな情報を取得できそう
現実に発生しているイベントについて
いろんな情報を取得できそう
ある特定の集団における流行やトレンド、
趣味、思想が取得できるかも
ある特定の集団における流行やトレンド、
趣味、思想が取得できるかも
まとめ
 問題点
 Twitter はデータの 2 次配布を禁止してるので
どうしたもんか・・・・・
 野良リポジトリには置けないかも・・・・
 Amazon EC2 に DB でも立てて、希望者のユー
ザ作るのはグレー・・・・??
 まあ、あとで考えます
まとめ
とりあえず、みんな
Twitter の定期クロール
しようぜ!!
おしまい
この顔にピンと来たら
@tksakaki へ連絡を!

Mais conteúdo relacionado

Destaque

2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by HubspotMarius Sescu
 
Everything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTEverything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTExpeed Software
 
Product Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsProduct Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsPixeldarts
 
How Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthHow Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthThinkNow
 
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfmarketingartwork
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024Neil Kimberley
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)contently
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024Albert Qian
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsKurio // The Social Media Age(ncy)
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Search Engine Journal
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summarySpeakerHub
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next Tessa Mero
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentLily Ray
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best PracticesVit Horky
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project managementMindGenius
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...RachelPearson36
 

Destaque (20)

2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot
 
Everything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTEverything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPT
 
Product Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsProduct Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage Engineerings
 
How Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthHow Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental Health
 
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
 
Skeleton Culture Code
Skeleton Culture CodeSkeleton Culture Code
Skeleton Culture Code
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie Insights
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search Intent
 
How to have difficult conversations
How to have difficult conversations How to have difficult conversations
How to have difficult conversations
 
Introduction to Data Science
Introduction to Data ScienceIntroduction to Data Science
Introduction to Data Science
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best Practices
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project management
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
 

2013.07.27 ニコニコデータ研究会 公開用

Notas do Editor

  1. Thank you chairperson. Hello, Everyone My name is Takeshi Sakaki. I’m a student at the University of Tokyo. Today, I’d like to talk about our research using Twitter. The title is “Earthquake Shakes Twitter User: Analyzing Tweets for Real-Time Event Detection”. This research is a joint work with Makoto Okazaki and Yutaka Matsuo from the University of Tokyo. These are our twitter accounts.