Enviar pesquisa
Carregar
iQONを支えるクローラーの裏側
•
23 gostaram
•
9,717 visualizações
T
Takehiro Shiozaki
Seguir
Fashion Tech meetup #1 発表資料 iQONがどのようにして大量の商品データをECサイトからクローリングしているのかを説明
Leia menos
Leia mais
Tecnologia
Denunciar
Compartilhar
Denunciar
Compartilhar
1 de 35
Baixar agora
Baixar para ler offline
Recomendados
ROS Kyushu UGのオンライン勉強会資料.
WindowsではじめるROSプログラミング
WindowsではじめるROSプログラミング
Takayuki Goto
WebRTCを利用して、Pythonで遠隔画像処理をおこなうことを可能にするフレームワークを開発しました。
WebRTCを利用した遠隔リアルタイム映像処理フレームワークの実装
WebRTCを利用した遠隔リアルタイム映像処理フレームワークの実装
tnoho
This deck was used at the OpenVINO seminar in DLLAB on 12/11/2019.
Intel OpenVINO™ ツールキットのご紹介
Intel OpenVINO™ ツールキットのご紹介
Hiroshi Ouchiyama
素人でもオシャレに作れる表紙スライドを伝授します。 汎用性が高く、作り方も簡単なので、一度覚えてしまえば楽勝です。 以前、「見やすいプレゼン資料の作り方」でたくさんのシェアをいただき、書籍化に至ることになりました。 発売を記念して今回の資料を公開させていただきました。 皆さまありがとうございます!! PDFは無料でダウンロードできますので、正しくご自由に使って下さい。 【書誌情報】 2016.01.22 発売 一生使える見やすい資料のデザイン入門 森重湧太 (著) [インプレス] http://book.impress.co.jp/books/1114101129 [Amazon] http://www.amazon.co.jp/dp/484433963X 【連絡先等】 Yuta Morishige 資料作成のSKET(http://sket.asia/)にてディレクターを担当 個人メールアドレス:snsoon4@gmail.com ※ノンブル(ページ番号)はあえて消している部分があります。
超簡単でハイセンスな表紙スライドの作り方
超簡単でハイセンスな表紙スライドの作り方
MOCKS | Yuta Morishige
2020/08/31(月) の xR Developers Community Conference で登壇した内容です
2020年8月_HoloLens 2 アプリ開発入門
2020年8月_HoloLens 2 アプリ開発入門
Madoka Chiyoda
第一回機械学習ビジネス研究会で話した内容です http://ml-business.connpass.com/event/36234/
ヒューレットパッカード社の社員の離職リスク予測 第一回機械学習ビジネス研究会 #ml_business
ヒューレットパッカード社の社員の離職リスク予測 第一回機械学習ビジネス研究会 #ml_business
Tokoroten Nakayama
JJUG ナイトセミナー 「メッセージングミドルウェア特集」のRabbitMQの発表資料です。 https://jjug.doorkeeper.jp/events/65028
実運用して分かったRabbit MQの良いところ・気をつけること #jjug
実運用して分かったRabbit MQの良いところ・気をつけること #jjug
Yahoo!デベロッパーネットワーク
2018年12月4日 Japan Container Days 講演資料 谷脇大輔 Preferred Networksでは1000個以上のGPUとInfiniBandからなるオンプレミスのクラスターを自社で構築しており、研究者が様々な目的、リソース量、実行時間の機械学習ジョブをKubernetes上で実行して研究成果を出しています。 KubernetesはKubeflowの登場など、機械学習基盤としても非常に注目されている一方で、現実的には未だ発展途上です。 講演では機械学習基盤としてのKubernetesの導入理由、その実用性と将来性、Preferred Networksの挑戦についてお話ししました。
Kubernetesによる機械学習基盤への挑戦
Kubernetesによる機械学習基盤への挑戦
Preferred Networks
Recomendados
ROS Kyushu UGのオンライン勉強会資料.
WindowsではじめるROSプログラミング
WindowsではじめるROSプログラミング
Takayuki Goto
WebRTCを利用して、Pythonで遠隔画像処理をおこなうことを可能にするフレームワークを開発しました。
WebRTCを利用した遠隔リアルタイム映像処理フレームワークの実装
WebRTCを利用した遠隔リアルタイム映像処理フレームワークの実装
tnoho
This deck was used at the OpenVINO seminar in DLLAB on 12/11/2019.
Intel OpenVINO™ ツールキットのご紹介
Intel OpenVINO™ ツールキットのご紹介
Hiroshi Ouchiyama
素人でもオシャレに作れる表紙スライドを伝授します。 汎用性が高く、作り方も簡単なので、一度覚えてしまえば楽勝です。 以前、「見やすいプレゼン資料の作り方」でたくさんのシェアをいただき、書籍化に至ることになりました。 発売を記念して今回の資料を公開させていただきました。 皆さまありがとうございます!! PDFは無料でダウンロードできますので、正しくご自由に使って下さい。 【書誌情報】 2016.01.22 発売 一生使える見やすい資料のデザイン入門 森重湧太 (著) [インプレス] http://book.impress.co.jp/books/1114101129 [Amazon] http://www.amazon.co.jp/dp/484433963X 【連絡先等】 Yuta Morishige 資料作成のSKET(http://sket.asia/)にてディレクターを担当 個人メールアドレス:snsoon4@gmail.com ※ノンブル(ページ番号)はあえて消している部分があります。
超簡単でハイセンスな表紙スライドの作り方
超簡単でハイセンスな表紙スライドの作り方
MOCKS | Yuta Morishige
2020/08/31(月) の xR Developers Community Conference で登壇した内容です
2020年8月_HoloLens 2 アプリ開発入門
2020年8月_HoloLens 2 アプリ開発入門
Madoka Chiyoda
第一回機械学習ビジネス研究会で話した内容です http://ml-business.connpass.com/event/36234/
ヒューレットパッカード社の社員の離職リスク予測 第一回機械学習ビジネス研究会 #ml_business
ヒューレットパッカード社の社員の離職リスク予測 第一回機械学習ビジネス研究会 #ml_business
Tokoroten Nakayama
JJUG ナイトセミナー 「メッセージングミドルウェア特集」のRabbitMQの発表資料です。 https://jjug.doorkeeper.jp/events/65028
実運用して分かったRabbit MQの良いところ・気をつけること #jjug
実運用して分かったRabbit MQの良いところ・気をつけること #jjug
Yahoo!デベロッパーネットワーク
2018年12月4日 Japan Container Days 講演資料 谷脇大輔 Preferred Networksでは1000個以上のGPUとInfiniBandからなるオンプレミスのクラスターを自社で構築しており、研究者が様々な目的、リソース量、実行時間の機械学習ジョブをKubernetes上で実行して研究成果を出しています。 KubernetesはKubeflowの登場など、機械学習基盤としても非常に注目されている一方で、現実的には未だ発展途上です。 講演では機械学習基盤としてのKubernetesの導入理由、その実用性と将来性、Preferred Networksの挑戦についてお話ししました。
Kubernetesによる機械学習基盤への挑戦
Kubernetesによる機械学習基盤への挑戦
Preferred Networks
XRミーティング 2022/04/20【AR/CR/MR/SR/VR】(https://osaka-driven-dev.connpass.com/event/244101/)登壇資料。 XRコンテンツ開発を容易にするための標準規格について調べてみた話。OpenVRを使いたいときにそれ自体のSDKがあるのかわからなくて基本的なことを調査した。
OpenVRやOpenXRの基本的なことを調べてみた
OpenVRやOpenXRの基本的なことを調べてみた
Takahiro Miyaura
CEDEC2019 大規模モバイルゲーム運用におけるマスタデータ管理事例 http://cedec.cesa.or.jp/2019/session/detail/s5c7f93801888e
CEDEC2019 大規模モバイルゲーム運用におけるマスタデータ管理事例
CEDEC2019 大規模モバイルゲーム運用におけるマスタデータ管理事例
sairoutine
FOSS4G Japan 2021 Online
Foss4G Japan 2021 シェープファイルの真の後継規格 FlatGeobufの普及啓蒙活動
Foss4G Japan 2021 シェープファイルの真の後継規格 FlatGeobufの普及啓蒙活動
Kanahiro Iguchi
2021/09/25に開催したハンズオン資料
AI x OpenCV x WebAR: Selfie Segmentationを使ってみよう
AI x OpenCV x WebAR: Selfie Segmentationを使ってみよう
Takashi Yoshinaga
SSII2022 [OS3-01] 深層学習のための効率的なデータ収集と活用 6月10日 (金) 11:00 - 12:30 メイン会場 オーガナイザー: 米谷 竜 氏(オムロンサイニックエックス株式会社/慶應義塾大学) 概要:SSII2020, SSII2021で高評価を得た『限られたデータからの深層学習』に続き、深層学習におけるデータの収集方法や学習時の工夫にフォーカスする。特に、分散環境のデータの活用が可能な連合学習や、オフライン強化学習と呼ばれるオフライン環境でのサンプル収集を想定した強化学習、クラウドソーシング等に基づくヒューマンコンピュテーションの最新研究事例を紹介する。
SSII2022 [OS3-01] 深層学習のための効率的なデータ収集と活用
SSII2022 [OS3-01] 深層学習のための効率的なデータ収集と活用
SSII
2015/6/11 DAIKINさんで行われた『モーション制作セミナー』で使用したスライドを公開いたします。 Making of ユニティちゃんステージデモ in ComicMarket 86 http://www.slideshare.net/nyaakobayashi/making-of-in-comicmarket-86 のMotionBuilderでのアニメーション演出部分をわかりやすく解説しなおしてみた資料です。 モーションキャプチャデータが納品された後、どんな加工をする必要があるのか解説した資料はあまりありませんので、参考にしていただけるとよいかと思います。 「ユニティちゃん」について http://unity-chan.com/ 「ユニティちゃんライブステージ! -Candy Rock Star-」 リアルタイムで動作するUnityプロジェクトはオフィシャルページのダウンロードから。 ビデオ画面は以下のリンクからご利用いただけます。 https://www.youtube.com/watch?v=M_GUlXJ52YA
「ユニティちゃんを踊らせよう!」モーションキャプチャーデータのアニメーション演出
「ユニティちゃんを踊らせよう!」モーションキャプチャーデータのアニメーション演出
小林 信行
第15回 MLOps 勉強会(Online)で使用したスライドです。MLOpsに便利なAWSサービスの紹介と事例をご紹介しています。
AWSではじめるMLOps
AWSではじめるMLOps
MariOhbuchi
機械学習とかの知識を全く持たないエンジニアさん向けの導入資料です。
協調フィルタリング入門
協調フィルタリング入門
hoxo_m
2017.05.20 Power BI 勉強会 で登壇した際の資料です。 「え!?データがオンプレにあるけどPower BI で BI したいの?~オンプレミス データ ゲートウェイの可能性~
え!?データがオンプレにあるけどPower BI で BI したいの?
え!?データがオンプレにあるけどPower BI で BI したいの?
Yugo Shimizu
スマホゲームのチートにはメモリの改ざんを利用するお手軽なものに始まり、パケットの改ざんやコードの改ざんまで、多様な手法が存在します。しかし、それらがインターネットや書籍で語られることは多くはありません。これまでのDeNAのセキュリティチームの経験を基に、それぞれのチート手法を説明したあと、どのように対策をすれば良いのか、ご紹介させていただきます。
スマホゲームのチート手法とその対策 [DeNA TechCon 2019]
スマホゲームのチート手法とその対策 [DeNA TechCon 2019]
DeNA
XR関連で基礎的な知識になる、空間を認識するためのセンサーについてや、その用途などについて説明します。
空間を認識する - 取り込みから表示まで -
空間を認識する - 取り込みから表示まで -
聡 大久保
映像情報メディア学会 立体映像技術研究会(3DIT) [招待講演]「デプスセンサとその応用」の発表資料です. http://www.ite.or.jp/ken/program/index.php?tgs_regid=a5bacacea82fb086cc4a6ef2b050f2c2f673ff48cd98a1d315bb489a9937779a&tgid=ITE-3DIT&lang=
デプスセンサとその応用
デプスセンサとその応用
Norishige Fukushima
SSII2022 [OS3-03] スケーラブルなロボット学習システムに向けて 6月10日 (金) 11:00 - 12:30 メイン会場 登壇者:松嶋 達也 氏(東京大学) 概要:DNNを用いたロボット学習アルゴリズムを用いて、動画のような高次元の入力からロボットの制御方策を学習することが可能になった。これらの手法はサービスロボット領域での応用が期待されているが、タスクや環境の多様性への対処が課題となっている。本講演では、強化学習のようなロボットの制御方策を直接学習する手法において、ロボットシステムから収集し蓄積した「オフライン」のデータを活用する方法について紹介するほか、実際に家庭内のサービスロボットシステム構築の事例紹介を通じて、実世界のロボットシステムの特徴やデータドリブンな手法を取り入れて汎化性・柔軟性を高めるための方法に関して解説する。
SSII2022 [OS3-03] スケーラブルなロボット学習システムに向けて
SSII2022 [OS3-03] スケーラブルなロボット学習システムに向けて
SSII
Unity夏LT大会2017 http://peatix.com/event/288912/ の発表資料です
コールバックと戦う話
コールバックと戦う話
torisoup
昨今、データベース技術は、多様な広がりを見せています。中でも時系列データベースは、サーバーのメトリクスやセンサーデータなど、身近なものから得られる時系列のデータの扱いに長けています。本セッションでは、最近ホットな時系列DBであるInfluxDBおよびTelegraf,Grafana,Kapacitorを用い、実際の環境構築からユーザ定義関数による時系列データの異常検知の可視化まで、全ての流れをセッション内でお見せします。
[db tech showcase Tokyo 2017] E21: InfluxDB+αで時系列データの異常検知を可視化してみた by 株式会社インサイ...
[db tech showcase Tokyo 2017] E21: InfluxDB+αで時系列データの異常検知を可視化してみた by 株式会社インサイ...
Insight Technology, Inc.
アプリ「ニュースパス」のクローラーアーキテクチャの解説です。
ニュースパスのクローラーアーキテクチャとマイクロサービス
ニュースパスのクローラーアーキテクチャとマイクロサービス
mosa siru
2021/11/06 オンライン勉強会 「RTBにおける機械学習の活用事例」 https://microad.connpass.com/event/229093/
RTBにおける機械学習の活用事例
RTBにおける機械学習の活用事例
MicroAd, Inc.(Engineer)
アプリ「ニュースパス」をマイクロサービスで開発してみた泥臭い体験談です。
マイクロにしすぎた結果がこれだよ!
マイクロにしすぎた結果がこれだよ!
mosa siru
AWS Dev Day 資料: 開発者におくるサーバーレスモニタリング
開発者におくるサーバーレスモニタリング
開発者におくるサーバーレスモニタリング
Amazon Web Services Japan
サイボウズLive → サイボウズ Office 乗り換え提案資料
サイボウズLive → サイボウズ Office 乗り換え提案資料
サイボウズLive → サイボウズ Office 乗り換え提案資料
Cybozucommunity
2017年9月18日 夏のトップカンファレンス論文読み会(CVPR/ICML/KDD etc.) での発表内容です. https://abeja-innovation-meetup.connpass.com/event/63466/ コンピュータビジョン分野の「今」を映す挑戦です。論文読破・まとめ・アイディア考案・議論・実装・論文執筆(・社会実装)に至るまで広く取り組み、その過程で出てきたあらゆる知識を共有します。 2015〜2016年は1,600本以上の論文まとめを全て公開し、著名な国際会議のWSにおいて受賞を経験しました。2017年はさらにアウトプットにこだわり、突出した成果を出すことを目標とします。 SlideShareにて論文まとめや講演資料を公開し、Twitterでも情報を共有しております。 cvpaper.challenge https://sites.google.com/site/cvpaperchallenge/home Twitterで論文情報を随時アップしてます. Twitter: https://twitter.com/CVpaperChalleng 質問コメント等がありましたらメールまで. Mail : cvpaper.challenge@gmail.com
コンピュータビジョンの今を映す-CVPR 2017 速報より- (夏のトップカンファレンス論文読み会)
コンピュータビジョンの今を映す-CVPR 2017 速報より- (夏のトップカンファレンス論文読み会)
cvpaper. challenge
オレシカナイト第3回での発表資料です。 https://cyberagent.connpass.com/event/64176/
ストリーム処理エンジン「Zero」の開発と運用
ストリーム処理エンジン「Zero」の開発と運用
Eiichi Sato
Mais conteúdo relacionado
Mais procurados
XRミーティング 2022/04/20【AR/CR/MR/SR/VR】(https://osaka-driven-dev.connpass.com/event/244101/)登壇資料。 XRコンテンツ開発を容易にするための標準規格について調べてみた話。OpenVRを使いたいときにそれ自体のSDKがあるのかわからなくて基本的なことを調査した。
OpenVRやOpenXRの基本的なことを調べてみた
OpenVRやOpenXRの基本的なことを調べてみた
Takahiro Miyaura
CEDEC2019 大規模モバイルゲーム運用におけるマスタデータ管理事例 http://cedec.cesa.or.jp/2019/session/detail/s5c7f93801888e
CEDEC2019 大規模モバイルゲーム運用におけるマスタデータ管理事例
CEDEC2019 大規模モバイルゲーム運用におけるマスタデータ管理事例
sairoutine
FOSS4G Japan 2021 Online
Foss4G Japan 2021 シェープファイルの真の後継規格 FlatGeobufの普及啓蒙活動
Foss4G Japan 2021 シェープファイルの真の後継規格 FlatGeobufの普及啓蒙活動
Kanahiro Iguchi
2021/09/25に開催したハンズオン資料
AI x OpenCV x WebAR: Selfie Segmentationを使ってみよう
AI x OpenCV x WebAR: Selfie Segmentationを使ってみよう
Takashi Yoshinaga
SSII2022 [OS3-01] 深層学習のための効率的なデータ収集と活用 6月10日 (金) 11:00 - 12:30 メイン会場 オーガナイザー: 米谷 竜 氏(オムロンサイニックエックス株式会社/慶應義塾大学) 概要:SSII2020, SSII2021で高評価を得た『限られたデータからの深層学習』に続き、深層学習におけるデータの収集方法や学習時の工夫にフォーカスする。特に、分散環境のデータの活用が可能な連合学習や、オフライン強化学習と呼ばれるオフライン環境でのサンプル収集を想定した強化学習、クラウドソーシング等に基づくヒューマンコンピュテーションの最新研究事例を紹介する。
SSII2022 [OS3-01] 深層学習のための効率的なデータ収集と活用
SSII2022 [OS3-01] 深層学習のための効率的なデータ収集と活用
SSII
2015/6/11 DAIKINさんで行われた『モーション制作セミナー』で使用したスライドを公開いたします。 Making of ユニティちゃんステージデモ in ComicMarket 86 http://www.slideshare.net/nyaakobayashi/making-of-in-comicmarket-86 のMotionBuilderでのアニメーション演出部分をわかりやすく解説しなおしてみた資料です。 モーションキャプチャデータが納品された後、どんな加工をする必要があるのか解説した資料はあまりありませんので、参考にしていただけるとよいかと思います。 「ユニティちゃん」について http://unity-chan.com/ 「ユニティちゃんライブステージ! -Candy Rock Star-」 リアルタイムで動作するUnityプロジェクトはオフィシャルページのダウンロードから。 ビデオ画面は以下のリンクからご利用いただけます。 https://www.youtube.com/watch?v=M_GUlXJ52YA
「ユニティちゃんを踊らせよう!」モーションキャプチャーデータのアニメーション演出
「ユニティちゃんを踊らせよう!」モーションキャプチャーデータのアニメーション演出
小林 信行
第15回 MLOps 勉強会(Online)で使用したスライドです。MLOpsに便利なAWSサービスの紹介と事例をご紹介しています。
AWSではじめるMLOps
AWSではじめるMLOps
MariOhbuchi
機械学習とかの知識を全く持たないエンジニアさん向けの導入資料です。
協調フィルタリング入門
協調フィルタリング入門
hoxo_m
2017.05.20 Power BI 勉強会 で登壇した際の資料です。 「え!?データがオンプレにあるけどPower BI で BI したいの?~オンプレミス データ ゲートウェイの可能性~
え!?データがオンプレにあるけどPower BI で BI したいの?
え!?データがオンプレにあるけどPower BI で BI したいの?
Yugo Shimizu
スマホゲームのチートにはメモリの改ざんを利用するお手軽なものに始まり、パケットの改ざんやコードの改ざんまで、多様な手法が存在します。しかし、それらがインターネットや書籍で語られることは多くはありません。これまでのDeNAのセキュリティチームの経験を基に、それぞれのチート手法を説明したあと、どのように対策をすれば良いのか、ご紹介させていただきます。
スマホゲームのチート手法とその対策 [DeNA TechCon 2019]
スマホゲームのチート手法とその対策 [DeNA TechCon 2019]
DeNA
XR関連で基礎的な知識になる、空間を認識するためのセンサーについてや、その用途などについて説明します。
空間を認識する - 取り込みから表示まで -
空間を認識する - 取り込みから表示まで -
聡 大久保
映像情報メディア学会 立体映像技術研究会(3DIT) [招待講演]「デプスセンサとその応用」の発表資料です. http://www.ite.or.jp/ken/program/index.php?tgs_regid=a5bacacea82fb086cc4a6ef2b050f2c2f673ff48cd98a1d315bb489a9937779a&tgid=ITE-3DIT&lang=
デプスセンサとその応用
デプスセンサとその応用
Norishige Fukushima
SSII2022 [OS3-03] スケーラブルなロボット学習システムに向けて 6月10日 (金) 11:00 - 12:30 メイン会場 登壇者:松嶋 達也 氏(東京大学) 概要:DNNを用いたロボット学習アルゴリズムを用いて、動画のような高次元の入力からロボットの制御方策を学習することが可能になった。これらの手法はサービスロボット領域での応用が期待されているが、タスクや環境の多様性への対処が課題となっている。本講演では、強化学習のようなロボットの制御方策を直接学習する手法において、ロボットシステムから収集し蓄積した「オフライン」のデータを活用する方法について紹介するほか、実際に家庭内のサービスロボットシステム構築の事例紹介を通じて、実世界のロボットシステムの特徴やデータドリブンな手法を取り入れて汎化性・柔軟性を高めるための方法に関して解説する。
SSII2022 [OS3-03] スケーラブルなロボット学習システムに向けて
SSII2022 [OS3-03] スケーラブルなロボット学習システムに向けて
SSII
Unity夏LT大会2017 http://peatix.com/event/288912/ の発表資料です
コールバックと戦う話
コールバックと戦う話
torisoup
昨今、データベース技術は、多様な広がりを見せています。中でも時系列データベースは、サーバーのメトリクスやセンサーデータなど、身近なものから得られる時系列のデータの扱いに長けています。本セッションでは、最近ホットな時系列DBであるInfluxDBおよびTelegraf,Grafana,Kapacitorを用い、実際の環境構築からユーザ定義関数による時系列データの異常検知の可視化まで、全ての流れをセッション内でお見せします。
[db tech showcase Tokyo 2017] E21: InfluxDB+αで時系列データの異常検知を可視化してみた by 株式会社インサイ...
[db tech showcase Tokyo 2017] E21: InfluxDB+αで時系列データの異常検知を可視化してみた by 株式会社インサイ...
Insight Technology, Inc.
アプリ「ニュースパス」のクローラーアーキテクチャの解説です。
ニュースパスのクローラーアーキテクチャとマイクロサービス
ニュースパスのクローラーアーキテクチャとマイクロサービス
mosa siru
2021/11/06 オンライン勉強会 「RTBにおける機械学習の活用事例」 https://microad.connpass.com/event/229093/
RTBにおける機械学習の活用事例
RTBにおける機械学習の活用事例
MicroAd, Inc.(Engineer)
アプリ「ニュースパス」をマイクロサービスで開発してみた泥臭い体験談です。
マイクロにしすぎた結果がこれだよ!
マイクロにしすぎた結果がこれだよ!
mosa siru
AWS Dev Day 資料: 開発者におくるサーバーレスモニタリング
開発者におくるサーバーレスモニタリング
開発者におくるサーバーレスモニタリング
Amazon Web Services Japan
サイボウズLive → サイボウズ Office 乗り換え提案資料
サイボウズLive → サイボウズ Office 乗り換え提案資料
サイボウズLive → サイボウズ Office 乗り換え提案資料
Cybozucommunity
Mais procurados
(20)
OpenVRやOpenXRの基本的なことを調べてみた
OpenVRやOpenXRの基本的なことを調べてみた
CEDEC2019 大規模モバイルゲーム運用におけるマスタデータ管理事例
CEDEC2019 大規模モバイルゲーム運用におけるマスタデータ管理事例
Foss4G Japan 2021 シェープファイルの真の後継規格 FlatGeobufの普及啓蒙活動
Foss4G Japan 2021 シェープファイルの真の後継規格 FlatGeobufの普及啓蒙活動
AI x OpenCV x WebAR: Selfie Segmentationを使ってみよう
AI x OpenCV x WebAR: Selfie Segmentationを使ってみよう
SSII2022 [OS3-01] 深層学習のための効率的なデータ収集と活用
SSII2022 [OS3-01] 深層学習のための効率的なデータ収集と活用
「ユニティちゃんを踊らせよう!」モーションキャプチャーデータのアニメーション演出
「ユニティちゃんを踊らせよう!」モーションキャプチャーデータのアニメーション演出
AWSではじめるMLOps
AWSではじめるMLOps
協調フィルタリング入門
協調フィルタリング入門
え!?データがオンプレにあるけどPower BI で BI したいの?
え!?データがオンプレにあるけどPower BI で BI したいの?
スマホゲームのチート手法とその対策 [DeNA TechCon 2019]
スマホゲームのチート手法とその対策 [DeNA TechCon 2019]
空間を認識する - 取り込みから表示まで -
空間を認識する - 取り込みから表示まで -
デプスセンサとその応用
デプスセンサとその応用
SSII2022 [OS3-03] スケーラブルなロボット学習システムに向けて
SSII2022 [OS3-03] スケーラブルなロボット学習システムに向けて
コールバックと戦う話
コールバックと戦う話
[db tech showcase Tokyo 2017] E21: InfluxDB+αで時系列データの異常検知を可視化してみた by 株式会社インサイ...
[db tech showcase Tokyo 2017] E21: InfluxDB+αで時系列データの異常検知を可視化してみた by 株式会社インサイ...
ニュースパスのクローラーアーキテクチャとマイクロサービス
ニュースパスのクローラーアーキテクチャとマイクロサービス
RTBにおける機械学習の活用事例
RTBにおける機械学習の活用事例
マイクロにしすぎた結果がこれだよ!
マイクロにしすぎた結果がこれだよ!
開発者におくるサーバーレスモニタリング
開発者におくるサーバーレスモニタリング
サイボウズLive → サイボウズ Office 乗り換え提案資料
サイボウズLive → サイボウズ Office 乗り換え提案資料
Destaque
2017年9月18日 夏のトップカンファレンス論文読み会(CVPR/ICML/KDD etc.) での発表内容です. https://abeja-innovation-meetup.connpass.com/event/63466/ コンピュータビジョン分野の「今」を映す挑戦です。論文読破・まとめ・アイディア考案・議論・実装・論文執筆(・社会実装)に至るまで広く取り組み、その過程で出てきたあらゆる知識を共有します。 2015〜2016年は1,600本以上の論文まとめを全て公開し、著名な国際会議のWSにおいて受賞を経験しました。2017年はさらにアウトプットにこだわり、突出した成果を出すことを目標とします。 SlideShareにて論文まとめや講演資料を公開し、Twitterでも情報を共有しております。 cvpaper.challenge https://sites.google.com/site/cvpaperchallenge/home Twitterで論文情報を随時アップしてます. Twitter: https://twitter.com/CVpaperChalleng 質問コメント等がありましたらメールまで. Mail : cvpaper.challenge@gmail.com
コンピュータビジョンの今を映す-CVPR 2017 速報より- (夏のトップカンファレンス論文読み会)
コンピュータビジョンの今を映す-CVPR 2017 速報より- (夏のトップカンファレンス論文読み会)
cvpaper. challenge
オレシカナイト第3回での発表資料です。 https://cyberagent.connpass.com/event/64176/
ストリーム処理エンジン「Zero」の開発と運用
ストリーム処理エンジン「Zero」の開発と運用
Eiichi Sato
オレシカナイト vol.3 の登壇資料です。 さまざまな配信にまつわる設定を、実際の広告配信に反映させるための配信制御アーキテクチャを、初期ローンチ後1年半で刷新するにいたった経緯と、そこからの長い戦いの歴史を赤裸々に公開します。
Ameba広告の配信制御アーキテクチャを刷新した話 ~オレシカナイトvol.3~
Ameba広告の配信制御アーキテクチャを刷新した話 ~オレシカナイトvol.3~
Yusuke Komahara
Draftは、中小企業向けのWebマーケティング支援の総合プラットフォームです。 中小企業とWebマーケティングの専門家をマッチングするクラウドソーシングや無料相談サービス、Webマーケティングダッシュボードの提供、ニュースやセミナー情報のキュレーションを通じて、Webマーケティングのはじめの一歩に寄り添います。 https://www.draft.partners Draftには、全国25都道府県から約500名の専門家が登録しており、コンサルティング、ネット広告運用、Webサイト・バナー制作、アクセス解析、コンテンツライティングなど様々な角度から中小企業のWebマーケティングを支援します。 中小企業・ベンチャー・スタートアップの経営者様やマーケティングご担当者様はぜひご覧ください。
【Draft】サービス説明資料2017.03.01
【Draft】サービス説明資料2017.03.01
Kohta Wada
ICCV 2017 ( http://iccv2017.thecvf.com/ )の参加速報を書きました。合計で約160ページあります。 この資料には下記の項目が含まれています。 ・DNNの概要(DNN以前の歴史や最近の動向) ・ICCV 2017での動向や気付き ・これから引用されそう(流行りそう)な論文 ・フォーカスすべき研究分野 ・今後の方針 ・論文まとめ(約90本あります) cvpaper.challengeはコンピュータビジョン分野の「今」を映す挑戦です。論文読破・まとめ・アイディア考案・議論・実装・論文執筆(・社会実装)に至るまで広く取り組み、あらゆる知識を共有します。 https://sites.google.com/site/cvpaperchallenge/
ICCV 2017 速報
ICCV 2017 速報
cvpaper. challenge
Deep半教師あり学習の最先端手法を、Ladder Networkを中心に紹介します。 Generative models, VAT, Ladder Network
NIPS2015読み会: Ladder Networks
NIPS2015読み会: Ladder Networks
Eiichi Matsumoto
Destaque
(6)
コンピュータビジョンの今を映す-CVPR 2017 速報より- (夏のトップカンファレンス論文読み会)
コンピュータビジョンの今を映す-CVPR 2017 速報より- (夏のトップカンファレンス論文読み会)
ストリーム処理エンジン「Zero」の開発と運用
ストリーム処理エンジン「Zero」の開発と運用
Ameba広告の配信制御アーキテクチャを刷新した話 ~オレシカナイトvol.3~
Ameba広告の配信制御アーキテクチャを刷新した話 ~オレシカナイトvol.3~
【Draft】サービス説明資料2017.03.01
【Draft】サービス説明資料2017.03.01
ICCV 2017 速報
ICCV 2017 速報
NIPS2015読み会: Ladder Networks
NIPS2015読み会: Ladder Networks
Semelhante a iQONを支えるクローラーの裏側
「ネットワーク分散型フレームワーク ConView」 2009年10月24日に行われた、楽天テクノロジーカンファレンス2009での発表資料です。 http://tech.rakuten.co.jp/rtc2009/
ネットワーク分散型フレームワークConView
ネットワーク分散型フレームワークConView
Rakuten Group, Inc.
2013 年 09 月 21 日に名古屋MS系秋祭りで弊社の池原 (@Neri78) がお話させていただいたスライドです。
デバイス時代の Web UI コンポーネント活用
デバイス時代の Web UI コンポーネント活用
インフラジスティックス・ジャパン株式会社
Css nite(2010.09.23)
Css nite(2010.09.23)
Yoshiki Ushida
at Infragistics Webinar
モバイル対応Ui部品を利用したレスポンシブwebアプリ開発
モバイル対応Ui部品を利用したレスポンシブwebアプリ開発
Satoru Yamaguchi
ニコニコ動画iOSアプリの UX・マネタイズ・技術の話
ニコニコ動画iOSアプリの UX・マネタイズ・技術の話
Kentaro Matsumae
福井スマートフォンハッカソン Titanium Mobileの紹介
福井スマートフォンハッカソン Titanium Mobileの紹介
Mori Shingo
splunklive 2014 Tokyo/Osaka での発表資料です。 楽天で展開しているSplunkの共通基盤である、Splunk as a Serviceのご紹介をします。 設計、構築時に考慮した点やSplunk APIを利用した運用改善、また、社内での活用事例についてもお話します。
楽天のSplunk as a service
楽天のSplunk as a service
Rakuten Group, Inc.
Softbank NAO の開発環境の紹介
NAO Workshop #1
NAO Workshop #1
Takuji Kawata
20120413 nestakabaneworkshop
20120413 nestakabaneworkshop
Yoichiro Sakurai
2016-04-22 MonotaRO TechTalk #1 の講演資料です。 モノタロウが取り扱う900万点の商品の情報に様々なキャンペーン情報を加味し、Solrによる検索と連動してユーザに提供し続けているインデクサシステムの現状と課題についてお話しします。
モノタロウの商品データ連携について
モノタロウの商品データ連携について
株式会社MonotaRO Tech Team
https://pages.soracom.jp/SORACOMUGExplorer-2018_LP1.html 【画像出典】 ITmedia様 ギア部品の検品をAIで自動化、武蔵精密工業が自社内で試験運用へ http://image.itmedia.co.jp/l/im/mn/articles/1804/09/l_sp_180409musashi_01.jpg
SORACOM UG Explorer 2018 - IoTxAIを活用した小売業向け店舗解析サービスの仕組みとノウハウ
SORACOM UG Explorer 2018 - IoTxAIを活用した小売業向け店舗解析サービスの仕組みとノウハウ
紘之 大田黒
20120316 designerworkshoppublished
20120316 designerworkshoppublished
Yoichiro Sakurai
iOSアプリとRaspberry pi2を利用した見守りシステム 「IBM Bluemix Challenge 2015」にてサービスメガ盛り賞を受賞 CAMSSイベントにて発表した内容になります。
みまもりWATニャン
みまもりWATニャン
K Inoya
Androidマーケティングに不可欠な15の活動(改) 20111222
Androidマーケティングに不可欠な15の活動(改) 20111222
Hiromitsu Ishimori
日本Androidの会会津支部主催の「「HTML5とANDROIDの未来」がテーマのセミナー。 その中でデザイニウム浅井が発表したスライド資料になります。
Android以外os(OpenWebAppについて)
Android以外os(OpenWebAppについて)
Wataru Asai
Monacaで簡単スマートフォンアプリ開発体験講座
Monacaで簡単スマートフォンアプリ開発体験講座
Monaca
MT東京 - 21: Data API 3.0 のスライド
概説 Data API v3
概説 Data API v3
Yuji Takayama
2022/3/11 に行われた Observability Conference 2022 での資料です。 Observability tool の「New Relic One」の事例登壇として参加させていただきました。 === Track A 2022/03/11 15:05-15:45 『NewsPicks のプロダクト開発エンジニアが実践する スキルとしての SRE』 https://event.cloudnativedays.jp/o11y2022/talks/1383
[Observability conference 2022/3/11] NewsPicks のプロダクト開発エンジニアが実践するスキルとしての SRE
[Observability conference 2022/3/11] NewsPicks のプロダクト開発エンジニアが実践するスキルとしての SRE
Iida Yukako
2018/3/13
React Native(Expo)ではじめる"ゆとり"モバイルアプリ開発
React Native(Expo)ではじめる"ゆとり"モバイルアプリ開発
Show Izumiya
Sharoid Service Menu
Sharoid Service Menu
sharoid
Semelhante a iQONを支えるクローラーの裏側
(20)
ネットワーク分散型フレームワークConView
ネットワーク分散型フレームワークConView
デバイス時代の Web UI コンポーネント活用
デバイス時代の Web UI コンポーネント活用
Css nite(2010.09.23)
Css nite(2010.09.23)
モバイル対応Ui部品を利用したレスポンシブwebアプリ開発
モバイル対応Ui部品を利用したレスポンシブwebアプリ開発
ニコニコ動画iOSアプリの UX・マネタイズ・技術の話
ニコニコ動画iOSアプリの UX・マネタイズ・技術の話
福井スマートフォンハッカソン Titanium Mobileの紹介
福井スマートフォンハッカソン Titanium Mobileの紹介
楽天のSplunk as a service
楽天のSplunk as a service
NAO Workshop #1
NAO Workshop #1
20120413 nestakabaneworkshop
20120413 nestakabaneworkshop
モノタロウの商品データ連携について
モノタロウの商品データ連携について
SORACOM UG Explorer 2018 - IoTxAIを活用した小売業向け店舗解析サービスの仕組みとノウハウ
SORACOM UG Explorer 2018 - IoTxAIを活用した小売業向け店舗解析サービスの仕組みとノウハウ
20120316 designerworkshoppublished
20120316 designerworkshoppublished
みまもりWATニャン
みまもりWATニャン
Androidマーケティングに不可欠な15の活動(改) 20111222
Androidマーケティングに不可欠な15の活動(改) 20111222
Android以外os(OpenWebAppについて)
Android以外os(OpenWebAppについて)
Monacaで簡単スマートフォンアプリ開発体験講座
Monacaで簡単スマートフォンアプリ開発体験講座
概説 Data API v3
概説 Data API v3
[Observability conference 2022/3/11] NewsPicks のプロダクト開発エンジニアが実践するスキルとしての SRE
[Observability conference 2022/3/11] NewsPicks のプロダクト開発エンジニアが実践するスキルとしての SRE
React Native(Expo)ではじめる"ゆとり"モバイルアプリ開発
React Native(Expo)ではじめる"ゆとり"モバイルアプリ開発
Sharoid Service Menu
Sharoid Service Menu
Último
LoRaWANスマート距離検出センサー DS20Lカタログ
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
Jue Wang, Wentao Zhu, Pichao Wang, Xiang Yu, Linda Liu, Mohamed Omar, Raffay Hamid, " Selective Structured State-Spaces for Long-Form Video Understanding" CVPR2023 https://openaccess.thecvf.com/content/CVPR2023/html/Wang_Selective_Structured_State-Spaces_for_Long-Form_Video_Understanding_CVPR_2023_paper.html
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
NewSQLの可用性構成パターン (OCHaCafe Season 8 #4 発表資料) 2024年5月8日(水) NTTデータグループ 技術開発本部 小林 隆浩
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
2022年10月27日に社内向けに開催した勉強会資料の社外公開版です(発表8分程度)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Hiroshi Tomioka
Syed Talal Wasim, Muzammal Naseer, Salman Khan, Ming-Hsuan Yang, Fahad Shahbaz Khan , "Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Grounding" arXiv2024 https://arxiv.org/abs/2401.00901v2
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
2024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
2024年4月に社内向けに開催した勉強会資料の社外公開版です
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
2024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
This is an introduction to MAPPO's paper.
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
Último
(11)
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
iQONを支えるクローラーの裏側
1.
iQONを支えるクローラーの裏側 VASILY,Inc. 塩 健弘
2.
塩 健弘 大学時代はロボコンで8bitマイコンを使ったり 原子核物理の研究でFPGAを使った信号処理ボードを作ったり 2015年にVASILYに新卒入社して、クローラーの刷新をしたり VASILY, Inc. software
engineer
3.
日本最大級の ファッションアプリ [特徴] ユーザーがファッションアイテムを組み合わせてコーデを作れる
4.
気に入ったアイテムがあったら、 その場でECサイトに飛んでお買い物できる 提携ECサイト
5.
日本中のECサイトの商品情報をクローリング (価格、写真、在庫 etc.)
6.
クロール対象の ECサイト: 約400サイト 商品数:約700万商品
7.
全体構成 Download Worker Parse Worker Sync Worker ImageProcess Worker Download Worker ImageProcess Worker ・・・ ・・・ ・・・ ・・・ クローリング処理を4つの段階に分けて分散処理 • ページダウンロード • DOM解析 •
マスターテーブルへの同期 • 画像処理 ECサイト Sync Worker Parse Worker
8.
ワーカー間のメッセージパッシング Message Queue (Redis) dequeue JOB Sidekiqを利用した Producer-Consumerパターン WorkerA WorkerB WorkerA WorkerB ・・・ ・・・ enqueue JOB
9.
ページダウンロード Download Worker Download Worker Message Queue ECサイト Sender ・・・ Message Queue 1. enqueue MySQL 2.
dequeue 3. lock DistMutex 4. download 5. save 6. enqueue
10.
Download Worker Download Worker Message Queue ECサイト Sender ・・・ Message Queue 1. enqueue MySQL 2.
dequeue 3. lock DistMutex 4. download 5. save 6. enqueue ページダウンロード
11.
Download Worker Download Worker Message Queue ECサイト Sender ・・・ Message Queue 1. enqueue MySQL 2.
dequeue 3. lock DistMutex 4. download 5. save 6. enqueue ページダウンロード クロール対象URLを決定 ECサイト 商品リストページ 過去にクロールした商品 (in DB)
12.
Download Worker Download Worker Message Queue ECサイト Sender ・・・ Message Queue 1. enqueue MySQL 2.
dequeue 3. lock DistMutex 4. download 5. save 6. enqueue ページダウンロード
13.
Download Worker Download Worker Sidekiq queue ECサイト Sender ・・・ Message Queue 1. enqueue MySQL 2.
dequeue 3. lock DistMutex 4. download 5. save 6. enqueue ページダウンロード スケジューリング 1 request / s という紳士協定 時限付き分散Lock (https://github.com/vasilyjp/redis- dist-mutex) →ワーカーの稼働率向上 [Ref] vasily tech blog Redis::DistMutex 時限付き分散ロックで効率 良くサイトクロールをしよう (http://tech.vasily.jp/crawl-sites-with- redis-dist-mutex/)
14.
Download Worker Download Worker Sidekiq queue ECサイト Sender ・・・ Sidekiq queue 1. enqueue MySQL 2.
dequeue 3. lock DistMutex 4. download 5. save 6. enqueue ページダウンロード
15.
Download Worker Download Worker Sidekiq queue ECサイト Sender ・・・ Sidekiq queue 1. enqueue MySQL 2.
dequeue 3. lock DistMutex 4. download 5. save 6. enqueue ページダウンロード ダウンロード open-uriでは機能不足 ・リダイレクト時の処理 ・POSTリクエスト ・UserAgent → net/httpをベースにした HTTPクライアントを実装
16.
Download Worker Download Worker Sidekiq queue ECサイト Sender ・・・ Sidekiq queue 1. enqueue MySQL 2.
dequeue 3. lock DistMutex 4. download 5. save 6. enqueue ページダウンロード
17.
DOM解析 Parse Worker Parse Worker Message Queue ・・・ Message Queue DynamoDB 1. dequeue 4. save 5.
enqueue DSL (XPATH, RegExp, etc.) rubyコード片 CrawlerGenerator generate 3. include3. include MySQL 2. load
18.
DOM解析 Parse Worker Parse Worker Message Queue ・・・ Message Queue DynamoDB 2. dequeue 3. save 4.
enqueue DSL (XPATH, RegExp, etc.) rubyコード片 CrawlerGenerator generate includeinclude CrawlerGenerator クローラー作成を効率化するための社内ツール 項目抽出のための設定を入稿できる
19.
クローラー大量生産の課題 ECサイトごとに抽出するデータの場所が異なる 15項目 400サイト =
6000項目
20.
CrawlerGenerator クローラー作成を効率化するための社内ツール • 項目抽出のための設定(XPATH, 正規表現,
文字列操作)を入稿可能 • 入稿した項目はその場で正しいかどうかをプレビュー可能 • ツールでは手に負えない時にはrubyコードをマージすることも可能
21.
CrawlerGenerator このツールを使用してクローラーを作ったのは非エンジニア XPATHと正規表現のマニュアルを整備し、誰でもクローラーが作れるように
22.
CrawlerGenerator • Chromeの拡張機能 XPATH
Helperも利用 • XPATHを効率的に抽出 XPATH Helper(https://chrome.google.com/webstore/detail/xpath-helper/hgimnogjllphhhkhlmebbmlgjoejdpjl)
23.
DOM解析 Parse Worker Parse Worker Message Queue ・・・ Message Queue DynamoDB 4. save 5. enqueue DSL (XPATH,
RegExp, etc.) rubyコード片 CrawlerGenerator generate 3. include3. include dequeueしたジョブ毎に、 別々の設定をincluce MySQL 2. load 1. dequeue
24.
DOM解析 Parse Worker Parse Worker Message Queue ・・・ Message Queue DynamoDB 4. save 5. enqueue DSL (XPATH,
RegExp, etc.) rubyコード片 CrawlerGenerator generate 3. include3. include 解析結果のデータを DynamoDBに保存 MySQL 2. load 1. dequeue
25.
商品カテゴリの自動分類 MeCabを利用した形態素解析 カテゴリーを表現している単語の抽出 iQONのカテゴリーにマッピング ブランド情報と照合して異常を排除 テキスト情報を使用 • 商品名 • 商品説明文 •
パンくずリスト
26.
商品カテゴリの自動分類 MeCabを利用した形態素解析 • 基本的にはIPA辞書と新語辞書(mecab-ipadic-neologd)を使用 • ファッションアイテム名やブランド名が不十分だったので、 ファッション用語数万語を独自に追加 まるでぬいぐるみのような思わず抱きしめたくなるアイテムです。 まるで
ぬいぐるみ の ような 思わ ず 抱きしめ たく なる アイテム です 。
27.
商品カテゴリの自動分類 カテゴリーを表現している単語を抽出 印象的な幾何学柄のジャガードニットプルオーバー。インパクトのあるモード なアイテムですが、モノトーンカラーなので、様々なボトムに合わせやすいです。繊 細なプリーツスカートやギャザースカートなどフェミニンアイテムとも 好相性です。 • カテゴリー判定の判断材料となる単語を自動抽出 • 複数個の単語が検出された場合は文脈を考慮して1つに絞り込む ニットプルオーバー
28.
商品カテゴリの自動分類 iQONのカテゴリーにマッピング セーター ニットプルオーバー ニット 傘 Umbrella レインブーツ レイングッズ 抽出された単語をiQONのカテゴリーに変換
29.
商品カテゴリの自動分類 ブランド情報と照合して異常を排除 ブランド カテゴリーの組み合わせがアリエナイ判定結果を排除 • 過去の人力判定結果から条件付確率
p(カテゴリ¦ブランド)を求める • 扱っているカテゴリーがほぼ1つのブランドの誤判定の抑制に効果的
30.
商品カテゴリの分類 約100カテゴリへの分類で精度97%を達成 ワンピース スカート パンプス
31.
マスターテーブルへの同期 Sync Worker Sync Worker Message Queue ・・・ Message Queue MySQL 1. dequeue 3. save 4.
enqueue if item is new DyamoDB 2. load ParseWorkerがMySQLに対して直接書き込むと MySQLへの負荷が高まるので適度に速度を抑える
32.
画像処理 アイテム単体画像の判定 (モデル着用画像、 マネキン着用画像との区別) 精度97 % 画像の透過処理 (アイテム単体画像のみ)
33.
エラーログの集計 Worker Worker ・・・ ・・・ ECサイトのサイト変更を素早く検知したい →各処理のログを全てBigQueryに保存 & 異常検知 (パース中のエラー、画像処理中のエラー、カテゴリー判定、etc.)
34.
異常検知 BigQuryの内容を集計して自動レポート生成(SpreadSheet) 緊急度が高い異常を検知した時にはslackにアラート 自動集計(daily) アラート
35.
ありがとうございました • クローラーについて聞きたい人お待ちしてます • 興味ある方の入社お待ちしています!
Baixar agora