Enviar pesquisa
Carregar
[DL輪読会]Objects as Points
•
Transferir como PPTX, PDF
•
11 gostaram
•
27,992 visualizações
Deep Learning JP
Seguir
2019/06/14 Deep Learning JP: http://deeplearning.jp/seminar-2/
Leia menos
Leia mais
Tecnologia
Denunciar
Compartilhar
Denunciar
Compartilhar
1 de 27
Baixar agora
Recomendados
Semantic segmentation
Semantic segmentation
Takuya Minagawa
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Yusuke Uchida
【DL輪読会】The Forward-Forward Algorithm: Some Preliminary
【DL輪読会】The Forward-Forward Algorithm: Some Preliminary
Deep Learning JP
「世界モデル」と関連研究について
「世界モデル」と関連研究について
Masahiro Suzuki
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
[DL輪読会]画像を使ったSim2Realの現況
[DL輪読会]画像を使ったSim2Realの現況
Deep Learning JP
[DL輪読会]Focal Loss for Dense Object Detection
[DL輪読会]Focal Loss for Dense Object Detection
Deep Learning JP
ResNetの仕組み
ResNetの仕組み
Kota Nagasato
Recomendados
Semantic segmentation
Semantic segmentation
Takuya Minagawa
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Yusuke Uchida
【DL輪読会】The Forward-Forward Algorithm: Some Preliminary
【DL輪読会】The Forward-Forward Algorithm: Some Preliminary
Deep Learning JP
「世界モデル」と関連研究について
「世界モデル」と関連研究について
Masahiro Suzuki
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
[DL輪読会]画像を使ったSim2Realの現況
[DL輪読会]画像を使ったSim2Realの現況
Deep Learning JP
[DL輪読会]Focal Loss for Dense Object Detection
[DL輪読会]Focal Loss for Dense Object Detection
Deep Learning JP
ResNetの仕組み
ResNetの仕組み
Kota Nagasato
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
Yusuke Uchida
モデル高速化百選
モデル高速化百選
Yusuke Uchida
[DL輪読会]ICLR2020の分布外検知速報
[DL輪読会]ICLR2020の分布外検知速報
Deep Learning JP
[DL輪読会]DropBlock: A regularization method for convolutional networks
[DL輪読会]DropBlock: A regularization method for convolutional networks
Deep Learning JP
[DL輪読会]“SimPLe”,“Improved Dynamics Model”,“PlaNet” 近年のVAEベース系列モデルの進展とそのモデルベース...
[DL輪読会]“SimPLe”,“Improved Dynamics Model”,“PlaNet” 近年のVAEベース系列モデルの進展とそのモデルベース...
Deep Learning JP
【DL輪読会】Contrastive Learning as Goal-Conditioned Reinforcement Learning
【DL輪読会】Contrastive Learning as Goal-Conditioned Reinforcement Learning
Deep Learning JP
coordinate descent 法について
coordinate descent 法について
京都大学大学院情報学研究科数理工学専攻
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII
Attentionの基礎からTransformerの入門まで
Attentionの基礎からTransformerの入門まで
AGIRobots
【DL輪読会】Emergence of maps in the memories of blind navigation agents
【DL輪読会】Emergence of maps in the memories of blind navigation agents
Deep Learning JP
【DL輪読会】DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Dri...
【DL輪読会】DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Dri...
Deep Learning JP
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
Deep Learning JP
[DL輪読会]GQNと関連研究,世界モデルとの関係について
[DL輪読会]GQNと関連研究,世界モデルとの関係について
Deep Learning JP
モデルアーキテクチャ観点からのDeep Neural Network高速化
モデルアーキテクチャ観点からのDeep Neural Network高速化
Yusuke Uchida
実装レベルで学ぶVQVAE
実装レベルで学ぶVQVAE
ぱんいち すみもと
[DL輪読会]YOLOv4: Optimal Speed and Accuracy of Object Detection
[DL輪読会]YOLOv4: Optimal Speed and Accuracy of Object Detection
Deep Learning JP
【DL輪読会】DINOv2: Learning Robust Visual Features without Supervision
【DL輪読会】DINOv2: Learning Robust Visual Features without Supervision
Deep Learning JP
【DL輪読会】NeRF-VAE: A Geometry Aware 3D Scene Generative Model
【DL輪読会】NeRF-VAE: A Geometry Aware 3D Scene Generative Model
Deep Learning JP
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
Yusuke Uchida
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
cvpaper. challenge
[DL輪読会]M2Det: A Single-Shot Object Detector based on Multi-Level Feature Pyra...
[DL輪読会]M2Det: A Single-Shot Object Detector based on Multi-Level Feature Pyra...
Deep Learning JP
[DLHacks 実装]Network Dissection: Quantifying Interpretability of Deep Visual R...
[DLHacks 実装]Network Dissection: Quantifying Interpretability of Deep Visual R...
Deep Learning JP
Mais conteúdo relacionado
Mais procurados
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
Yusuke Uchida
モデル高速化百選
モデル高速化百選
Yusuke Uchida
[DL輪読会]ICLR2020の分布外検知速報
[DL輪読会]ICLR2020の分布外検知速報
Deep Learning JP
[DL輪読会]DropBlock: A regularization method for convolutional networks
[DL輪読会]DropBlock: A regularization method for convolutional networks
Deep Learning JP
[DL輪読会]“SimPLe”,“Improved Dynamics Model”,“PlaNet” 近年のVAEベース系列モデルの進展とそのモデルベース...
[DL輪読会]“SimPLe”,“Improved Dynamics Model”,“PlaNet” 近年のVAEベース系列モデルの進展とそのモデルベース...
Deep Learning JP
【DL輪読会】Contrastive Learning as Goal-Conditioned Reinforcement Learning
【DL輪読会】Contrastive Learning as Goal-Conditioned Reinforcement Learning
Deep Learning JP
coordinate descent 法について
coordinate descent 法について
京都大学大学院情報学研究科数理工学専攻
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII
Attentionの基礎からTransformerの入門まで
Attentionの基礎からTransformerの入門まで
AGIRobots
【DL輪読会】Emergence of maps in the memories of blind navigation agents
【DL輪読会】Emergence of maps in the memories of blind navigation agents
Deep Learning JP
【DL輪読会】DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Dri...
【DL輪読会】DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Dri...
Deep Learning JP
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
Deep Learning JP
[DL輪読会]GQNと関連研究,世界モデルとの関係について
[DL輪読会]GQNと関連研究,世界モデルとの関係について
Deep Learning JP
モデルアーキテクチャ観点からのDeep Neural Network高速化
モデルアーキテクチャ観点からのDeep Neural Network高速化
Yusuke Uchida
実装レベルで学ぶVQVAE
実装レベルで学ぶVQVAE
ぱんいち すみもと
[DL輪読会]YOLOv4: Optimal Speed and Accuracy of Object Detection
[DL輪読会]YOLOv4: Optimal Speed and Accuracy of Object Detection
Deep Learning JP
【DL輪読会】DINOv2: Learning Robust Visual Features without Supervision
【DL輪読会】DINOv2: Learning Robust Visual Features without Supervision
Deep Learning JP
【DL輪読会】NeRF-VAE: A Geometry Aware 3D Scene Generative Model
【DL輪読会】NeRF-VAE: A Geometry Aware 3D Scene Generative Model
Deep Learning JP
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
Yusuke Uchida
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
cvpaper. challenge
Mais procurados
(20)
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
モデル高速化百選
モデル高速化百選
[DL輪読会]ICLR2020の分布外検知速報
[DL輪読会]ICLR2020の分布外検知速報
[DL輪読会]DropBlock: A regularization method for convolutional networks
[DL輪読会]DropBlock: A regularization method for convolutional networks
[DL輪読会]“SimPLe”,“Improved Dynamics Model”,“PlaNet” 近年のVAEベース系列モデルの進展とそのモデルベース...
[DL輪読会]“SimPLe”,“Improved Dynamics Model”,“PlaNet” 近年のVAEベース系列モデルの進展とそのモデルベース...
【DL輪読会】Contrastive Learning as Goal-Conditioned Reinforcement Learning
【DL輪読会】Contrastive Learning as Goal-Conditioned Reinforcement Learning
coordinate descent 法について
coordinate descent 法について
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
Attentionの基礎からTransformerの入門まで
Attentionの基礎からTransformerの入門まで
【DL輪読会】Emergence of maps in the memories of blind navigation agents
【DL輪読会】Emergence of maps in the memories of blind navigation agents
【DL輪読会】DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Dri...
【DL輪読会】DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Dri...
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
[DL輪読会]GQNと関連研究,世界モデルとの関係について
[DL輪読会]GQNと関連研究,世界モデルとの関係について
モデルアーキテクチャ観点からのDeep Neural Network高速化
モデルアーキテクチャ観点からのDeep Neural Network高速化
実装レベルで学ぶVQVAE
実装レベルで学ぶVQVAE
[DL輪読会]YOLOv4: Optimal Speed and Accuracy of Object Detection
[DL輪読会]YOLOv4: Optimal Speed and Accuracy of Object Detection
【DL輪読会】DINOv2: Learning Robust Visual Features without Supervision
【DL輪読会】DINOv2: Learning Robust Visual Features without Supervision
【DL輪読会】NeRF-VAE: A Geometry Aware 3D Scene Generative Model
【DL輪読会】NeRF-VAE: A Geometry Aware 3D Scene Generative Model
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
Semelhante a [DL輪読会]Objects as Points
[DL輪読会]M2Det: A Single-Shot Object Detector based on Multi-Level Feature Pyra...
[DL輪読会]M2Det: A Single-Shot Object Detector based on Multi-Level Feature Pyra...
Deep Learning JP
[DLHacks 実装]Network Dissection: Quantifying Interpretability of Deep Visual R...
[DLHacks 実装]Network Dissection: Quantifying Interpretability of Deep Visual R...
Deep Learning JP
深層学習(岡本孝之 著) - Deep Learning chap.1 and 2
深層学習(岡本孝之 著) - Deep Learning chap.1 and 2
Masayoshi Kondo
Object Detection & Instance Segmentationの論文紹介 | OHS勉強会#3
Object Detection & Instance Segmentationの論文紹介 | OHS勉強会#3
Toshinori Hanya
opensource and accessibility (Dec2000) Part 2
opensource and accessibility (Dec2000) Part 2
Takuya Nishimoto
[DLHacks 実装] DeepPose: Human Pose Estimation via Deep Neural Networks
[DLHacks 実装] DeepPose: Human Pose Estimation via Deep Neural Networks
Deep Learning JP
[DL輪読会]A System for General In-Hand Object Re-Orientation
[DL輪読会]A System for General In-Hand Object Re-Orientation
Deep Learning JP
[DL輪読会]モデルベース強化学習とEnergy Based Model
[DL輪読会]モデルベース強化学習とEnergy Based Model
Deep Learning JP
[DL Hacks] Objects as Points
[DL Hacks] Objects as Points
Deep Learning JP
研究室輪読 Feature Learning for Activity Recognition in Ubiquitous Computing
研究室輪読 Feature Learning for Activity Recognition in Ubiquitous Computing
Yusuke Iwasawa
輪講用資料「Mitosis Detection in Breast Cancer Histology Images with Deep Neural Ne...
輪講用資料「Mitosis Detection in Breast Cancer Histology Images with Deep Neural Ne...
Saya Katafuchi
CVPR2017 参加報告 速報版 本会議 2日目
CVPR2017 参加報告 速報版 本会議 2日目
Atsushi Hashimoto
「解説資料」ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
「解説資料」ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
Takumi Ohkuma
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
Deep Learning JP
[DL Hacks]Semantic Instance Segmentation with a Discriminative Loss Function
[DL Hacks]Semantic Instance Segmentation with a Discriminative Loss Function
Deep Learning JP
An efficient framework for learning sentence representations
An efficient framework for learning sentence representations
Yuya Soneoka
Semelhante a [DL輪読会]Objects as Points
(16)
[DL輪読会]M2Det: A Single-Shot Object Detector based on Multi-Level Feature Pyra...
[DL輪読会]M2Det: A Single-Shot Object Detector based on Multi-Level Feature Pyra...
[DLHacks 実装]Network Dissection: Quantifying Interpretability of Deep Visual R...
[DLHacks 実装]Network Dissection: Quantifying Interpretability of Deep Visual R...
深層学習(岡本孝之 著) - Deep Learning chap.1 and 2
深層学習(岡本孝之 著) - Deep Learning chap.1 and 2
Object Detection & Instance Segmentationの論文紹介 | OHS勉強会#3
Object Detection & Instance Segmentationの論文紹介 | OHS勉強会#3
opensource and accessibility (Dec2000) Part 2
opensource and accessibility (Dec2000) Part 2
[DLHacks 実装] DeepPose: Human Pose Estimation via Deep Neural Networks
[DLHacks 実装] DeepPose: Human Pose Estimation via Deep Neural Networks
[DL輪読会]A System for General In-Hand Object Re-Orientation
[DL輪読会]A System for General In-Hand Object Re-Orientation
[DL輪読会]モデルベース強化学習とEnergy Based Model
[DL輪読会]モデルベース強化学習とEnergy Based Model
[DL Hacks] Objects as Points
[DL Hacks] Objects as Points
研究室輪読 Feature Learning for Activity Recognition in Ubiquitous Computing
研究室輪読 Feature Learning for Activity Recognition in Ubiquitous Computing
輪講用資料「Mitosis Detection in Breast Cancer Histology Images with Deep Neural Ne...
輪講用資料「Mitosis Detection in Breast Cancer Histology Images with Deep Neural Ne...
CVPR2017 参加報告 速報版 本会議 2日目
CVPR2017 参加報告 速報版 本会議 2日目
「解説資料」ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
「解説資料」ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
[DL Hacks]Semantic Instance Segmentation with a Discriminative Loss Function
[DL Hacks]Semantic Instance Segmentation with a Discriminative Loss Function
An efficient framework for learning sentence representations
An efficient framework for learning sentence representations
Mais de Deep Learning JP
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
Deep Learning JP
【DL輪読会】事前学習用データセットについて
【DL輪読会】事前学習用データセットについて
Deep Learning JP
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
Deep Learning JP
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
Deep Learning JP
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
Deep Learning JP
【DL輪読会】マルチモーダル LLM
【DL輪読会】マルチモーダル LLM
Deep Learning JP
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
Deep Learning JP
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
Deep Learning JP
【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Can Neural Network Memorization Be Localized?
Deep Learning JP
【DL輪読会】Hopfield network 関連研究について
【DL輪読会】Hopfield network 関連研究について
Deep Learning JP
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
Deep Learning JP
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
Deep Learning JP
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
Deep Learning JP
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
Deep Learning JP
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
Deep Learning JP
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
Deep Learning JP
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
Deep Learning JP
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
Deep Learning JP
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
Deep Learning JP
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
Deep Learning JP
Mais de Deep Learning JP
(20)
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
【DL輪読会】事前学習用データセットについて
【DL輪読会】事前学習用データセットについて
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
【DL輪読会】マルチモーダル LLM
【DL輪読会】マルチモーダル LLM
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Hopfield network 関連研究について
【DL輪読会】Hopfield network 関連研究について
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
[DL輪読会]Objects as Points
1.
1 DEEP LEARNING JP [DL
Papers] http://deeplearning.jp/ Objects as Points Shizuma Kubo, Matsuo Lab
2.
書誌情報 • 書誌情報 – Objects
as Points, 通称 CenterNet – 著者: Xingyi Zhou, Dequan Wang, Philipp Krähenbühl – 2019/04/16 on arXiv • 1日違い(2019/04/17)に出たCenterNet (CenterNet: Keypoint Triplets for Object Detection)もあるが、今回の論文とは別。 • 既存の物体認識モデルの考え方から離れ、シンプルな手法を提案。 • YOLOv3やM2Det(前回発表)より速くて精度のいいモデルもできる1stage物体認識 のモデルを達成。 2 引用: https://pjreddie.com/darknet/yolo/
3.
はじめに 3 • シンプルな改良によって、これまで当たり前のように使われていたNMSを利 用する必要がなくなった • 既存の物体認識は
non-maxima suppression (NMS) によって予測のダブリを取り除く必要があった。 NMSは微分できないため学習ができず、end-to- endの学習ができない。 すべての候補領域について予測を出した後に NMSを行うという処理が無駄である。
4.
目次 4 1. 既存の物体認識との違い 2. CenterNetの推論 3.
CenterNetの学習 4. CenterNetの実験 5. CenterNetの応用 6. まとめ
5.
目次 5 1. 既存の物体認識との違い 2. CenterNetの推論 3.
CenterNetの学習 4. CenterNetの実験 5. CenterNetの応用 6. まとめ
6.
既存の物体認識との違い • 物体認識では重複した予測結果を抑制するためにnon-maxima suppression
(NMS) という処理を行うことが一般的。 • IoU (領域の重なり度合い)を計算して、一定の閾値を超えたものを抑制する。 6 候補領域の予測 NMS 画像引用: https://meideru.com/archives/3538
7.
既存の物体認識との違い 7 NMSnetwork 候補領域の計算 入力画像 最終結果 既存の物体認識の例
8.
既存の物体認識との違い 8 NMSnetwork 候補領域の計算 入力画像 最終結果 提案手法
(CenterNet)
9.
既存の物体認識との違い • (a) は暗黙的にアンカーを使うタイプの一般的な物体認識モデル(ex.
SSD、YOLO、 M2Det…)の検出の様子で、(b)はCenterNetの検出の様子。 • (a)は各点に対してバウンディングボックスを予測するのに対し、(b)では中心点 をヒートマップで表す。 9 (a) Standard anchor based model (b) CenterNet
10.
目次 10 1. 既存の物体認識との違い 2. CenterNetの推論 3.
CenterNetの学習 4. CenterNetの実験 5. CenterNetの応用 6. まとめ
11.
提案手法の推論 11 1. 入力画像をbackboneネットワークに入力する。 2. 各クラスごとにkeypoint
heatmap(物体の中心を表すヒートマップ)及 びをlocal offset(物体位置の微調整のため)とobject sizeを出力する。 3. Keypoint heatmapの各点のうち周囲の8つの点以上の値を持つ点を peak値として取得し、その点を物体の中心とする。 4. Keypoint heatmapとlocal offset、object sizeを用いてバウンディング ボックスを計算する。 推論のステップ network 候補領域の計算 1と2 3と4
12.
提案手法の推論 12 network 候補領域の計算 • ネットワークの出力の各点に対する予測の数(チャンネル数)は class数(C)
+ local offset(2) + object size(2) = C + 4 width height 図引用 : https://medium.com/machine-learning-bites/deeplearning-series-convolutional-neural-networks-a9c2f2ee1524
13.
提案手法の推論 13 • Keypoint heatmapの内周囲の8つの点以上の値を持つ点を中心点として 取得し(最大100個)、この中心の値(peak値)をconfidence値として使う。 •
中心点の座標に加え、Local offsetとobject size を用いて以下のように バウンディングボックスの予測を行う。 オフセット: サイズ: バウンディングボックスを計算 (ボックスの座標のx,yの上下): network 候補領域の計算
14.
提案手法の推論 14 • 基本的にはこれで処理は終わりで、既存のモデルのようなNMSの処理 は行わなくてよい。 • ただし、推論時にaugmentationを行うと精度を上げることができる。 •
Flip augmentation: 左右反転させた画像でも予測を行い、両者の平 均を取る。 • Multi-scale augmentation: (0.5, 0.75, 1.0, 1.25, 1.5)の各スケールで予 測を行い、NMSを使って最終的な結果を出す。 N.Aが何もなし、FがFlip、MSが加えてMulti-Scaleの augmentationを実行。結構遅くなる。
15.
提案手法の推論 • 使用するネットワーク Hourglass
(Hourglass-104) 図(a) ResNet (ResNet-18、ResNet-101) 図(b) DLA (DLA-34) 図(d) (一般的なDLA図(c)を少し改良している) 15
16.
目次 16 1. 既存の物体認識との違い 2. CenterNetの推論 3.
CenterNetの学習 4. CenterNetの実験 5. CenterNetの応用 6. まとめ
17.
提案手法の学習 17 Loss全体 : keypoint heatmapに対するロス。(一番のキモ。) :
object sizeに対するロス。 : local offsetに対するロス。 実験中の係数(lambda)はsizeとoffsetそれぞれ0.1と1で行われている。
18.
提案手法の学習 18 • ネットワークへの入力画像のサイズとヒートマップの出力形式 • 教師データも以下のように同様の形式にする。 •
ただし、教師データを中心点を中心にガウシアンカーネルを使って 以下のようにヒートマップ化する。 pは教師データのkeypoint • 同じクラスの物体でヒートマップが重なる場合大きい方を採用する。 提案手法では、出力はR=4の ストライドが設定されている。
19.
提案手法の学習 19 • ヒートマップの学習は以下のfocal lossを使う。 •
Focal lossは簡単に分類できているexample(物体認識ではbackground)の 損失を小さくする工夫をクロスエントロピーに加えたような損失関数。
20.
提案手法の学習 20 Offset loss Size loss •
Offset lossとsize lossはそれぞれ教師データのオフセットとサイズに対して L1ロスをとる。どちらのロスもobjectごとに計算し、足し合わせる。
21.
目次 21 1. 既存の物体認識との違い 2. CenterNetの推論 3.
CenterNetの学習 4. CenterNetの実験 5. CenterNetの応用 6. まとめ
22.
提案手法の実験 • Single-Stageでは非常に精度が高い。論文中の精度だけ比べるとsingle stageでは もう一方のCenterNetがState-of-the-artではあるが速度とのトレードオフあり。 (論文中にあったCornerNetの比較から算出するに、AP
44.9でFPS 4.65程度) 22
23.
提案手法の実験 • NMSの必要がないことの検証も行った。 • DLA-34のモデルのAP:
39.2% → 39.7% • Hourglass-104のモデル: 42.2%から変わらず。 • その他の検証 Center pointが重なることの問題がないか 入力画像サイズの検証 Lossのとり方 (L1/smooth L1) Lossの係数のパラメータの大きさ 学習率のスケジューリング 23
24.
目次 24 1. 既存の物体認識との違い 2. CenterNetの推論 3.
CenterNetの学習 4. CenterNetの実験 5. CenterNetの応用 6. まとめ
25.
提案手法の応用 • CenterNetは、点にサイズのプロパティを与えたように、プロパティを追加する ことで他のタスクに応用できる。(ex. 3D物体認識ならDepthのプロパティを追加) •
3D物体認識では、Deep3DBox、Mono3Dという手法と比較し、これらに匹敵する 精度を出した。また推論速度は2つオーダーが変わるほどの速さ。 • 姿勢推定もstate-of-the-artに匹敵する精度を出せた。 • 以上の結果からCenterNetが新しいタスクにも簡単に適用できることを示した。 25
26.
目次 26 1. 既存の物体認識との違い 2. CenterNetの推論 3.
CenterNetの学習 4. CenterNetの実験 5. CenterNetの応用 6. まとめ
27.
まとめ • 物体の中心をヒートマップ化して扱うというシンプルな提案で、既存の物体認識 の手法では定番であったNMSの必要性をなくした。 • 物体認識において、より高速で精度の高い結果を出した。 •
2Dの物体認識だけではなく、3Dの物体認識や姿勢推定にも応用可能である。 (感想) • 後処理にNMSがいらなくなる → 速度向上 • ガウシアンカーネルを使ってヒートマップ化する中心点の扱い→ 精度向上 • これまでの物体認識で長く使われていた部分を変えてきたので、これからの物体 認識の提案がどう変わってくるのか楽しみ。 27
Baixar agora