ソフトウェアプラットフォームを用いたコンバインロボットの制御

ソフトウェアプラットフォームを用いた
コンバインロボットの制御
博士学位論文発表
2015-1-9(金)
京都大学大学院農学研究科地域環境科学専攻
フィールドロボティクス分野
博士後期課程３回生
趙元在(Cho, Wonjae)

1
目次
京都大学大学院地域環境科学専攻フィールドロボティクス分野 (http://elam.kais.kyoto-u.ac.jp/)
第1章緒言
第2章統合センサ制御ソフトウェアプラットフォームの開発
第3章マシンビジョンによる未収穫作物のエッジ検出
第4章 LRFとGNSSによる未収穫作物のエッジ検出
第5章 LRFとGNSSによる排出オーガの自動位置決め方法
第6章総括

2
第1章
緒言

3
1.1 日本の農業の現状：農業就労人口の減少と高齢化
第1章緒言

4
1.1 日本の農業の現状：食料自給率が低い
第1章緒言

5
1.2 日本の農作業ロボットの研究動向
農研機構中央農業総合研究センター
京都大学
北海道大学トラクタロボット
汎用コンバインロボット
田植えロボット
大豆コンバインロボット
自脱コンバインロボット
自脱コンバインロボット
第1章緒言

6
1.3 自脱コンバインロボット：仕様
自脱コンバインロボット１号機
（ベース機：三菱農機，４条刈自脱コンバイン，VY50CLAM）
自脱コンバインロボット2号機
（ベース機：三菱農機，４条刈自脱コンバイン，VY446LM）
種類モデル名種類モデル名
GNSS Topcon Co., Ltd., Legacy-E+ GNSS Topcon Co., Ltd., AGI-3
GPS compass Hemisphere Co., Ltd., V110 GPS compass Hemisphere Co., Ltd., ssV-102
Laser range finder SICK AG, LMS111 Laser range finder SICK AG, LMS511
Machine vision Tokyo electron Co., Ltd.,
CS3450
Machine vision Sensor Technology Co., Ltd.,
STC-TC33USB
Controller Kyoto Univ., ECU Controller Kyoto Univ., ECU
第1章緒言

7
1.3 自脱コンバインロボット：制御システムのアーキテクチャ
1号機 2号機
第1章緒言

8
1.3 自脱コンバインロボット：無人収穫のフローチャート
第1章緒言

9
1.4 ソフトウェアプラットフォーム： ISCSP(Integrated Sensor Control Software Platform)
第1章緒言
自脱コンバインロボットを開発するために
様々なインタフェースをもつセンサとコントローラが使われている．
開発の重複(Redundancy)を避け,開発のスピード化のため
ソフトウェアプラットホームが必要．
自脱コンバインロボット用いられる様々なインタフェースをもつセンサ
やコントローラに対応する統合センサ制御ソフトウェアプラットフォー
ム(Integrated Sensor Control Software Platform, ISCSP)を開発．

10
1.5 論文の構成
1) 第2章
様々なセンサとロボットのコンポーネントを統合的に制御する
統合センサ制御ソフトウェアプラットフォーム(ISCSP)を開発する．
2) 第3章
マシンビジョンによる未収穫作物のエッジ検出方法を開発する．
3) 第4章
LRFとGNSSによる未収穫作物のエッジ検出方法を開発する．
4) 第5章
LRFとGNSSによる排出オーガの自動位置決め方法を開発する．
5) 第6章
総括
第1章緒言

11
第2章
統合センサ制御ソフトウェアプラットフォーム(ISCSP)の開発

12京都大学大学院地域環境科学専攻フィールドロボティクス分野 (http://elam.kais.kyoto-u.ac.jp/)
第2章統合センサ制御ソフトウェアプラットフォーム(ISCSP)の開発
2.1 はじめに：研究目的
1号機 2号機
1) 開発の重複を避ける．
2) 開発のスピード化
3) 共通な機能を再利用
4) アルゴリズムをAPI形式で提供する．
5) プロセスの独立性

2.2 ISCSPの機能および特徴：クライアント-サーバ通信モデル

2.2 ISCSPの機能および特徴： TCP/IPプロトコルを用いた通信モデル

2.2 ISCSPの機能および特徴：圃場の気象情報の取得
AMeDAS* (Automated Meteorological Data Acquisition System, アメダス)
http://www.jma.go.jp/jp/amedas/

2.2 ISCSPの機能および特徴： GUIベースのセンサとコンポーネントのデータ表示
コンポーネント LRF
マシンビジョン走行軌跡

2.2 ISCSPの機能および特徴： API形式で提供する様々なアルゴリズム
Method Device Algorithm
Autonomous
guidance
LRF, GNSS and
GPS compass
Three-dimensional mapping,
Path planning,
Random sample consensus (RANSAC),
Uncut crop edge detection,
Path following
Machine vision Inverse Perspective Mapping (IPM),
ExGB segmentation,
Uncut crop edge detection
Autonomous
positioning
of unloading auger
LRF, GNSS and
GPS compass
Three-dimensional mapping,
Upper quadrangle detection,
Unloading auger positioning

2.2 ISCSPの機能および特徴：オープンソースで公開
ISCSP address: https://github.com/FiroKyoto/IntegratedSensorControlPlatform

2.3 ISCSPの結果動画

2.4 摘要
1) 自脱コンバインロボットの開発に必要な機能をAPI形式で提供する統合センサ制
御ソフトウェアプラットフォーム(ISCSP)を提案し，開発を行った．
2) ロボットに取り付けた様々なセンサ(LRF，マシンビジョン，GNSS，GPSコンパス)とコ
ンポーネントのデータの入出力をサポートし，データをリアルタイムで確認するこ
とができるGUIを提供する．
3) 自脱コンバインロボットの開発に必要な様々なアルゴリズムをAPI形式で提供す
るので，開発者が具体的なアルゴリズムの内容を知らなくても，関数のパラメータ
を代入すると結果を得ることができる．
4) ISCSPはオープンソースの形で公開されているので，自由にソースコードの修正と
再配布が可能である．

21
第3章
マシンビジョンによる未収穫作物のエッジ検出

1) 目的：カメラから取得した2 次元画像を用いて，未収穫作物のエッジを検出する．
2) 方法:
① 逆遠近法マッピングアルゴリズムを用いて画像の遠近効果を除去し，
画像平面の位置情報を3次元ワールド座標系の位置情報に変換する．
② 色空間変換を用いて未収穫領域を区分し，未収穫作物のエッジ検出アルゴリズムを
用いてエッジを検出する．

3.2 材料および方法：逆遠近法マッピング(Inverse Perspective Mapping, IPM)

2 2
( , ) cot[( ) ] cos[( ) ]
1 1
2 2
( , ) cot[( ) ] sin[( ) ]
1 1
( , ) 0
CAM CAM
CAM CAM
x u v h u v l
n m
y u v h u v d
n m
z u v
 
   
 
   
       
 
       
 

 
 
sin arctan
arctan
( , ,0)
2
1
arctan
( , ,0)
2
1
CAM
CAM
y d
h
x l
y d
u x y
n
y d
x l
v x y
m
 

 

    
         
 
  

 
   

3
{( , , ) }T
W x y z E  2
{( , ) }T
I u v E  {( , ,0) }T
S x y W 

(a) 原画像とROI (b) IPMアルゴリズムで変換された画像

3.2 材料および方法：色空間変換 (Color Segmentation)
, ,
Excess green: 2
Excess blue: 1.4
Excess green minus excess blue:
R G B
r g b
R G B R G B R G B
ExG g r b
ExB b g
ExGB ExG ExB
  
     
  
 
 
max max max
max max max
, ,
255
R G B
R G B
R G B
where R G B
  
  

3.2 材料および方法：未収穫作物のエッジ検出 (Uncut crop edge detection)
     
   
2 2
n h h k h k n h
k
n h n h
x x y y x x y y
d
x x y y
    

  

3.2 材料および方法：実験方法
1. 圃場：京都府南丹市
2. 走行速度： 0.6 m/s
3. 運転：オペレータ
4. 走行向き：反時計回り

3.3 実験結果及び考察：結果動画

3.3 実験結果及び考察：進行方向によって区分したエッジ検出の結果
Dataset Movement direction Frames Success rate [%]
A South 950 100
B East 300 100
C North 950 94
D West 300 100
提案したアルゴリズムの精度は約95 %であり，平均処理速度は約33 msで，リアルタイムで
未収穫作物のエッジを検出することができた．

3.3 実験結果及び考察：様々な条件におけるエッジ検出の結果
(a) 太陽に向かう場合 (b) 太陽を背にしている場合
(c) 作物列に凹凸が存在する場合 (d) 刈取開始時

3.3 実験結果及び考察：連続的に得られた画像での検出結果
(a) 検出に失敗した前のフレームの画像 (b) 検出に成功した後のフレームの画像

3.4 摘要
1) 自脱コンバインロボットに取り付けたカメラから得た画像を用いて未収穫作物の
エッジを検出するアルゴリズムを提案した．
2) 提案したアルゴリズムによるエッジ検出の精度は約95 %であり，平均処理速度は
約33 msで，リアルタイムで未収穫作物のエッジを検出することができた．
3) いくつかの条件下でアルゴリズムの性能が低下する傾向を示すため，補正するア
ルゴリズムの追加が必要である．

34
第4章
LRFとGNSSによる未収穫作物のエッジ検出

1) 目的：レーザーレンジファインダで稲刈取端を検出し，コンバインの自動操舵を行う．
2) 方法:
① レーザーレンジファインダで計測した２次元プロファイルを，GNSSとGPSコンパスで
計測した位置・方位を用いて，３次元のプロファイルを構築する．
② RANSAC (RANdom SAmple Consensus)アルゴリズムで稲刈取端を検出し，操舵する．

4.2 材料および方法： 3次元マッピング

2
2
2
, ,
2 , ,
,
cos sin 0
( ) sin cos 0
0 0 0 1
O m GNSS m c
O m GNSS m a
LRFO m
x x l
O m y y l
hz
 
 
       
                 
             
, ,
, , , ,
, ,
, ,
2 , , _
, , _
cos sin 0 cos
( ) sin cos 0 sin sin
0 0 1 sin cos
MAP m i
MAP m i MAP m i
MAP m i
LRF i LRF i
LRF i LRF i LRF TILT
LRF i LRF i LRF TILT
x
P y
z
O m
   
    
  
 
 
  
  
  
       
      
4
4
4
,
4 , 2
,
cos sin 0
( ) ( ) sin cos 0
0 0 1
O m d
O m b
HEADER LRFO m
x l
O m y O m l
h hz
 
 
     
             
         

0.0013 0.3893HEADER POTENTIOMETERh h 

     
   
2 2
n h h k h k n h
k
n h n h
x x y y x x y y
d
x x y y
    

  

4.2 材料および方法：未収穫作物のエッジ検出(RAndom Sample Consensus, RANSAC)

4.2 材料および方法：実験方法
1. 圃場：京都府南丹市
2. 走行速度： 0.6 m/s
3. 運転：オペレータ
4. 走行向き：反時計回り

4.3 実験結果及び考察：圃場の3Dマップ

4.3 実験結果及び考察
(a) 区間 A (b) 区間 B
(c) 区間 C (d) 区間 D

4.3 実験結果及び考察：作物の高さの平均値と横方向オフセットの値
Dataset Movement
direction
Average crop height [m] Lateral offset [m]
A South 0.514 0.294
B East 0.503 0.139
C North 0.549 0.067
D West 0.580 0.119
Average 0.537 0.154
目標経路と未収穫作物のエッジの間の横偏差は約0.154mであり，平均処理速度は約
35msで，リアルタイムで未収穫作物のエッジを検出することができた．

4.3 実験結果及び考察：データ集合のインライアの割合と垂線の長さの平均値
Dataset Average perpendicular distance[m] Inlier ratio[%]
A 0.070 74.4
B 0.052 90.2
C 0.072 78.2
D 0.059 83.6
Average 0.063 81.6

4.4 摘要
1) LRFとGNSSによる未収穫作物のエッジ検出方法を提案した．
2) 平均35 msの処理速度で，センサからのデータの取得，3Dマップの構成，未収
穫作物のエッジ検出の処理が可能である．
3) 検出した未収穫作物のエッジと目標経路の間の横方向オフセットの平均値は
0.154 mであり，3Dマップを構成して取得した作物の高さの平均値は0.537 m
である．
4) しかし，未収穫作物の倒伏によって作物の株元が隠れている場合，検出性能
が低下する傾向がある．
5) したがって，提案した方法の性能を更に向上するため，現在のコンバインに取
り付けたLRFの位置を目標経路が正確にスキャンできる位置に移動する必要
がある．

51
第5章
LRFとGNSSによる排出オーガの自動位置決め方法

第5章 LRFとGNSSによる排出オーガの自律位置決め方法
1) 目的：レーザーレンジファインダでグレーンコンテナを検出し，排出オーガの自動制御を行う．
2) 方法:
① レーザーレンジファインダで計測した２次元プロファイルを，GNSSとGPSコンパスで
計測した位置・方位を用いて，３次元のプロファイルを構築する．
② 画像処理でグレーンコンテナを検出し，排出オーガの自動制御をする．

2
2
2
, ,
2 , ,
,
sin( 270 ) cos( 270 ) 0
( ) cos( 270 ) sin( 270 ) 0
0 0 0 1
O m GNSS m b
O m GNSS m a
cO m
x x l
O m y y l
lz
 
 
       
                 
           
3
3
3
, 1
3 , 2 1
,
sin( 180 ) 0 0
( ) ( ) cos( 180 ) 0 0 0
0 0 0 0
O m d
O m
O m
x l
O m y O m
z
 
 
      
              
         
4
4
4
, 1 2
4 , 3 1
2,
sin( 90 ) 0 0 cos( )
( ) ( ) cos( 90 ) 0 0 0
0 0 1 sin( )
O m e
O m
eO m
x l
O m y O m
lz
  
 

      
              
        
, , 1 , , 2
, , , , 4 1
, , , , 2
sin( 90 ) 0 0 sin( )
( ) cos( 90 ) 0 0 0
0 0 1 cos( )
MAP m i LRF i LRF i
MAP m i MAP m i
MAP m i LRF i LRF i
x
P y O m
z
    
 
  
      
    
        
         

5.2 材料および方法：グレーンコンテナの検出
0.05( 200)
0.05( 200)
x
y
W u
W v
 
  

5.2 材料および方法：グレーンコンテナの検出

5.2 材料および方法：オーガ排出口の位置決め
1 3 2 4 1 3 2 2 4 4 2 4 1 3 2 4 1 1 3 3
2 4 1 3 1 3 2 4
2 4 1 3 2 4 1 1 3 3 1 3 2 4 1 3 2 2 4 4
1 3 2
( ){( )( ) } ( ){( )( ) }
3( )( ) 3( )( )
( ){( )( ) } ( ){( )( ) }
3( )(
c
c c
c
x
P y
z
x x y y x x y x y x x x y y x x y x y x
y y x x y y x x
y y x x y y x y x y y y x x y y x y x y
x x y
 
   
  
          
    
          

  4 2 4 1 3
1 2 3 4
) 3( )( )
0.2
4
y x x y y
z z z z
 
 
 
 
    
   
 
 
2 2
2 2 2
2
2( ( ) ( ))
( ) ( )
4
2
2
0
x e s
y e s
a x y
b x s c y s c
c s c s c
d b a c
b d
s x
a
T
b d
T T s y
a
T
d x x
d y y
d d d
d d x x d y y
d x x y y r
d d d d
d d
x d
d
x
d d
p y y d
d
z
 
 
 
   
    
 
  
 
 
   
         
    
 
 
 
1
int 2 cos ( )Jo
f
r
l
 


𝑥 [m] 𝑦 [m] 𝑧 [m]
Max 0.161 0.116 0.065
Mean 0.068 0.060 0.026
RMSE 0.083 0.067 0.032
目標点と排出口の間の相対位置の最大値,平均値,およびRMSE
𝑥 [m] 𝑦 [m]
Max 0.099 0.091
Mean 0.062 0.051
RMSE 0.066 0.058
𝑷 𝑑と𝑶3の間の相対位置の最大値, 平均値, およびRMSE

5.4 摘要
1) LRFとGNSSによる排出オーガの自動位置決め方法を提案した．
2) 提案した方法は，3Dマップを構成し，上部四角形検出アルゴリズムを用いてグ
レーンコンテナの上部四角形を検出した．そして，検出した上部四角形の中心点
を求めて，排出オーガの排出口を中心点に位置決めした．
3) トータルステーションを用いて計測した排出オーガの排出口の位置と上部四角形
の中心点の間の相対位置の誤差は最大値(0.161, 0.116, 0.065)，平均値
(0.068, 0.060, 0.026)，RMSE(0.083, 0.067, 0.032)であり，提案した方法が許容誤
差範囲内に安定的に位置することができていることを知ることができた．

63
第6章
総括

第6章総括
1) 自脱コンバインロボットに必要な機能をAPI(Application Programming Interface)形式
で提供する統合センサ制御ソフトウェアプラットフォーム(Integrated Sensor Control
Software Platform, ISCSP)を開発した．
2) このISCSPを用いて，自脱コンバインロボットの自動誘導に要求される未収穫作物の
エッジ検出方法と排出オーガの自動位置決め方法を開発した．
3) ISCSPを用いて開発した未収穫作物のエッジ検出方法と排出オーガの自動位置決め
方法は，圃場で自脱コンバインロボットの自動誘導，および穀物の自動排出のため
に十分な性能を示した．
4) ISCSPと提案した方法の性能を向上させるために，今後様々な自脱コンバインロボッ
トに適用して実験する必要がある．

ソフトウェアプラットフォームを用いたコンバインロボットの制御

Recommended

Recommended

More Related Content

Similar to ソフトウェアプラットフォームを用いたコンバインロボットの制御

Similar to ソフトウェアプラットフォームを用いたコンバインロボットの制御 (20)

More from Institute of Agricultural Machinery, NARO

More from Institute of Agricultural Machinery, NARO (6)

ソフトウェアプラットフォームを用いたコンバインロボットの制御