きゅうり農家が深層学習に挑戦-自作の仕分け機を作るまでの道筋

5月30日、都内でIT・Webエンジニア向け転職サイトのGeekOutが画像認識をテーマにしたイベント「GeekOutナイト」を開催した。今回、取材の機会を得たので、きゅうり農家である小池誠氏の話を紹介する。

“慣れ”が必要なきゅうりの仕分け作業

小池氏は静岡県湖西市できゅうりを栽培しており、年間出荷量は60トンを超える。家業であるきゅうり農家を継ぐ前はエンジニアとして腕を鳴らしていた。

同氏は「近年、農業は機械化されているが、まだまだ手作業に頼ることが多い。特に、きゅうりやピーマン、トマトをはじめとした果菜類は機械化および大規模化が難しいため作業時間が長い」と指摘する。

• きゅうり農家の小池誠氏

農林水産省によると、きゅうり栽培における作業別労働時間は収穫作業が全体の39.8%、次いで仕分けなどの出荷作業が22.1%を占める。同氏は、長さ・太さ・曲がり具合・色・ツヤを人間が目視で確認し、9つの等級に分け、きゅうりの仕分け作業を行っており、これを効率化できないものかと考えたという。

しかし、扱うものが自然物(農産物)のため同じ形のものが2つとないほか、定量的な基準もなく生産者の主観が反映されることから、ある程度の“慣れ”が必要なため難しい作業となる。そこで、同氏は画像認識を可能にする深層学習(ディープラーニング)を活用し、仕分け機の製作に挑戦することになった。

まず、小池氏はMNIST(Mixed National Institute of Standards and Technology database)による数字の認識を試した。

結果として、ある程度の精度が確保できたため、きゅうりの片面だけ画像認識するWebカメラ、自作のカメラスタンド、ノートPCに加え、ソフトウェアはGoogleのTensorFlowをはじめとしたオープンソースソフトウェアを活用し、製作期間1週間程度で「試作1号機」(約3000円)を製作。

同氏は「ディープラーニングにおける画像認識は、大量に良質なデータが必要だが、最初から多くのデータは蓄積できないため、2500枚からスタートした。始めてみると割と精度がよく、8割程度の認識率を得ることができた。後々考えてみればデータを短期間で収集したため、バラつきが少なかったことが影響していたのではないだろうか」と、振り返っていた。

課題を見つけては改善の繰り返し

これで勢いがついた小池氏は、より人間の作業に近づけるためカメラを増やし、きゅうりを360度で多様な方面から認識するため「試作2号機」の製作に取り掛かった。

2号機はノートPCからシングルボードコンピュータ「Raspberry Pi」に変更し、撮影台を作り、上下・横の3カ所にカメラを取り付け、8500枚のデータを蓄積した。また、仕分けしたきゅうりを各箱まで運ぶためベルトコンベアも製作。カメラを増やしたことによる効果は大きく、認識率は9割程度に向上したという。

同氏は「製作してみたものの作業が遅く、さまざまな問題点があった。例えば、ベルトコンベアできゅうりに傷が付くほか、収穫時期により形に偏りなどがあるため最初は学習ができていたが系統が違うきゅうりの場合、学習が破綻してしまうことがあった」と、課題点を挙げる。

だが、元エンジニアの小池氏はあきらめない。「コンセプトを仕分けの完全自動化から“画像認識技術のサポートを得て人間の作業をいかに効率化するか”ということに切り替えた」と、柔軟に考え方を変えつつ、引き続き試作機の製作に取り組んだ。

そして、製作したのがテーブル型のきゅうり仕分けシステム「試作3号機」だ。仕組みとしては、テーブル上にきゅうりを並べ、上からカメラで画像を取得し、マーカーを表示した上できゅうりの画像を切り出し、切り出した画像をニューラルネットワークを使い、各きゅうりの等級を判断して結果をテーブル上に表示するというものだ。

「複数本のきゅうりの画像を取得することが可能になったため、2号機よりも3号機は教師データの収集が簡単だった。合計3万6000枚を蓄積し、認識率は8割弱と、2号機と比べて減少したものの、あくまでも人間のサポートを目的にしているため、あまり気にはならなかった。実際の作業では、1.4倍の作業スピードの向上が図れたが、半年後にはわたしの判断能力が向上したため現在は使っていない。しかし、仕分け作業の初心者や未経験者には効果的なのではないだろうか」と、同氏は手応えを口にしていた。

範囲を絞り、小さくスタートすることが重要

これらの試作機の開発過程で判明したこととして、仕分け作業は熟練生産者の感と経験の世界のため仕様はないが、だからこそディープラーニングが適しており、季節ごとに作物の形は変わることからデータ量とデータ取得期間などのドメイン知識は必要だという。

また、良質なデータを取得するためには環境を設計することもポイントであり、最初から目的を持ち、データを取得することが肝要だと指摘している。

小池氏は「実際に役立つ場面は多く、画像処理のプロフェッショナルではなくても、ある程度の成果が出せるため、範囲を絞り、小さくスタートすることが非常に重要だ。現在も改良を継続しており、8月には4号機を完成させたい。最終的には、自動収穫ロボットを開発できればと考えている。農業の効率化にテクノロジーを活用し、品質向上や収量の増加、栽培ノウハウの継承に取り組んでいければ理想的だ」と話しており、元エンジニアだけにゼロの状態からシステムを構築し、課題があれば改善を継続するDIY精神には心意気を感じた。