現在、リンゴの収穫作業はほとんど人手で行われている。農業就業者の高齢化と後継者の不足で適期作業が困難になりつつあり、また輸入の自由化による価格競争に対処して、労働生産性を向上させる必要からも、自動的な機械化が強く望まれている。果実への損傷を与えないように機械収穫するには、人手のように巧妙な動作のできるロボットを導入する以外にないと考える。その開発過程でリンゴ果実を認知する視覚センサシステムは、必須にして最も困難な問題である。本研究は、視覚センサシステムを開発する段階で不可欠なリンゴ果実の識別と位置検出について、適応よる画像処理法を見出そうとして行った。

1.　リンゴ園の果実画像に対する二値化処理
　二値画像で果実の描画率が80%以上得られることを目標に、色信号による画像処理法を検討した。果実、枝葉などの色信号濃度ヒストグラムの解析から求めたしきい値で、収穫時のTVカラー画像に二値化処理を施した。その結果、赤色系リンゴに対して色差信号G-Yのしきい値-5を用いると、順光状態では目標の描画率80%を得られたが、逆光状態では果実の輝度が低下して目標に達しなかった。黄緑色系リンゴに対しては、2原色の差信号R-Bでしきい値30を用いると、果実の輝度が110以上において描画率80%以上を得られた。ただし、逆光では目標に達せず、また太陽光の葉面反射で果実と葉との識別を誤ることがあった。

2.　色信号処理による領域分割法
　赤色系リンゴの逆光状態における識別精度を向上させる果実抽出方法、及び果実と周囲の枝葉と背景の領域分割法を開発した。果実、枝葉、空・反射シートのRGB信号特性を解析した結果をもとに、色差信号G-Yに加え、RGB信号比R/G、R/B、G/Bを併用する領域分割法を考案した。天候や時刻の異なる照射状態のカラー画像を対象に適用を試みた結果、順光あるいは逆光にかかわらず、果実のほとんどの描画率が目標の80%に達した。葉と空・反射シートの識別も描画率80%以上となることが多かった。しかし、枝と葉等の区別はまだ不十分であった。

3.　ニューラルネットワーク領域分割モデル
　黄緑色系リンゴの識別精度を改善するため、ニューラルネットワークの技術を導入し、天候や時刻の異なる照射状態のカラー画像を対象に、果実と周囲の枝葉と背景の領域を分割した。その結果、順光状態では果実の描画率がほとんど目標の80%以上であったが、逆光状態では果実の輝度が90以下または彩度が30以下になると、葉との区別が困難になることが多かった。空・反射シートの領域分割は完全にでき、枝についても描画率は80%以上に達した。

4.　連結果実の分離と認識に関する二値画像処理
　二値画像における連結果実の分離と認識をするため、輝度の多値しきい値処理法と距離変換・拡散処理併用法を考案して検討した。赤色系リンゴを対象に適用の結果、平均認識率は前者が71%であったが、後者は89%と有効であった。

5.　遺伝的アルゴリズムによる両眼視リンゴ画像のマッチング
　リンゴの三次元位置を計測するために遺伝的アルゴリズム（GA）を用いたパターンマッチング法を両眼視画像の対応付けに応用した。すなわち両眼視のリンゴ果実の左右画像の対応付けアルゴリズムを考案し、赤色系リンゴを対象に実験を行い、GAパターンマッチング法の適用性を検証した。その結果、カメラ間の距離である基線長を10～20cmにおいて順光と逆光にかかわらず、正解率95%以上の果実対応付けが可能であった。

6.　エピポーラ幾何学によるリンゴ画像の三次元計測
　エピポーラ幾何学を応用して、二値画像での果実の中心点と輪郭線の上下点を特徴点とした両眼視画像のマッチングアルゴリズムを考案してその有効性を検証した。その結果、基線長、順光と逆光、及びカメラから果実までの距離の各条件で、半数以上の画像はエピポーラ線が一点で交わり、正確に対応点を推定できた。よって、エピポーラ幾何学による対応付けの正誤判定が適当であった。また、両眼視による測定誤差は基線長10～20cm、撮影距離100cm以内で2cm以下であり、収穫可能な精度であった。