AVS（Automatic Visual Sensor）システムは、異常検知や計数など、従来の人による目視作業を機械学習センサで自動化するクラウドシステムです。

AVSシステムを開発したきっかけは、値札や商品タグを印刷している会社様からタグの印刷において発生する不良品を自動で検出して欲しいとのご依頼を請けたことに起因します。

まず、お客様から不良品となるタグを集め、欠陥パターンを20種類程度に分類してシステムで検出できるように3つのツール「位置決め」「欠陥検出」「文字認識」を開発し、並列に構成しました。

Analyze

欠陥検出 UnSupervised： OK画像のみの学習 Supervised： OK画像と欠陥教示済NG画像で学習

Classify

分類 欠陥検出ツールと組み合わせて、検出した欠陥を分類することも可能

Movie

動画オブジェクト検出 動画内の各フレームに映る異常なオブジェクトをリアルタイムで検出

Locate

位置決め 画像内の様々なオブジェクトをクラス別に検出

Read

文字認識 読取の困難な文字でも学習させて登録可能 多数のフォント登録済み

Count

数量検査 画像内のオブジェクト数量を計測

Bitmap

印刷物検査 文字潰れ、文字薄、白抜けの不良度合いを指定して検出が可能

ただ、「印刷の濃淡」と「文字の白抜けや潰れ」に関しては3つのツールでは対応できなかったため追加で機能を開発しました。「印刷の濃淡」に関しては文字の濃度を数値で取得し、お客様側で閾値を設定できるインターフェースを作成しました。またマスターデータとの照合機能を強化することで「文字の白抜けや潰れ」の認識を可能にしました。

また、AVSを実工場に導入させるのにあたって「タグ1枚あたりの処理時間」をミリ秒単位で指定され、この点で苦労しました。

機械メーカーの協力を得て試験用の搬送機を開発し、流れてくるタグを認識するスピードを測定し、そこから高速化を図るために内部的に不要な処理を省くといった工夫を行うことで、最終的には要求の1.5倍の速度で全ての欠陥を検出することに成功しています。

本案件含め、AVSシステムは様々な案件に対応する中で「分類」「印刷物検査」「動画オブジェクト検出」「数量検査」の4つを加え、合計7つのツールを開発するに至りました。

これらを標準機能として組み合わせることでお客様の要件に適応させる他、必要に応じて機能を別途スクラッチで開発しています。

機械学習センサツールを持っているソフトハウスや商社はあるものの、ツールだけでは解決できず、PoCの段階で終了してしまうケースが少なくありません。お客様固有の課題に対しても柔軟に対応できる技術力と開発力がAVSシステムと当社の強みです。

AVSを開発した背景にあるのが、猫の目線を認識するアプリの存在です。

これは猫の写真をInstagramにアップしていた代表の角田が「猫がカメラ目線のときの写真に“いいね”が付きやすいのではないか？」と仮説を立て、機械学習を用いて猫のカメラ目線を認識する技術を開発したものです。2020年には特許権を取得しています。

このアプリの話をお客様にしたところ「その技術を使って印刷の検査もできないか」というご相談をいただきました。

当時、お客様の印刷工場では目視による検品を行っていたのですが、タグの発注元による要求水準の高さ、人件費の高騰、人手不足、人的エラーの高さなどが経営レベルで問題となっており、特に印刷エラーのパターンの多さから、目視による検品には限界を感じていたそうです。

当社ではお客様と共同、単独にかかわらず研究開発を積極的に行っており、AVSシステムという自社サービスにつなげることができたのは当社の技術探求の文化が生んだとも言えます。

当社では機械学習センサで異常検知や計数など、従来の人による目視作業を自動化するクラウドシステム「AVS（Automatic Visual Sensor）」を提供していますが、導入前にPoC（実証実験）を行ってから具体的な要件を詰めていくことも可能です。

このPoCに当たるのがAVSトライアル評価サービスです。これは対象物の異常や変化の検知、計数といった目視による検出作業を機械学習に置き換えることが可能かどうかを検証するサービスです。

具体的には、お客様からお持ち込みいただいた検証対象品に対し、AVSの7つの基本機能（欠陥検出・分類・動画オブジェクト検出・位置決め・文字認識・数量検査・印刷物検査）と、当社が保有する豊富な学習済みモデルを使ってトライアル評価を行います。

AVSを使ったPoCの事例を3点紹介します。

1点目の事例は、おにぎりの数をリアルタイムに計数するものです。おにぎり製造工場で、製造途中のおにぎりを外国人労働者に持って帰られてしまうことがあり、リアルタイムに個数を管理したいというご要望から実証実験を行いました。

リアルタイムに計数するため動画データをインプットにし、AVSツールの基本機能である「欠陥検出」と「動画オブジェクト検出」を使うことで、リアルタイムでおにぎりの計数に成功した事例です。

2点目の事例は、果物の症状分けです。果物は不良症状（押され・果肉の変色・過熟・未熟など）の判定が非常に難しく熟練作業員の目視に頼っていましたが、特定の作業員への依存や判定のバラつきなど、品質管理体制に懸念がありました。

この不良症状をAVSで判定できないかと相談を受け、お客様から果物の断面の画像データをいただいて実証実験をした事例です。

まず正常な状態と不良症状の出ている果物の画像を、それぞれ学習モデル作成データとして用意し、学習モデルを基準にAVS側で不良症状を判断しました。

お客様にご用意いただいた画像はスマートフォンで撮影したもので、画質としては十分とは言えないものでしたが、それでもAVSで判定できることはわかったので、具体的な導入ステップのご提案まで用意した事例になります。

3点目の事例は、漢方薬の材料となる木の枝を画像認識で見分けるというものです。3種類の枝を表皮から特徴を学習し、正確に分類したいというご要望でした。

この3種類は見分けが難しく、素人が採取に行くと間違った枝を持ち帰ってしまうという課題がありました。

まずはお客様から当社に枝をお送りいただき、当社で撮影した表皮画像を入力モデルとしてそれぞれの漢方の特徴をAVSに学習させました。

次にテスト対象となる枝の画像から表皮のテクスチャを複数切り抜き、学習済みモデルと比較して評価を行い、そこから平均を取ってどの漢方に属するかの確率を取得しました。

結果的に表皮の画像から漢方の識別は可能であることがわかり、今後正式な案件となる予定です。

PoCで具体的な成果が出れば、案件化につながります。まずはPoCである程度の成果が出せる手法を確立し、基本機能だけでは足りない部分のスクラッチ開発や自動検品システムのライン化など、より具体的な仕様に落とし込んでお客様にご提案します。

PoCではAVSの7つの基本機能だけを使って行うことがほとんどです。今後AVS案件の増加によってノウハウが蓄積され、基本機能を強化できれば、実証実験の幅が拡大し、お客様により貢献できることが期待できます。