視線追跡のためのニューラルネットワークの課題と進歩

ドライバーのモニタリングには、信頼性の高いヘッドトラッキングとアイトラッキングが欠かせない。では、なぜ多くの自動車会社は、このような行動を監視するために、時代遅れで複雑すぎる方法に頼っているのでしょうか？Neonodeでは、ニューラルネットワークへの特注のアプローチにより、お客様が信頼できるロバストで信頼性の高いデータを提供しています。

ヘッドポーズ推定とアイトラッキングは多くのユースケースを持っています。人の注意がどこに向けられているかを知ることは、ビジュアルマーチャンダイジング、広告、家電製品のような商業的なアプリケーションに役立ちます。しかし、以下のようなアプリケーションでは、正確なトラッキングが不可欠となります。 ドライバー・モニタリングそのため、高いデータ整合性と精度が不可欠です。

ニューラルネットワークは、ヘッドトラッキングやアイトラッキングに使用する情報を得るための最適なソリューションだが、ネットワークを使用した後に複雑な追加ロジックを必要としたり、目的の値を直接読み取る代わりにニューラルネットワークから近似値を抽出するために追加の後処理を必要としたりするなど、時代遅れの方法で適用されているのを見かけることがまだ多い。

ランドマーク視線追跡は視線が遮られると失敗することがある

ヘッドトラッキングやアイトラッキングの古典的な例としては、顔や目の周りの特定のランドマークポイントを見つけるようにネットワークを訓練することが挙げられる。これらのランドマーク・ポイントに基づいて、実際に興味のあるデータを計算するロジックを追加する。例えば、目の開き具合は、目の周りのランドマークポイントを見つけるようにネットワークを訓練し、2D画像内のポイントの位置を使用して、上下のまぶたの縦横比と目の幅を計算するロジックを書くことで見つけることができます。このロジックが信頼できるものであるためには、注目点の一部がカメラから隠れている場合や、目の角度が縦横比に影響する場合を考慮する必要がある。

この方法は、手書きで注釈をつけた写真しかトレーニングデータがなかった時代に由来する。このような写真に一貫した方法で注釈を付けるのは困難であり、解は何層もの近似の上に構築されることになる。これらの近似を補うために、ネットワークも複雑でなければならず、より多くの計算能力を必要とする。

目の周りのランドマークポイント-目の開きを見つけるための時代遅れのアプローチ。

瞳孔中心角膜反射（PCCR）には複雑な設置とキャリブレーションが必要

同じように確立された目の開きを判断する方法は、分析対象者の目に照射された照明の反射を見ることである。例えば、照明が目にどれだけ反射しているかを調べることで、目の開きの程度を判断することができます。トラッキングは瞳孔中心角膜反射法（PCCR）を使って行うことができ、瞳孔中心と角膜反射の間の距離を使って視線方向を決定する。

この方法は前述のランドマーク法より若干洗練されているが、同じ欠点がいくつかある。注目点が見つかった後に追加のロジックが必要になり、注目点のオクルージョンを処理する戦略が必要になる。その上、ハードウェアの設置精度に対する要求も高い。 このソリューションが機能するためには、アクティブイルミネーションが顔に正しく当たる必要がある。この技術のルーツはアイ・タッキング・ヘッドセットにあり、研究対象の目と照明源の距離を常に把握し、常に同じ角度から目を観察する。このように管理された環境では、この方法は非常に正確な結果を得ることができる。しかし、その精度を達成するためには、広範なユニット・キャリブレーションが必要です。この方法を使用して遠くから被験者を追跡する場合（いわゆるリモート・トラッキング）、このソリューションは事前にキャリブレーションされた「ヘッドボックス」内にいる被験者しか追跡できません。画像内のどこにいても人物をトラッキングしたい場合、このソリューションは失敗するでしょう。この方法は、単に3D世界の複雑さを完全に扱うために開発されたものではありません。

複雑さを取り除き、ロバスト性を向上させたニューラルネットワークへの新しいアプローチ

ニューラルネットワークに対するNeonodeのアプローチは、私たちが長年にわたって使用してきた合成データ 合成データ.私たちの合成データ工場を通して、私たちの正確なニーズを満たすデータを作成することができ、その結果、私たちが尋ねている質問に対する直接的な答えを提供するニューラルネットワークを作成する可能性があります。このデータでは、すべての目とすべての顔を同じように扱うようにします。アノテーションはトレーニングデータセット全体を通して一貫している。これにより、組み込みアプリケーションに適した軽量なネットワークを作成することができる。

アイトラッキング目の開きの検出

Neonodeでは、頭のポーズ推定とアイトラッキングに純粋なAI手法を使用しています。目の開きの場合、開きのレベルを直接与えるようにネットワークを訓練することができます。真にロバストな答えを得るためには、この情報をネットワークがシーンから収集できる他の情報と組み合わせます。

様々なレンズ・パラメータ、カメラの位置や種類、オクルージョン現象をトレーニング・データでシミュレートすることで、トレーニングで実世界を見ることなく、実世界のあらゆる課題に対応できるシステムを作ることができる。私たちのネットワークは、重要な特徴が見えなくなっても、人物の追跡に成功し続ける。 古典的なランドマーク検出は、検証や視覚化という点ではまだその役割を担っているが、ランドマークだけに頼っていては、3D世界の複雑さを完全に扱うには不向きなシステムになってしまう。

PCCRソリューションとは異なり、当社のニューラルネットワークは、追加のキャリブレーションなしで人物を追跡することができます。また、人物が画像のどこにいても、画像内で検出できるほどカメラに近ければ、追跡が可能です。ヘッドトラッキングとアイトラッキングに対するNeonodeのアプローチは、被写体のリモートトラッキングのために特別に開発されているため、現実世界の難しい条件下でも優れています。

信頼できるソリューション

ドライバーやキャビン内モニタリングのためのNeonodeのヘッドポーズ推定とアイトラッキングソリューションの詳細については、お問い合わせください。