顔認証システムを評価する上で、NIST（アメリカ国立標準技術研究所）の試験結果を重視していますか？もしそうならば、NISTのデータを深く理解するための方法を教えましょう。
ベンチマークテストは、顔認識を評価する良い方法ですが、正しく理解されないまま、誤って使われることがよくあります。この業界で最も優れたテストは、アメリカ商務省管轄のNIST によって、2000年から実施されているものです。
NISTは、現在もFRVT（顔認識ベンダーテスト）として知られている顔認識アルゴリズムのテスト群を実施しており、精度だけでなく、速度やバイアス（偏り）に関する評価も含まれています。一般企業や研究機関は、1つ以上のアルゴリズムをNISTに提出し、NISTが実際にテストを実施します。
なお、直近で2回実施されたFRVTの結果は、2018年の6月と11月にそれぞれ270ページを超えるレポートとして報告されています。
NISTは顔認識アルゴリズムの速度や精度といった特定の項目について単純に計測するだけでなく、画像のタイプによる違いに関しても考察しています。例えば、証明写真なのか、犯罪捜査用の写真なのか、Webカムで撮られた画像なのか、あるいはカメラを意識していない画像（Wildイメージ）なのかといったものです。Wildイメージは、顔の角度が傾いていたり、顔の向いている方向が異なったり、仰角や俯角があったりと、多様なポーズがあり得ます。また、複数の人物が一枚の画像に含まれていることもあります。Wildイメージの認識は、顔認識システムにとって非常に難しい条件ですが、これはまさに実際の利用環境で求められているものであり、当社のアルゴリズムも注力しているものです。NISTのテストでは、静止画像が使われていますが、ライブビデオでの認識においては、さらに精度と速度を協調的に最適化することが求められます。
リアルネットワークスのSAFRは、ライブビデオの認識アルゴリズムとして最も高速で精度が高いことがNISTのテストで示されました
ソフトウェアベンダーや研究機関は、実際に商用製品として使われているアルゴリズムではなく、FRVTの為に最適化されたアルゴリズムを提出することもできます。そのため、テスト結果と製品の性能が同じであるとは限りません。
例えば、精度を高めるために計算量が大きく、現実的ではないアルゴリズムを提出している場合があります。
実際に2018年11月のFRVTの結果を検討してみると、精度は高いものの速度が非常に遅く（当社のアルゴリズムに比べて3倍から5倍以上遅い）実用的ではないものがあります。すなわち、ライブビデオに映った複数人数を顔認識するといった実環境で利用するためには、非常に高価なハードウェアを用意する必要があります。
また、いくつかのアルゴリズムは、たとえて言えばF1用のレーシングカーのように、整った環境では上手く動くものの、ノイズや画像の乱れがある場合に対応できなかったり、扱いやすさに難があるものもあります。
では、この11月のテストにおける当社SAFRアルゴリズムを見てみましょう。本テストにおいて最も精度が高かったアルゴリズム(algo-18)のWildFaceスコアは0.028でしたが、SAFRに比べて4.7倍遅く、また2.4倍のサイズが必要でした。2番目に精度が高いアルゴリズムでも、2－3倍の計算量（ハードウェア）が必要になります。つまり、精度を高めるためには、計算速度やコストを犠牲にする必要があるわけです。
高速なアルゴリズムのメリットは、一定時間内に複数回の認証を実施できることにあり、その結果、精度をさらに高めることができます。95%以上の精度を持つアルゴリズムを対象にコホート分析を行った結果、SAFRは最も高速で軽量なアルゴリズムであることがわかります。すなわち、10,000人の中から1人を特定するようなケースにおいて、他のアルゴリズムよりも高速に確証のある結果にたどり着くことができるのです。
SAFRは静止画における顔認証テストにおいても商用製品のうち、トップ10の精度を誇りますが、この結果は顔認識システムにおける部分的な評価に過ぎません。
実際のライブビデオにおける顔認証では、ビデオフレーム間で動きのある人物を捉えなければなりません。SAFRは、エッジサーバでビデオを処理する際に、最適な画像を取り出すことができるため、ビデオ環境で非常に高い精度を出すことが可能です。なお、NISTのFRVTでは、ビデオによる顔認識性能を評価していません。
この図は複数回の認証において、SAFR及び他のアルゴリズムが精度が収束する速度を表しています。
SAFRは高速で軽量なアルゴリズムを持っているため、他のアルゴリズムよりも素早く高い精度に到達することができます。このように精度と速度のバランスが、ビデオによる顔認証においては非常に重要な要素となります。
リアルネットワークスのSAFRは、今後も認証精度だけではなく、商用利用で重要な要素である、認証速度やバイアスの少なさといった特長を生かした製品開発を行っていきます。