미국 국립 표준 기술 연구소(NIST – National Institute of Standards and Technology) 평가 점수로 얼굴 인식 시스템의 성능을 평가한다면?
여기에서, NIST 평가지표에 대한 통찰력을 가지고 객관적으로 NIST에서 수행한 평가 데이터들을 검토할 수 있는 가이드를 제시해 드리겠습니다.

벤치마크 테스트는 얼굴 인식 기술을 평가하고 대조하는데 유용한 평가 방법이지만, 그 테스트 결과를 잘못 이해하거나 잘못 해석되는 경우가 많습니다.
미국 상무성 산하 정부 기관인 NIST에서 수행하는 얼굴 인식 관련 벤치마크 테스트는 지난 2000년부터 진행되었고, 얼굴 인식 업계에서는 정평이 나 있는 테스트입니다.

NIST는 FRVT(Facial Recognition Vendor Test)라고 알려진 테스트를 통해 얼굴 인식 알고리즘이 얼마나 정확한지, 성능은 어떠한지, 얼굴 인식에 대한 편향성(bias)은 없는지 등에 대한 핵심 특성들을 측정하는 역할을 하고 있습니다.
기업 및 학술기관들은 여러 개의 얼굴 인식 알고리즘을 제출할 수 있고, NIST는 제출된 알고리즘에 대해 일련의 테스트를 수행하게 되는데, 작년 6월 및 11월에 발행된 최근 테스트 결과에는 270페이지가 넘는 방대한 결과가 담겨있습니다.

표준 측정 기관인 NIST는 비자 사진, 상반신 사진, 웹캠 사진 또는 특정 제약조건 없이 실생활 환경에서 쵤영된 얼굴 이미지(Wild face)들을 사용하여 얼굴 인식 성능, 정확성, 편향성과 같은 얼굴 인식 알고리즘의 주요 특성들을 측정하여 보고하고 있습니다.
실생활 환경에서 촬영된 얼굴 이미지는 사람들이 카메라를 의식하지 않은 상태에서 촬영된 비디오에서 추출한 이미지로, 비디오 한 프래임에 여러 개의 얼굴들이 포함될 수 있고 좌우, 상하로 매우 다양한 각도로 기울어져 있는 상태로 촬영되기 때문에 얼굴 인식 과정이 매우 복잡하고 어렵습니다.
SAFR는 이러한 실생활 환경에서의 얼굴을 인식하기 위해서 설계 및 개발된 솔루션입니다.
NIST는 스틸 사진(still photograph)을 이용한 얼굴 인식 테스트만 수행합니다.
실시간으로 전송되는 비디오를 이용한 얼굴 인식을 위해서는 비디오 내에서 얼굴을 빨리 찾아 정확하게 처리하기 위한 최적화 기술이 필요하지만, NIST에서는 이런 비디오를 이용한 테스트는 수행하지 않습니다.

리얼네트웍스 SAFR NIST에서 실시간 비디오를 대상으로 테스트한 가장 정확한 고성능 얼굴 인식 알고리즘입니다.

얼굴인식 솔루션 업체, 연구원 및 학술 기관에서는 실제 상용으로 제공하고 있는 알고리즘과 무관하게 NIST에서 수행하는 FRVT 테스트에 최적화된 알고리즘을 별도로 제출할 수 있기 때문에NIST 테스트 결과가 반드시 실제 상용 서비스 알고리즘 성능과 일치한다고 볼 수 없는 문제가 있습니다.
솔루션 업체 또는 학계에서는 얼굴 인식률을 현저히 높인 알고리즘을 NIST 테스트 목적으로 제출할 수 있지만 실제 상용에 적용할 수 없을 정도의 컴퓨팅 파워 또는 비용이 소요될 수 있습니다.
예를 들어, 작년 11월 FRVT 결과를 보면, 몇몇의 알고리즘이 실생활 환경 얼굴(wild face) 인식률에서 매우 좋은 점수를 받았지만, SAFR 알고리즘에 비해 3~5배 이상으로 처리 속도가 느리며 현실적으로 감당하기 어려운 컴퓨팅 파워 및 얼굴인식에 과다한 시간이 소요되어 비디오로 입력된는 많은 얼굴들을 실시간으로 처리하기엔 역부족인 경우가 있습니다.

NIST에서 테스트한 어떤 알고리즘들은 포뮬러 원 경주용 자동차의 경우와 유사합니다.
특정 경주 코스에 탁월하도록 설계되었지만 소음, 제동, 주행 거리, 안전, 편안함 등에 대한 균형 잡힌 운전 조건들이 고려되어야 하는 실 상용 환경들을 반영하지는 못하는 경우입니다.

그렇다면 SAFR는 작년 11월 보고서내 포함된 최상위 알고리즘 대비 어떤 성능을 보일까요?
최상위 알고리즘은 실생활 얼굴(Wild face) 인식률로 0.028의 점수를 받았지만, 0.048의 점수를 받은 SAFR 알고리즘 대비 4.7배 느리고 2.4배가 더 큽니다.
최상위 2개 알고리즘은 정확도면에서는 우수하지만 대규모 상용 서비스용인 SAFR와 비교하면, 아래 그래프에 표시된 것과 같이 2~3배의 하드웨어가 필요하며 4~5배 느린 것으로 나타났습니다.
정확도는 높였지만 시스템 성능을 심각하게 저하시키고  고비용 구조가 되는 결과를 초래하였습니다.

SAFR Algorithm Performance

성능을 좋게 하기 위해서 컴퓨팅 한계가 있는 시스템에서 얼굴 인식 횟수를 늘려 더 좋은 성능을 만든다는 것에는 중요한 차이가 있습니다.
95% 이상의 정확도를 보이는 알고리즘 코호트(cohort) 중에서, SAFR가 가장 빠르고 가벼운 모델입니다. 이는 SAFR가 동일한 시간 동안 다른 알고리즘에 비해 얼굴 샘플링을 더 여러 번 할 수 있다는 것을 의미하며, 이로써 얼굴 인식율을 더 높인다는 것입니다.
결과적으로 SAFR는 다른 어떤 알고리즘보다 빨리 10,000명의 갤러리 중에서 한명을 분명하게 식별해 낼 수 있습니다.

SAFR는 스틸 이미지 인식율에서도 상당한 경쟁 우위에 있습니다. NIST 테스트 결과 전세계 상용 제품 중 10위를 하였고, 미국 기업중에서는 3위를 기록하였습니다.
그러나 앞서 설명드린 바와 같이 NIST 테스트에서의 인식율에 관한 성적만으로 알고리즘 전반의 성능을 평가할 수는 없습니다.
NIST에서는 실생활 이미지(Wild face)를 1:1로 매칭하는 방식으로 인식율을 측정하는 반면 실생활 환경에서는 여러명의 사람들이 지속적으로 움직이는 형태로 비디오에 입력되므로 매 비디오 프래임별로 변화된 이미지들을 사용하여 얼굴 인식을 하여야 합니다.

SAFR는 지능형 엣지(edge)를 사용하여 수백개의 비디오 프래임에서 얼굴 인식에 적합한 이미지를 선별할 수 있습니다.  SAFR는 지속적으로 비디오를 모니터링하고 다시 샘플링하여 최상의 프래임을 골라 얼굴 인식을 하므로 단순 1:1 비교 방식의 NIST 테스트 결과보다 실제 더 높은 얼굴 인식율을 가지게 됩니다.

NIST는 테스트에서 비디오를 사용하지 않습니다.

 

SAFR – Increasing AccuracySAFR는 차별화된 알고리즘으로 대부분의 유사 알고리즘에서 사용하는 컴퓨팅 파워의 일부만으로 최상의 얼굴 인식 결과를 제공합니다.NIST에 알고리즘을 제출하는 많은 회사들이 더 나은 점수를 받기 위해 노력하고 있지만, 성능과 인식률 사이에 균형을 맞추지 못하고 있습니다.

리얼네트웍스의 SAFR는 상용 시장에서 흔히 사용되는 하드웨어 장비를 이용하여 실제 서비스 환경에서 인종 및 연령, 성별 등의 편차없이 최고의 얼굴 인식률과 최상의 성능을 제공할 것입니다.

SAFR는 실생활 환경에서의 얼굴 인식을 위한 최고의 플랫폼입니다.