• 서울
    B
    미세먼지
  • 경기
    B
    미세먼지
  • 인천
    B
    미세먼지
  • 광주
    Y
    7℃
    미세먼지
  • 대전
    B
    6℃
    미세먼지
  • 대구
    B
    미세먼지
  • 울산
    H
    11℃
    미세먼지
  • 부산
    B
    미세먼지
  • 강원
    R
    4℃
    미세먼지
  • 충북
    B
    미세먼지
  • 충남
    B
    미세먼지
  • 전북
    B
    미세먼지
  • 전남
    B
    7℃
    미세먼지
  • 경북
    B
    미세먼지
  • 경남
    B
    미세먼지
  • 제주
    B
    10℃
    미세먼지
  • 세종
    Y
    6℃
    미세먼지
최종편집2024-03-19 19:01 (화) 기사제보 구독신청
인공지능 시각 연구 선구자 김익재 KIST 영상미디어연구단장
인공지능 시각 연구 선구자 김익재 KIST 영상미디어연구단장
  • 강민경
  • 승인 2018.02.01 11:53
  • 댓글 0
이 기사를 공유합니다

얼굴인식 기술 및 3D 몽타주 개발

[인사이트코리아=강민경 기자] 2017년 12월 19일 한국공학한림원이 ‘2025년 한국을 먹여 살릴 100대 기술’을 선정하며 해당 분야를 이끌 주역도 함께 발표했다. 10개월간 진행된 한국공학한림원의 미래 100대 기술 및 차세대 주역 선정 작업에는 총 120여 명의 산학연 전문가가 참여했다. 지난해 2월 미래기술 기획TF(위원장 윤의준 서울대 재료공학부 교수)를 구성해 2025년 국가 발전 목표와 5대 발전 비전으로 ▲성장하는 사회 ▲스마트한 사회 ▲지속 가능한 사회 ▲건강한 사회 ▲안전한 사회를 정하고, 이를 실현하기 위한 산업별 기반기술 분류 체계를 마련했다. 이후 2025년에 상용화가 가능하고 산업 발전에 크게 기여할 기술과 해당 기술의 주역을 젊은 연구자와 엔지니어 중심으로 선정했다.

한국공학한림원이 선정한 ‘100대 기술’은 대한민국의 미래를 밝히는 등불이 이다. 이에 <인사이트코리아>는 그 주역들을 차례로 만나볼 예정이다. 첫 번째 주인공은 ‘얼굴인식 기술, 객체인식 기술, 나이 변환 기술’을 개발한 김익재 한국과학기술연구원(KIST) 영상미디어연구단장이다. 김익재 단장은 인공지능 시각 연구 분야를 선도하는 인물이다. 매사추세츠공대(MIT) 미디어랩에서 영상 기술을 연구한 뒤 1998년 KIST에 합류해 한국컴퓨터그래픽스 학회 학술 이사·한국 HCI 학회 이사·한국 정보 과학회 CG&I 상임이사 등을 역임하고 경찰청 과학수사센터 자문 위원 및 경찰수사학회 초대 멤버로도 활동하고 있다.

"측면 얼굴만 찍혀도 범인 모습 95% 재생한다"

해가 질 무렵 범인의 측면 얼굴이 범죄현장 CCTV에 포착됐다면 그 범인을 찾을 수 있을까. 김익재 단장이 개발한 ‘얼굴인식 기술’은 포즈·표정·조도에서 자유롭게 대응할 수 있는 특징을 바탕으로 95% 이상 인식률을 보여준다. 인식된 얼굴은 3D 입체영상으로 구현된다. 나이 변환이 가능한 이른바 ‘에이징 기술’를 적용하면 과거의 모습부터 미래의 모습까지도 예측할 수 있다.

NYPD(뉴욕 경찰국)와 FBI(미국 연방 수사국)가 사용하는 얼굴인식 프로그램과 비교해도 뒤지지 않는 세계적인 수준이다. 2014년 1월 세계 최대 전자박람회인 CES에서 첫선을 보이며 세계를 깜짝 놀라게 했다. 김 단장이 개발한 이 기술은 지난해부터 순차적으로 우리나라 경찰청에 보급되고 있으며 최근 범인 검거에도 결정적인 역할을 한 것으로 알려졌다.

- 한림원이 ‘얼굴인식 기술, 객체인식 기술, 나이 변환 기술’을 100대 기술에 선정했는데 구체적으로 어떤 기술입니까.

“얼굴을 인식하는 방법에는 크게 정면 인식과 측면 인식이 있습니다. 이 두 가지를 복합적으로 쓰면 효과가 더 뛰어난데요. 저희는 측면 얼굴만으로도 정면 얼굴이 어떠한 모습인지를 인식할 수 있는 기술을 개발했습니다. 얼굴이 입력되면 3차원 영상으로 정면 얼굴이 화면에 나타나는데요. 이후 측면 얼굴을 비롯해 다양한 각도로 회전이 가능합니다. 어떤 카메라로 찍어도 본 프로그램을 적용시키면 3D 화면으로 재현되고, 사진 한 장만 주어져도 얼굴 표면의 텍스처까지 만들어내는 기술입니다. 이 기술은 현재 경찰청에서 사용되고 있습니다. 작년부터 전국 경찰청에서 활용되기 시작했는데 실제 범인 검거가 이뤄진 사례도 있습니다.”

- 측면 얼굴로 정면 얼굴이 인식되는 기술에는 어떤 원리가 적용되었나요?

“다양한 각도를 저희는 ‘포즈’라고 부릅니다. 대상 얼굴이 입력되면 각축점을 검색하고 각도를 알아낸 뒤 어떤 포즈에 부합하는지를 분석 혹은 예측합니다. 그러면 해당 얼굴이 x축 기준, y축 기준으로 몇 도가 회전됐는가를 추정할 수 있습니다. 이러한 성능은 다양한 사진을 찍은 데이터베이스에서 도출됩니다. 해외 데이터도 갖추고 있습니다. 현재 640만 장으로 세계 최대 규모의 데이터를 보유하고 있는데요. 그 정도의 빅데이터가 있기 때문에 여러 가지 포즈에 대한 대응이 가능하고 인식률도 높습니다.”

- 다양한 표정 변화에도 인식이 가능하다고 들었습니다.

“그렇습니다. 어떤 표정인가에 대해 추적이 가능하고 무표정한 얼굴로 인식 결과를 도출해낼 수 있습니다. 같은 사람이라도 표정에 따라서 다른 사람으로 보일 수도 있기 때문에 표정을 염두에 두지 않으면 인식률이 굉장히 낮을 수 있습니다. 저희는 연구를 할 때 사람 얼굴에 대한 축과 표현에 대한 축을 기준으로 분리해 표정 파라미터(매개변수)가 나오게 만들었습니다. 표정 파라미터를 분석한 후 특정 값을 입력하면 무표정한 얼굴에 표정을 짓게 하거나 표정이 지어진 얼굴을 무표정한 얼굴로 바꿀 수 있습니다. 극단적인 표정에도 얼굴이 실시간으로 따라갑니다. 이전에 사진만으로 얼굴을 판독하던 것과 달리 이제는 정보를 3차원으로 추출해서 피팅 후 분석하기 때문에 이 기술이 기존의 다른 얼굴 인식 프로그램과 차별화된 결과를 도출할 수 있다고 할 수 있겠습니다.”

- 다른 차별점은 어떤 것들이 있나요?

“에이징(나이)을 조절할 수 있습니다. 기준 시기보다 더 어리게 혹은 더 늙어 보이게 얼굴을 재현할 수 있는 건데요. 이 기술적 특징은 미아 찾기에 주로 사용됩니다. 어린 모습에서 현재 모습을 추정해서 얼굴 추정 값을 3D로 나타낼 수 있습니다. 미국에서는 아직 수작업으로 하고 있습니다만, 수작업이라는 것이 할 때마다 다르게 나올 수 있습니다. 하지만 이러한 과학적이고 수학적인 모델을 개발하면 자동 변환이 되니까 항상 일정한 결과가 나옵니다.”

- 나이를 조절한다니 굉장히 신기한데요. 연구하실 때 중점적으로 신경 쓴 부분은 어떠한 것들인가요?

“사람마다 다르긴 하지만 나이가 들 때 어디가 중점적으로 변하는지에 대해서 분석을 했습니다. 나이의 변화에 따라서 얼굴이 변하는 요소들은 피부와 얼굴 형태 등인데요. 얼굴 형태의 경우 호르몬 변화와 함께 샤프한 얼굴형도 나이가 들면 둥근 모양으로 변하고요. 피부의 경우에는 여성은 주로 눈 밑 피부에 기미가 올라오고, 주름은 남녀 공통입니다. 특히 입 주변과 눈 끝 주변 주름, 팔자 주름이 생기죠. 이 부분들을 중심으로 기능을 만들었습니다. 이 기술을 사용하면 과거-현재-미래 모습을 자유자재로 조정할 수 있습니다. 아직도 여전히 개선해야 할 부분들이 많지만 현재 기술로도 조금씩 활용되고 있습니다.”

- 기술 개선에 있어서 생각하시는 부분이 있나요?

“범죄현장에서는 범죄자의 얼굴이 상당히 작게 찍히는 경우가 많습니다. 카메라가 멀리 있으면 그럴 수밖에 없죠. 영화에서는 줌인으로 확대하곤 하지만 실제로 그런 기술은 아직 없고, 때문에 많은 연구자들이 개발하고자 노력하고 있습니다. 따라서 멀리서 찍혀도 정확하게 판별할 수 있는 해상도 향상 기술을 염두에 두고 개발하고 있습니다.”

- 세계적으로도 선진화된 기술이라고 볼 수 있겠습니다.

“네. 얼굴인식 분야에서 세계적으로 우수한 기업과 기술들이 있는데요. 저희가 비교를 하는 것이 주로 NEC(닛폰 전기로 불리는 일본의 컴퓨터 기업)가 개발한 프로그램으로 이는 현재 NYPD에서 활용되고 있습니다. 또 MORPHO(매사추세츠주 빌러리카의 소프트웨어 개발사)가 개발한 프로그램은 FBI가 사용하는데요. 이러한 세계적 수준의 기술과 저희 기술을 비교 테스트 했을 때 대등한 수준을 보여주고 있습니다. 특정 부분에 대해서는 저희가 조금 더 나은 결과를 보여주고 있습니다.”

- 어떤 항목이 우수하다고 평가되나요?

“포즈 부분에서는 확실히 뛰어납니다. NEC를 비롯한 기존 얼굴 인식 시스템은 포즈 정규화를 정면 기준으로 하다 보니 두 눈을 반드시 찾아야지만 인식을 할 수 있었어요. 보통 축이 45도가 넘어가면 한 쪽 눈이 안 보이기 시작하고 그러면 기존 기술들로는 분석이 어렵습니다. 그렇지만 저희 기술은 각도의 변화와 상관없이 얼굴 인식이 가능하기 때문에 얼굴의 포즈 변화가 높을수록 성능 차이가 더 나게 됩니다. 정면에 대한 인식률에 있어서는 저희가 0.1~0.2% 정도 낮습니다만 전체적으로는 더 뛰어납니다. 사람이 움직일 때 얼굴이 정면을 향하기보다는 어딘가로 움직이는 경우가 훨씬 많으니까요. 경찰청에서 분석하는 CCTV는 설치된 각도가 주로 상단이어서 포즈의 변화가 심한데 그러한 경우에도 분석하는데 용이하죠.”

- 이 기술을 개발할 때 어떤 목표를 잡고 진행을 했나요?

“구체적인 로드맵을 가지고 있습니다. ‘개발 이후 몇 년째까지 몇 % 오차 범위로 에러 확률을 줄이겠다.’ 이러한 것들이 있는데요. 특히 조도 부분에 있어서 문제를 해결하고 싶습니다. 40룩스(lux·조도 단위)에서 정확하게 얼굴을 인식하게 하려는 것이 저희 목표입니다. 40룩스는 해가 질 무렵의 굉장히 어두운 상황이고, 그 정도 환경에서 인식하는 것이 현재 일반 가시광 카메라 기준에서 할 수 있는 최대의 성능입니다. 그래서 그 조도에서 좌우 90도, 상하 30도 회전과 얼굴의 가림이 있어도 인식을 할 수 있는 것을 목표로 개발하고 있습니다. 지금도 어느 정도는 됩니다만, 모든 케이스가 복합적으로 작용을 했을 때도 95% 이상의 정확도를 보이는가가 관건이고 지금도 그 문제에 도전하고 있습니다.”

- 기술을 개발하게 된 계기가 있나요?

“저는 박사 때부터 얼굴인식을 주요 분야로 연구 해왔는데요. 마침 ‘얼굴인식’이라는 것에 대해 경찰청에서 국가 과제로 수요 제기했던 것이 계기가 됐습니다. 2010년 국가가 기관들을 상대로 ‘어떠한 기술을 개발했으면 좋겠느냐’는 수요 조사를 했는데 경찰청에서 얼굴인식 기술을 개발했으면 좋겠다고 요청을 한 겁니다. 그래서 2011년 당시 지식경제부 과제로 나오게 됐고요. 그때 ‘아, 나를 위한 과제구나!’라는 생각이 들어서 지원을 하게 됐고 선정도 받게 됐습니다.”

- 개발하던 과정에서 에피소드는 없었나요?

“그때 당시 기술을 개발하기 위해 3년 내내 경찰청을 계속 왔다 갔다 했어요. 경찰청과 유기적으로 개발하기 위해서 담당자에게 ‘어떤 부분의 보완이 더 필요하냐?’ ‘뭐가 더 필요하냐?’는 것들을 계속 물었어요. 기술적인 문제가 중요한 게 아니라 경찰관들께서 직접 쓰실 때 필요한 것이 무엇인가가 중요했고, 그래서 현장에 계신 분들의 피드백을 중요하게 들었습니다. 경찰청에서도 적극적으로 말씀해주셨고요. 과제의 성공 여부를 떠나 그게 참 중요했었던 것 같아요.”

- 기술에 사용되는 3D 영상 기술로 몽타주도 제작할 수 있다고 들었습니다.

“맞습니다. 앞서 설명한 얼굴 인식 기술은 CCTV에 용의자 얼굴이 포착되면 빠르고 정확하게 신원을 확인하는 기술이고, 3D 몽타주 기술은 CCTV가 없을 때 목격자에 의해 용의자 얼굴을 보다 자세하고 사실감 있게 재현해 내는 기술입니다.”

- 기존에 사용되던 몽타주와 어떤 차이가 있나요?

“우리나라는 1994년 이전에는 스케치로 그렸고, 1994년에 미국 회사의 몽타주 프로그램을 수입해서 사용해왔어요. 그런데 그 프로그램의 데이터베이스 자체가 외국인이다 보니까 한국인 얼굴과 맞지 않았던 거죠. 경찰청에서 한국형 몽타주 프로그램의 필요성을 느끼고 제작 결심을 한 거예요. 그때 버전을 보면 그 당시 기술로는 잘 만들었다 싶은데 지금 기준으로 보면 부족하다 싶은 것들이 꽤 많죠.”

- 기술 개발에 있어 애로사항은 없었나요?

“현재 빅데이터를 바탕으로 하는 인공지능 시대에 들어서고 있습니다. 저희가 개발하려는 기술도 이러한 기술들을 기반으로 진행을 하는데, 우리나라에서는 개인 정보보호법에 의해 빅데이터 활용에 제약이 많습니다. 민감 정보들은 보호받아야 하는 것은 당연하지만, 해외에 비해 다소 과도하게 적용되고 있는 부분이 있는 것 같습니다. 이러한 부분은 어느 정도 개선이 되어 급격히 발전하고 있는 세계 기술과 발맞춰 발전할 수 있기를 기대합니다.”

- 앞으로의 포부는 무엇인가요?

“포부는 없습니다(웃음). KIST에는 사실 굉장히 우수한 분들이 많은데 박사님들이 생각하시는 방향은 다 달라요. 어떤 분들은 지금 현재는 없는 기술이지만 20~30년 후를 생각하고 연구를 진행하기도 하세요. 저의 경우에는 현재 존재하고 있는 문제를 좀 풀고 싶다는 생각이 강합니다. 경찰청이나 또는 저희 기술을 필요로 하는 분야에서 ‘이야, 이 기술 정말 쓸 만 하네’ ‘제대로다’는 평을 듣고 싶고요. K팝과 같은 문화적 한류도 좋지만 이러한 원천 기술 부문에서 한류의 흐름이 일어났으면 하는 바람도 있습니다. 최근 외국에서 이 기술을 확인하고자 경찰청을 방문했다고 하더라고요. 전부터 외국인 데이터베이스를 기반으로 내부 테스트를 진행해 왔는데요. 추후 외국인 데이터베이스가 더 많이 구축된다면 해외 수출도 가능할 것이라고 생각합니다. 성능 검진이 확실시되면 그때 외부적으로도 공개를 할 생각입니다.”

- 마지막으로 하고 싶은 말이 있다면?

“미흡한 것이 많은데 언론에서 대단히 큰 기술이라고 해주시니 얼굴이 화끈거립니다. KIST 홍보팀에서도 기자님들을 모셔오는데 부끄럽습니다. 앞으로 개선이 필요한 부분은 보완을 해나가며 열심히 잘 만들어서 더 자랑스럽게 이 기술을 소개해 드리고 싶습니다.”

 

인사이트코리아, INSIGHTKOREA

댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.