지난 주, 코클 리서치 팀은 특별한 장소를 방문해 새로운 Cochl.Sense 모델의 성능 평가를 진행했습니다. 과연 어디로 갔을까요?
놀랍게도, 사격장입니다. 우리가 왜 사격장까지 갔을까요?
홈 시큐리티 분야에서의 Cochl.Sense
세계 최초이자 유일한 AI 기반의 머신 리스닝 API인 Cochl.Sense는 시끄러운 실제 환경에서도 잘 작동될 수 있도록 훈련되어 있습니다. Cochl.Sense는 다양한 상황에서 사용될 수 있는데, Cochl에서는 특히나 ‘응급상황 감지'에 큰 관심을 두고 있습니다. Cochl의 고객사 중 한 곳인 AXIS에서는 주변 환경음 속에서 ‘총격'소리를 감지 할 수 있는 Cochl.Sense 모델을 만들어 달라고 의뢰했습니다.
처음에는, 총격소리를 감지할 수 있는 클래스가 탑재된 모델을 Cochl의 데이터베이스에 있는 총격소리와 비교해 보았습니다. 모델은 진짜 총격소리는 잘 인식했고, 주변 소음을 총격소리라고 오인하는 경우는 거의 없었습니다. 하지만 우리는 팔이 안으로 굽는 대신 정확성에 주의를 기울이며 조금 더 우리의 모델을 신중하게 파헤쳐보기로 했습니다 - 과연 마이크의 종류가 성능에 영향을 주는게 아닐까? 하는 가설을 던져 보면서요.
Cochl.Sense는 AXIS의 디바이스에 탑재 되는 형태로 제공될 예정이었기에, AXIS 디바이스에 직접 Cochl.Sense를 업로드 해 실제 총격소리를 시험해 보았습니다. 적어도 AXIS의 상품을 구매하는 고객들과 유사한 환경에서의 실험은 필요하니까요.
사격장으로 가기 전 사내에서 진행 된 성능 평가
AXIS 디바이스에 Cochl.Sense를 탑재한뒤 스피커를 통해 총격소리를 들려줬습니다. 하지만 스피커를 통해 듣는 총격소리와 실제 상황에서 발생하는 총격소리의 차이점도 있고, 아무래도 제한된 환경에서만 실험을 하다보니 실제 총격소리에 대한 성능평가가 필요하다는 의견이 나왔습니다. 그래서, 우리가 만든 모델의 정확도를 더 자세하게 평가해보기 위해 사격장으로 향했습니다.
사격장에서 우리가 깨달은 것은
사격장 방문은 Cochl 팀원들에게 많은 인사이트를 주었습니다. 첫번째로 사격장에 직접 기기를 들고가서 성능평가를 해본 결과, 실제 총소리가 어떨 때 인식이 잘 되고 어떨 때 잘 되지 않는지에 대한 감을 잡을 수 있었습니다. 가령 잘 작동하기 위해서는 거리나 총소리 데시벨들이 영향을 줄 수 있는 것을 발견했습니다. 그런 단서들을 통해 우리의 모델에 어떤 부분을 튜닝(조정)해야 할지 결정할 수 있는 실마리를 얻게 되었습니다. 오히려 스피커를 통해 총격 소리를 들려줬을 때 보다 실제 상황에서 높은 정확도를 보여 줬기에 우리가 만든 모델이 잘 작동하고 있는지 알 수 있었습니다.
더 나아가서, 성능 평가를 하기 위해 외부로 나가보는 케이스들을 점점 늘여야 한다는 결론을 또 한번 느끼게 되었습니다. 기존에 응급 상황 감지에 대한 데이터를 수집하기 위해 직접 유리를 깨보고, 유리가 깨질 때의 소리를 수집해 본적도 있는 Cochl이었기에 제한된 환경에서 데이터를 수집하고 분석하는 것 보다 실제 상황에서 직접 경험해보는 것이 우리 모델의 신뢰성을 높여준다는 것을 이미 알고 있었습니다. 또 이번 사격장 방문이 그를 잘 입증해주었구요.
이번 사격장 방문을 통해 다음 성능 평가 시에는 어떤 부분을 중점적으로 봐야할지, 어떤 식으로 성능 평가를 진행해야 할지에 대해 심도있는 고민도 이어졌습니다. 성능 평가를 정성적, 정량적으로 할 수 있는 프로세스가 확립된다면 Cochl이 만들어 나가는 모델과 서비스를 더 깊이 이해하는 데 큰 도움을 줄 수 있으니까요.
하나의 모델을 구축할 때도, 최선의 결과를 내기 위해 Cochl은 깊이 고민하고 의심하는 방식을 고집하고 있습니다. 이런 성능에 대한 진심과, 구축해낸 모델의 자신감이 돋보이는 사례들은 이전부터 있었죠. 가령 IEEE DCASE, 그리고 Kaggle에서 좋은 성과를 받은 것과 계속해서 업데이트 되고 있는 Cochl.Sense의 기능들처럼요.
이번 가을 Cochl은 또 한 번의 대규모 업데이트를 눈 앞에 두고 있습니다. Cochl이 만들어 나가는 이야기가 궁금하시다면 계속해서 지켜봐주세요!