Machine Listening on the Edge

Edge AI?

Edge AI라고 들어보셨나요? Edge AI란 기기 자체에서 AI 애플리케이션을 구축하는 것을 의미하며, AI 연산이 단순히 클라우드 컴퓨팅 설비나 데이터센터에서 이뤄지는 것이 아닌 사용자 주변(Edge 단)에서 일어나는 것이 가장 큰 특징입니다.

여러분이 사용하고 있는 다양한 IoT기기에서 가장 손쉽게 Edge AI를 경험해보실 수 있습니다. Cochl.Sense 또한 Cloud API와 Edge SDK 두 가지 버전으로 제공되고 있어, 사용자의 편의에 따라 선택할 수 있는 큰 장점이 있습니다.

오늘은 Seeed Studio에서 함께한 Edge AI Talk에서 Cochl의 Business Development Manager이신 수영님이 발표해주신 내용을 요약해 드리려고 합니다. Edge단에서 Machine Listening이 어떻게 구현되는지 궁금하신 분들이라면 읽어주세요!

Q. Seeed와 Cochl은 어떻게 함께 하게 되었나요?

몇 년 전 Cochl.Sense를 디플로이 할 수 있는 커스터마이징이 가능한 가정용 스피커를 찾고 있었습니다. 아시다시피 빅테크 기업이 제공하는 가정용 스피커의 경우 써드파티 AI 소프트웨어를 커스터마이징하기 어려웠어요. 그러다 Seeed Studio를 알게 되었고 다양한 제품군을 지원하는 것은 물론, 간편하게 커스터마이징할 수 있는 플랫폼을 갖추고 있어 바로 저희가 찾던 완벽한 파트너를 만난 기분이었습니다.

실제 디바이스에 Cochl이 보유하고 있는 음향 기술을 탑재하기 위해서 Seeed Studio에서 제공하는 NVIDIA Jetson Nano와 Jetson AGX Xavier를 사용하고 있습니다.

NVIDIA Jetson Nano

Jetson AGX Xavier

Q. Cochl은 어떤 회사인가요?

Cochl은 미국 실리콘밸리와 한국 서울에 기반을 둔 기술 회사로 Machine listening 기술을 다양한 산업군에 적용할 수 있도록 프로덕트를 개발하고 있습니다. 안면 인식이나 객체 인식 등에 사용되는 컴퓨터 비전 기술에 대해서는 많이 알고 계실 것 같아요. 객체 인식에 적용되는 컴퓨터 비전 기술이 컴퓨터가 카메라를 통해 볼 수 있게끔 한다면, 음향 인식 기술은 스피커를 통해 컴퓨터가 들을 수 있게 합니다. 가령 총기나 유리 깨지는 소리 등을 파악한 뒤, 해당 사항을 해결할 수 있도록 돕습니다.

Q. Machine listening이란 무엇인가요?

Machine listening 기술은 소리 분석 혹은 음향 인식 등으로 알려져 있으며 굉장히 빠른 속도로 성장하고 있는 분야입니다. Speech recognition이 사람이 하는 말만 인식할 수 있는 반면, Machine listening은 더 넓은 범위를 커버하며 세상에 존재하는 모든 소리를 인식합니다. Machine listening 기술을 사용하면 오디오 데이터로부터 다양한 인사이트와 정보를 추출할 수 있으며, 여러 산업군에 적용할 수 있어 효과적인 의사 결정을 도울 수 있습니다.

Q. 그렇다면 Machine listening 기술의 장점은 무엇인가요?

첫 번째로 비용 절감에 효과적입니다. 다른 기술과 비교하였을 때 더 좋은 연산력을 가졌으며 경량화하기 쉬워 라즈베리파이와 같은 Edge 단에서도 활용되기 쉽습니다.

둘째로 커버할 수 있는 범위가 넓습니다. 컴퓨터 비전이 보유하고 있는 문제점 중 하나인 사각지대는 Machine Listening에서는 발견할 수 없으며, 특히나 단 1개의 마이크로도 모든 범위를 커버할 수 있습니다. 외부에 설치되더라도 몇백 미터 떨어진 곳까지 소리 인식이 가능합니다.

마지막으로 AI를 이야기할 때 나오는 공통적인 문제점 중 하나는 바로 프라이버시입니다. 대다수의 AI 솔루션들이 클라우드에 항상 연결돼 있어야 해, 큰 카메라를 통해 본인들의 일거수일투족이 전달되는 것에 사람들은 심리적 거부감을 느낍니다. 마이크의 경우 카메라와 달리 시각적인 위협을 주지 않아 사람들의 심리적 거부감이 상대적으로 낮으며, edge 단에서 실행될 수 있기에 클라우드에 오디오 데이터를 계속해서 보내지 않아도 됩니다.

Q. Machine listening 기술은 어떤 문제를 해결할 수 있을까요?

저희가 집중하고 있는 4개의 분야을 말씀드리자면 다음과 같습니다 - 스마트시티, 제조업, 방위사업, 그리고 스마트홈 서비스입니다. 각각의 분야에서 주의 깊게 다뤄지는 여러 소리가 있으며 Cochl.Sense를 통해 소리 데이터를 인식하고 분석합니다.

스마트시티 사례를 공유해 드리면 총기 소리나 차량 충돌 소리와 같이 우리 사회에 잠재적으로 위험하다고 판단될 수 있는 소리를 실시간으로 수집하고, 더 큰 사건으로 확대되기 전 빠른 대응을 할 수 있습니다. 세계의 유수 IP 카메라 업체들을 파트너사로 함께 하고 있으며, 해당 제품을 사용하는 고객은 저희의 솔루션을 플러그인으로써 쉽게 사용할 수 있습니다. 저희의 파트너사 중 한 곳인 ‘도구공간’에서 개발하고 있는 로봇의 경우, 저희 Cochl.Sense가 탑재되어 있어 도시 곳곳을 로봇이 돌아다니며 실시간으로 소리를 수집하고, 시민들의 안전을 지키는 데 도움을 주고 있습니다.

(사진 출처: https://news.mt.co.kr/mtview.php?no=2023021016220153351)

마찬가지로 스마트홈 영역에서는 스마트 스피커나 실내용 카메라에 부착된 마이크를 통해 외부 침입 등을 감지할 수 있습니다. 방위 사업에서도 소리를 통해 더욱더 즉각적이고 세분화하여 위협 상황을 감지할 수 있으며, 이는 의사결정을 하는 데 필요한 추가적인 정보를 전달하는 데 도움을 줍니다. 제조업에서도 비정상적인 상황을 탐지하는 데 사용될 수 있습니다. 예를 들어, 모터나 유압기 등 기계 부품에서 발생하는 소리를 듣고 제품의 오작동을 미리 예방할 수 있습니다.

Q. Machine listening 애플리케이션을 개발하는 데 어떤 것들이 요구될까요?

Machine listening 알고리즘을 처음부터 개발해 Edge 디바이스에 탑재하고 싶다고 가정한다면 여러 가지 어려움에 부딪히게 됩니다.

우선 Machine listening 알고리즘을 개발하기 위해서는 ‘소리 데이터를 다루는 데 능한 리서치 팀’이 필요합니다. 그 이유는 소리 데이터는 텍스트 혹은 이미지 데이터와는 완전히 다르기 때문입니다. 둘째로 소리 인식 시스템을 찾아보시면 아시겠지만, 대다수 시스템은 특정 장치나 마이크 환경에서만 사용될 수 있는 한계점을 가지고 있습니다. 그래서 ‘범용성 있는 솔루션’을 만들기는 쉽지 않습니다. 마지막으로 ‘우수한 성능’입니다. Alexa와 같은 유명한 홈디바이스 조차 높은 오답률을 보입니다. 데이터 수집부터 결과 안내까지 이어지는 모든 영역을 커버하기는 어렵기 때문입니다.

Cochl의 API와 SDK를 사용한다면 개발자들은 손쉽게 IP 카메라, 스마트 스피커, 로봇, 모바일 등의 Edge 디바이스에 Machine Listening 기술을 탑재할 수 있습니다. 또한 모바일 앱 대시보드와 웹 대시보드를 통해 결과 분석도 함께 확인할 수 있습니다. Edge 디바이스에 Cochl.Sense를 디플로이 하는 데는 높은 연산력을 가진 컴퓨터도 필요 없습니다. reComputer 또는 NVIDIA Jetson 정도로 충분하니까요. 그러므로 오히려 고객들은 더 넓은 폭의 제품 선택 폭을 누릴 수 있습니다.

Q. 다른 종류의 장비들이라도 같은 버전의 SDK를 사용하나요?

네, 장비에 상관없이 모두 같은 SDK를 다운받아 사용하면 됩니다. Cochl.Sense는 높은 연산력이나 용량을 필요로 하지 않기에 소리 인식 기능을 사용하는 데 무리가 없습니다.

Q. 각 장비마다 성능이 다른데, 각기 다른 상황에 따른 적절한 하드웨어를 추천해줄 수 있을까요?

네, 보통 Sound event detection에는 Jetson Nano를 사용하고 있습니다. Speaker identification이나 Machine anomaly detection과 같이 더 무거운 모델을 다루고자 할 때는 Jetson AGX Xavier나 상위 모델을 사용하는 것을 권장합니다.

Sound Event Detection: 소리 감지 기술 Speaker Identification: 화자 인식 기술 Machine Anomaly Detection: 기계 오작동 감지 기술

Q. Cochl.Sense가 어떻게 작동되는지 그 원리를 물어볼 수 있을까요?

Machine listening 앱을 만드는 것은 컴퓨터 비전이나 안면 인식 기능이 담긴 어플을 만드는 것과는 완전히 다릅니다. 모든 기능을 약간의 코드를 통해 사용할 수 있지만, 이 뒤에는 엄청난 수의 오디오 파일들이 담긴 저희가 보유한 데이터 세트와 데이터를 자동으로 분류해주는 툴 등이 있기에 가능합니다. 이 모든 것은 내부에서 자체 개발되었고, 이런 것들을 바탕으로 개발자들이 Cochl.Sense를 사용하여 수 분 안에 퀄리티 있는 결과물을 얻어낼 수 있습니다.

Q. Cochl.Sense의 앞으로의 계획은 무엇인가요?

현재는 총 37가지의 소리를 인식하고, 결괏값을 보여줄 수 있지만 계속해서 소리를 추가해 나갈 예정입니다. 그리고 Speaker identification과 Machine anomaly detection 서비스를 공식적으로 공개할 것이고요. 계속해서 다양한 방향으로 확장하며 모든 종류의 소리를 다루는 솔루션을 만드는 것이 최종 목표입니다.

PLUS) Demo를 따라해보시겠어요?

데모는 두 가지 타입으로 준비했습니다. 수영님의 설명을 따라 함께 경험해봐요! (* 클릭시 바로 데모부터 재생됩니다! )

•

Cochl Sound event detection on reComputer

•

Speaker Verification on Jetson AGX Xavier

Edge AI Talk에서 다룬 9가지 질문과 2가지 데모를 여러분께 선보였는데 어떠신가요? Edge AI와 Machine listening 기술이 더 궁금해지셨을까요?

Cochl.Sense SDK 도입을 희망하시거나, Cochl.Sense API를 사용해보고 싶으신 분들이라면 아래 두 사이트를 방문해주세요!

•

Dashboard

accounts.cochl.ai

https://accounts.cochl.ai/registration?flow=e759a950-d146-4b27-8f6d-164aa5362ab5

•

Cochl Github

Cochl

Creating ears for artificial intelligence. Cochl has 6 repositories available. Follow their code on GitHub.

https://github.com/cochlearai/

Cochl.Sense와 관련해 궁금한 부분이 많으시다면 언제든 저희는 열려 있으니 편하게 연락 부탁드립니다. 확인 즉시 저희의 Sound AI 전문가가 Knock Knock! 문을 두드릴게요