Cochl이 들려주는 AUDIO & AI
Gallery view
Search
아이폰, 애플워치 그리고 픽셀 버즈 - 새로운 소리 감지 기능을 가지고 어떤 걸 해볼 수 있을까요?
(원문 : Amazon, Google and Apple recently Enabled Their Products To “Listen” for These 3 Reasons, 저자 : 이수영, 번역 : 장민서)
사람들은 소리를 통해 위험을 감지하도록 태어났습니다.
어두운 밤길 뒤에서 들려오는 걸음 소리를 신경 써본 경험이 있을 거예요. 막 잠자리에 들기 위해 누웠는데 침실 밖에서 들리는 소리에 신경이 곤두서본 적도 있을 거고요. 밤이라 잘 보이지 않을 때나 혹은 집에 혼자 있을 때, 주변 환경을 파악하기 위해서 소리에 집중하는 경우가 종종 있습니다.
하지만 우리가 좀 산만한 상황에 놓여있다면 어떨까요? 큰 헤드폰을 쓰고 음악을 듣고 있을 때 노크 소리가 잘 들리던가요? 혹은 노이즈캔슬링 모드를 틀어놓고 걷다 보면 뒤에서 차가 빵빵거리는 소리도 잘 듣지 못합니다. 만약 청력을 잃은 경우면 어쩌죠? 제가 집을 비운 사이 우리 집 개가 짖어 이웃 주민이 화가 난 경우에는요?
큰 기술회사들은 최신 사운드 AI 기술을 이용해 이러한 문제를 해결할 수 있는 돌파구들을 마련했습니다. - 그들은 이제 머신러닝 기반의 소리 탐지 기능을 자사의 제품에 탑재할 수 있게 된 거죠.
2019년을 시작으로 Amazon, Google 그리고 Apple은 앞다투어 소리 탐지 기능을 출시했고, 크게는 3가지를 목적으로 했습니다.
#1. 주택 방범: 부재 시 스마트 스피커가 대신 의심스러운 행동을 감시해줍니다.
2019년 5월 Amazon이 Alexa Guard를 출시하면서 Amazon Echo 스피커에 “알렉사, 나 지금 떠나 (Alexa ,I’m leaving)"라는 명령어를 추가했습니다.
Amazon, Google 그리고 Apple이 최근 자사 제품에 ‘귀'를 달아준 3가지 이유
(영문: It works with my dataset, you loser: Developing a real-world Sound AI ,저자 : 장민서, 감수 : 정일영, 한윤창)
지난 토요일(10월 17일) 국내 데이터 씬에서 핫한 '데이터야놀자' 행사가 열렸습니다. 많은 분이 좋은 주제를 가지고 발표에 임해주셨는데, Cochl의 공동창업자/Research Scientist인 일영님도 발표자로 데이터야놀자 2021년 행사에 참여해주셨습니다.
최근 인터넷에서 유행하는 표현으로 말해보자면 '킹받는' 제목인 '제 데이터셋에서는 되는데요? 실 환경 소리 AI 만들기'라는 재미있는 주제로 15분 동안 발표를 해주셨는데, 어떤 내용이 오갔는지 나름의 생생함을 글로 전달 드립니다!
[시작하기에 앞서]
Cochl은 Sound AI를 전공한 연구원 6명이 'Creating ears for artificial intelligence'라는 모토로 공동 창업한 Sound AI 전문 스타트업입니다.
인생은 실전이었어요!
데이터를 분석하고, 모델을 학습 시켜 성능을 높이는 과정이 같았기에 논문 경진대회나 서비스를 만드는 것이 크게 다르지 않을 것이라고 창업 초기의 일영님은 착각했습니다. 하지만 점점 다르다는 것을 창업의 과정속에서 깨닫게 되었죠. 그래서 이번 발표에서는 일영님께서 연구실의 경험만으로는 해결하지 못했던 실생활 Sound AI 개발 경험을 공유해주셨습니다.
[첫 번째 고민 - 데이터 수급]
사람이 살다 보면 놀라는 상황에 한 번씩은 처하게 됩니다. 그럴 때 '꺅!'하고 소리를 내는 경우가 있는데, 이런 소리를 듣고 '지금 이 근방에서 비명이 났습니다!'라고 말해주는 모델을 만든다고 한번 가정해봅시다.
이런 문제를 풀 때 가장 큰 어려움으로 겪을 수 있는 것은 첫 단계인 데이터 모으기입니다. 연구실에서 모델을 만들 때는 1) 기본적으로 데이터가 있다는 전제로 진행하거나 2) 같은 데이터를 이용한 기존의 연구들이 어떤 것이 있는지를 참조합니다. 다만 서비스 측면에서 다가갈 경우 1) 데이터가 없거나 2) 있더라도 절대적인 양이 부족합니다. 그래서 결국 Cochl에서는 직접 비명 데이터를 수집하는 방향으로 나아갔습니다.
비명 데이터를 수집해야 할 때 했던 고민은 아래와 같습니다.
제 데이터셋에서는 되는데요? 실 환경 소리 AI 만들기
인터뷰에 참여한 애수 님 (좌), 지은 님(중간), 효정 님(우)
안녕하세요
지난주 Cochl이 새롭게 웹사이트를 리뉴얼했습니다. 기존 웹사이트에서 한 걸음 더 나아가 Cochl이 가진 프로덕트와 기술을 보다 user friendly 하게 풀어내는 것에 많은 공수를 들였는데요, 해당 프로젝트를 리딩해주신 프론트엔드 엔지니어 애수님, UX/UI 디자이너 효정님, 지은님을 모시고 웹사이트 리뉴얼에 관한 많은 이야기를 담아보려고 합니다.
어떻게 해당 프로젝트가 진행되었는지, 어떤 과정을 거쳐 탄생하게 되었는지 그 탄생 비화를 말씀드릴게요
Q. 안녕하세요! 간단하게 본인 소개를 부탁드립니다.
애수 님: 안녕하세요, 이번 웹사이트 리뉴얼 프로젝트에서 프론트엔드 개발 부분을 맡아서 진행한 프론트엔드 엔지니어 조애수입니다.
지은 님: 안녕하세요, 웹사이트 리뉴얼 기획부터 최종 디자인까지의 프로세스에서 디자인을 담당한 UX/UI 디자이너 신지은입니다. 주로 UI와 전체적인 Hi-Fi 부분을 담당했습니다.
효정 님: 안녕하세요, 아이디에이션부터 마무리까지 전반적인 디자인 flow를 담당한 UX/UI 디자이너 김효정입니다.
Q. 이번 웹사이트 리뉴얼을 진행하게 된 이유는 무엇일까요?
Cochl 웹사이트 리뉴얼 프로젝트 _ Part 2 : 개발과 디자인 톺아보기
안녕하세요
오늘은 많은 분들이 기다려오셨던 2022 NVIDIA GTC에서 Cochl이 발표한 세션(Link)을 톺아보려고 합니다. Cochl이 어떤 회사이고, 어떤 문제를 해결하고자 하는지 궁금하시다면 끝까지 함께 해주세요!
Cochl은 인간과 유사한 수준으로 우리 주변에서 발생하는 소리를 인식할 수 있는 Generalized Sound AI를 만드는 회사입니다. 여기서 말하는 Generalized Sound AI는 무엇이고 왜 필요할까요?
가령 인공 지능의 한 분야로 잘 알려져있는 Computer vision을 예시로 들어보겠습니다. Computer vision은 인공지능으로 하여금 인간 수준으로 특정 시각적 특징을 분석하고 이해하는 것을 목표로 하고 있습니다. OCR, Object detection, Object Tracking 등의 기술이 비전 분야를 대표합니다. 한편 시각 분야에 비해 청각 분야는 음악 분석이나 음성 인식 등 한정적인 영역에서만 많은 연구가 이뤄지고 있어 상대적으로 더 많은 연구가 필요합니다.
하지만 생각해보세요. 우리가 얼마나 다채로운 소리에 둘러쌓여 살고 있는지 말이죠! 노이즈 캔슬링 기능이 탑재된 이어폰을 끼지 않는 이상 우리는 소리로 가득한 세상에 살고있음을 느낄 수 있습니다. 음성은 그런 소리가 담고 있는 많은 정보 중 극히 일부일 뿐입니다. Cochl은 우리와 함께 살아숨쉬는 소리의 잠재력을 믿고, 소리가 우리에게 줄 수 있는 많은 정보를 통해 더 나은 삶을 살 수 있도록 ‘Generalized Sound AI’를 개발하고 있습니다.
왜 Generalized Sound AI가 필요할까요?
NVIDIA GTC 2022 : Toward Generalized Sound AI
안녕하세요, Cochl에서 처음 선보이는 Cochl.Labs!
Cochl.Labs가 어떻게 만들어졌는지 그 대장정을 여러분께 공개합니다.
그 시작으로 Cochl의 리서치팀 정수 님, 상민 님과 함께 인터뷰를 진행해봤습니다 :)
Q. Cochl.Labs와 본인에 대해 간단하게 소개 부탁드립니다.
정수 님: Cochl.Labs는 우리의 잠재 고객들이 우리 기술을 직접 경험해볼 수 있고, 들어볼 수 있는 사이트입니다. 맡은 직책이 리서치팀 리드다 보니 이번 Cochl.Labs 프로젝트에서는 백엔드와 프론트엔드를 이어주는 다리 역할을 했습니다. 아무래도 제가 기존에 만들었던 사이트(링크)를 바탕으로 Cochl.Labs가 개발되다 보니 분야를 넘나들며 도움을 드렸네요. 아 참고로 위 사이트는 Cochl.Labs로 연결해뒀습니다.
상민 님: Cochl.Labs는 회사에서 제공하는 서비스나 기술을 한눈에 경험해보실 수 있게 만든 페이지입니다. 정수 님께서 만드신 샘플 사이트(링크: 정수님의 샘플 사이트 제작기)를 토대로 만들어졌고, 기존 사이트에 있던 기능들을 한곳으로 모아야 했습니다. 저는 프로젝트에서 프론트에서 들어온 요청에 따라 필요한 모델을 호출하여 그 결과를 다시 프론트로 전달해주는 서버 애플리케이션과 API를 정의하는 것을 담당했습니다.
Q. 이번 Cochl.Labs는 어떻게 시작하게 되었나요?
정수 님: Cochl이 지금까지 만들어온 프로덕트는 API나 SDK라는 추상적인 소프트웨어의 형태를 띠고 있습니다. 그러다 보니 사람들이 우리 기술을 가져다가 경험해보고 솔루션을 성능평가 해보는 데에 있어 전문 개발자가 아니면 허들이 높았습니다. 어떻게 하면 이 허들을 낮출 수 있을까? 에 대한 고민으로부터 시작했어요.
한편으로는 아직 비즈니스적으로 packaging이 되진 않았지만 연구 개발이 완성된 다양한 기술을 보유하고 있어서 그런 기술력 또한 선보일 수 있는 자리가 있었으면 하는 희망도 있었습니다. 이 두 가지 고민을 바탕으로 사람들이 쉽게 접근해볼 수 있으며, 기술을 사용해볼 수 있는 웹페이지라는 형태의 Cochl.Labs가 탄생하게 되었습니다.
Cochl.Labs 인터뷰 with Research Team
Cochl은 ‘Creating ears for artificial intelligence’라는 비전하에 우리가 가진 기술을 통해 인공지능이 풍부한 정보를 바탕으로 정확한 의사 결정을 할 수 있도록 만들어 나가고 있습니다. 이를 통해 우리의 삶을 한층 더 편하고 풍요롭게 만들 수 있다고 믿기 때문입니다.
그렇기에 우리가 가진 기술을 활용해 세상에 이로움을 펼쳐나가는 유저분들의 성공 사례를 듣는 것이 저희의 또 다른 큰 기쁨 중 하나입니다. 오늘 이야기의 주인공인 한얼님께서 Cochl.Sense를 사용해 2022년 XR 디바이스 콘텐츠 아이디어 경진대회에서 대상을 받으셨습니다. Unity Korea에서 시니어 엔지니어이자 서강대학교 메타버스전문대학원에 재학 중인 ‘김한얼’님의 이야기가 기술을 사용하는 모든 사람에게 크나큰 영감을 줄 수 있으리라 생각됩니다.
한얼님과 함께 어떻게 Cochl.Sense를 사용하셨는지, 어떤 꿈을 저희를 대신해서 그려주셨는지를 이야기 나눠봤습니다!
Q. 안녕하세요, 한얼님 반갑습니다. 이번 대상 수상을 축하드립니다. 혹시 제작하신 ‘Hawkeye’에 대해 간단하게 소개 부탁드려도 될까요?
A. 안녕하세요, 저는 소개해주신 것처럼 서강대학교 메타버스전문대학원에서 박사과정을 진행 중이고 우연히 해당 경진대회가 열린다는 것을 알게 되었습니다. 개인적으로 장애 분야에 관심이 많은데, 청각장애인 분들이 소리를 듣지 못해서 사고를 당하는 내용을 뉴스를 통해 접하게 되었습니다. 경보음을 듣지 못해 위험에 빠지는 경우가 많아 그분들이 소리를 듣지 않고도 위험을 시각화하여 인지할 방법을 구현하면 좋겠다고 생각해 청각장애인을 위한 시각 보조 어플리케이션을 제안하게 되었습니다. 특히나 위험 소리를 인지하여 즉각적으로 경고해 줄 수 있는 음성인식 기술과 인지된 위험소리를 시각화해주는 기능이 꼭 필요한 상황이었어요. Cochl의 기술과 데모 영상을 이전에 본 적이 있었고, 제가 재직 중인 회사인 Unity의 기술을 사용해서 핵심 기능을 구현할 수 있었습니다.
Hawkeye 소개 영상
‘Quality of life’ does matter for everyone
Cochl.Sense Notification 안드로이드 버전이 출시되었습니다!
많은 분들이 기다려주셨던 Cochl의 앱이 플레이스토어에 드디어 출시 되었습니다. 이번 앱 출시는 Cochl에게 있어서 굉장히 특별한데요, 기존에 웹으로만 볼 수 있었던 대시보드 기능을 이제는 모바일로 더 간편하게 확인할 수 있으며 다양한 인사이트를 쉽고 빠르게 확인할 수 있기 때문입니다. 앱이 출시되기까지의 과정도 흥미롭지만, 이 앱이 탄생하기 까지 노력해주신 분들의 이야기도 놓칠 수 없죠!
그래서 오늘은 앱 출시까지 열심히 노력해주신 Cochl의 모바일 개발자 Quentin과 UX/UI 디자이너인 지은님을 모시고 앱이 릴리즈 되기까지의 여정을 나눠봅니다. 태어난 나라도, 하는 일도, 모국어도 전~혀 다른 두 분이 어떻게 ‘잘' 일할 수 있었을까요? 그 비결은 아래 인터뷰에서 확인하실 수 있습니다.
[ 아래 내용이 궁금하신 분들께 추천드려요]
아래 내용이 궁금하신 분들께 추천드려요]•
스타트업에서 디자이너와 개발자가 일하는 방법
•
외국인 팀원과 영어로 소통하며 일하는 방법
Quentin (좌) & 지은 (우)
Q. 안녕하세요 :) 바쁘신 와중에 인터뷰에 참여해주셔서 감사합니다! 간단한 본인 소개 부탁드려요.
Cochl.Sense 모바일 앱 출시 인터뷰
2023년이 시작된지 벌써 한 달이 지났습니다. 모두 2023년 계획대로 잘 시작하고 계시나요? 왠지 새해를 맞이하게 되면 자주 보지 못했던 사람에게도 안부를 전하게 되고, 내 주변의 사람과 환경에 대해 애틋함이 들게 됩니다. 이번 설날 명절을 맞이하여 멀리 떨어져 있던, 자주 보지 못했던 가족을 만났을 때도 괜히 다른 날 보다 더 헤어짐이 아쉬웠어요. 고향을 떠나는 제게 가족들이 마지막까지 했던 말은 ‘다치지 말고, 안전하고 건강하게 지내는 게 최고야. 늘 조심해서 다녀’ 였습니다. 이미 어른이 된 지 오래지만, 아직 부모님 눈에는 어린아이로 비치나 봅니다.
이처럼 사랑하는 사람의 안전과 건강은 모든 사람이 염려하는 것 중 하나입니다. 오랜 시간을 함께 보내기 위해선 필수 불가결한 요건이니까요. 특히나 저와 같이 고향과 가족을 떠나 홀로 살아가는 분들은 언제 생길지 모르는 문제에 조금 더 예민할 수 있을 것 같아요. 만약 여러분은 기술을 통해 더 안전한 삶을 보장받을 수 있다면 어떨 것 같나요?
하인리히의 법칙을 들어본 적 있으신가요? 1:29:300 모델이라고도 불리는 이 법칙은 어떤 대형 사고가 발생하기 전 같은 원인으로 수십 차례의 가벼운 사고와 수백 번의 징후가 반드시 나타남을 뜻하는 통계 법칙입니다. 단순한 산업 재해뿐만 아니라 질병과 관련된 사전 징조를 보더라도 비슷한 경향성을 발견할 수 있을 거예요. 예를 들어 최근 기침 소리가 이상해져서 병원에 방문해보니 단순 감기가 아니었음을 발견하는 것처럼요.
앞서 말씀드린대로 기술을 통해 1) 미리 사고를 방지하거나 2) 사고가 더 커지기 전에 빠른 해결 방안을 제시할 수 있다면 우리는 안전이 더 보장된 삶을 살 수 있을 것입니다. 도대체 어떤 기술이 이런 도움을 줄 수 있냐고요? 바로 저희가 보유한 Sound AI 기술을 통해서입니다. Cochl은 Creating ears for artificial intelligence라는 모토 하에 세상의 모든 소리를 인지하고, 이해하는 Sound AI를 만들어 나가고 있습니다. 우리의 일상은 다양한 소리로 가득 차 있고, 소리는 우리가 생각한 이상으로 많은 정보를 담고 있습니다. 만약 어떤 소리가 들릴 때, 이 소리가 무슨 소리인지를 빠르게 알 수 있다면 더 넓은 맥락에서 우리는 상황을 파악할 수 있습니다.
기술을 통한 안전한 삶 - Safe & secure life with Sound AI
Edge AI?
Edge AI라고 들어보셨나요? Edge AI란 기기 자체에서 AI 애플리케이션을 구축하는 것을 의미하며, AI 연산이 단순히 클라우드 컴퓨팅 설비나 데이터센터에서 이뤄지는 것이 아닌 사용자 주변(Edge 단)에서 일어나는 것이 가장 큰 특징입니다.
여러분이 사용하고 있는 다양한 IoT기기에서 가장 손쉽게 Edge AI를 경험해보실 수 있습니다. Cochl.Sense 또한 Cloud API와 Edge SDK 두 가지 버전으로 제공되고 있어, 사용자의 편의에 따라 선택할 수 있는 큰 장점이 있습니다.
오늘은 Seeed Studio에서 함께한 Edge AI Talk에서 Cochl의 Business Development Manager이신 수영님이 발표해주신 내용을 요약해 드리려고 합니다. Edge단에서 Machine Listening이 어떻게 구현되는지 궁금하신 분들이라면 읽어주세요!
Machine Listening on the Edge
한국 통계청에 따르면 2023년 기준 65세 이상의 고령인구는 전체 인구의 18.4%를 차지하며, 2060년까지 전체 인구의 40%를 넘길 것으로 전망됩니다. “초고령 사회”로 향하는 사회 현상으로 인해 노인 인구를 위한 기술에 관한 관심이 점점 높아지고 있습니다.
고령인구의 수만 늘어나는 것이 아니라, 기대 수명 또한 함께 증가하고 있습니다. 그에 따라 건강보험심사평가원에 따르면 65세 이상 진료비와 약품비 청구현황 또한 지속해서 증가했습니다. 이러한 경제적 부담을 줄이고, 고령인구의 삶의 질 향상을 위해 AI 기술은 놀랍게도 핵심적인 역할을 할 수 있습니다.
만약 AI 기술이 넘어지는 소리 혹은 다쳐서 아파하는 소리 등을 감지해 간병인 또는 구급 서비스에 본인의 상태를 알려준다면 어떨까요? AI를 통한 선제적 예방과 빠른 상황 대응은 AI가 고령인구의 건강 문제에 많은 도움을 줄 수 있다는 잠재력을 보여주는 한 사례입니다. 그럼 여러 AI 기술 중, Sound AI 기술이 어떻게 당면한 고령인구 문제 해결에 도움을 줄 수 있는지 알아보시죠!
[Case] 큰 위험으로 이어질 수 있는 낙상: Cochl.Sense로 빠른 대처하기
“넘어져도 다시 일어나면 된다”라는 좋은 명언이 있지만 노인 인구에게는 쉽지 않습니다. 왜냐하면 나이가 들수록 근육이 약해지고 균형 감각이 떨어지기 때문입니다. 특히나 고령인구에게 넘어짐은 또 다른 건강 문제를 불러 일으킬 수 있습니다. 가벼운 멍으로 끝날 수도 있지만 만약 운이 나쁘다면, 오랜 병원 신세를 져야 할지도 모르거든요. 더 나아가, 호되게 넘어져 아팠던 기억 때문에, 자유롭게 움직이는 것도 예전만큼 쉽지 않습니다.
일본에 있는 “Fujimiso(후지미소) 요양원”에서는 Sound AI의 힘을 믿고 그들의 노인 돌봄 서비스에 Cochl의 Sound AI를 적용하였습니다. Sound AI가 장착된 IoT기기를 사용하여 환자가 넘어지거나 혹은 다른 외부 충격을 받은 것을 빠르게 감지할 수 있습니다. 이를 통해 간병인들은 비상 상황이 발생했을 때 더 빠르게 대처할 수 있게 되었죠. 어떻게 Sound AI를 알게 되었을까요?
Sound AI를 이용한 노인 의료 문제 해결
Cochl은 음성인식을 넘어 우리 주변에 있는 다양한 소리를 모두 알아들을 수 있는 Sound AI 기술을 만드는 회사입니다. 인공지능이 사람처럼 자연스러운 청각 인지능력을 가질 수 있도록 하고, 이를 통해 사람들이 안전하고 자동화된, 그리고 편리하고 개인화된 일상 생활을 누릴 수 있도록 만들어 나가고 있습니다. 다양한 AI 모델들이 매일 업데이트 되는 요즘 시대에 Cochl은 어떻게 AI 모델을 고도화하고 있을까요?
AI 모델을 고도화하기 위해서는 다양한 방법들이 존재합니다. 모델 설계 시의 구조나 학습 방법을 개선하는 등의 기술 개발뿐만 아니라, 양질의 데이터셋을 확보하는 것 역시 모델의 성능에 결정적인 영향을 미친다는 점, 알고 계셨나요? 흔치 않은 소리 데이터를 다루는 Cochl에서 어떻게 소리 데이터를 수집하고, 레이블 해서 고성능의 AI 모델을 만들고 있는지 소개해 드립니다.
소리 데이터 수집의 판단 기준은?
양질의 소리 데이터셋을 정의하고 구축 계획을 세우는 것은 어려운 일입니다. 모델의 목적이나 사용될 상황에 따라 다양한 품질 기준이 요구되기도 하고, 심지어 이러한 기준은 시간이 지나감에 따라 바뀔 수도 있고, 더욱 상향되기도 합니다.
위 문제를 해결하기 위해 Cochl에서는 시장 조사, 최신 연구 동향 파악, 전문가 감수 등의 다양한 방법을 데이터 수집 단계에 활용하고 있습니다. 그중 모델의 지속적인 개선을 위해 이전 버전 모델의 성능 평가 결과를 바탕으로 다음 데이터 수집 계획을 수립하는 Data-driven 방식을 조금 더 자세히 설명해 드릴게요.
Data-driven 방식은 지난 모델의 성능 평가 결과를 보며 특별히 인식 성능이 떨어지는 사용 환경이 있었는지, 비슷한 소리 특성이 있어 모델이 혼동하기 쉬운 종류의 소리가 있는지를 파악한 뒤 이를 보완하기 위한 데이터를 추가로 수집하는 방식입니다.
Tour de optimization - 완벽한 Sound AI 모델을 만들기 위한 여정