'짹짹' 하자 AI가 참새 영상을…영상AI 기술 이끄는 국내연구팀
조성미 기자=챗GPT, GPT-4가 산업혁명을 이끈 증기기관 발명에 비견되고 있지만, 텍스트와 이미지 중심인 GPT 시리즈가 아직 다루지 못하는 영역이 있다.14일 AI 업계와 학계에 따르면 오태현 포스텍 교수 연구팀은 AI가 소리만 듣고 시각 장면을 영상으로 재현하는 기술을 오는 6월 캐나다 밴쿠버에서 열리는 세계 최고 권위의 AI 학회 'CVPR'에서 발표할 예정이다.'사운드 투 신'으로 이름 붙인 연구는 말 그대로 소리 정보를 영상으로 바꿔주는 기술에 관한 것이다.오 교수는"사람은 방 안에서도 바깥에서 들리는 놀이터 아이들 노는 소리, 자동차 경적 등을 듣고 놀이터 풍경이나 자동차가 지나가는 장면을 상상할 수 있듯 인공지능도 소리를 듣고 배경이 되는 장면을 만들어낼 수 있는 것"이라고 설명했다.
하지만 AI라고 해서 아무나 영상을 쉽게 생성할 수 있는 것은 아니다. 영상 생성은 이미지보다 훨씬 역동적이고 고차원적인 데이터와 기술력이 필요한 분야기 때문이다. 스테이블 디퓨전, 미드저니 등 세계적으로 인정 받는 이미지 생성 AI는 나와 있지만 영상 AI는 아직 없는 것은 이 이유에서다. 그는"소리와 영상의 연관성을 찾기는 매우 어려운 문제로 우리 연구 이전에도 소리로부터 영상을 생성하는 연구가 있었지만, 인식이 불가할 정도의 기술력이 낮은 수준이었다"며"세계 최초로 인식이 가능한 정도의 소리-영상 전환 기술을 개발한 것"이라고 기술 차별성을 자신했다.기술 개발을 위해 오 교수 연구진은 다양한 사례에서 발생하는 소리를 모아둔 유튜브 클립 수십만 개를 분석했다.
이 기술을 활용하면 소리라는 데이터에 인식표를 붙이는 '라벨링'을 할 수 있기 때문에 음향 프로듀서가 데이터베이스 내에서 다양한 효과음을 찾을 때 일일이 들어봐야 하던 불편을 덜 수 있다.6월 그리스에서 열리는 음성 신호 처리 분야의 권위 있는 학회 'ICASSP'에서 발표될 예정인 '사운드 투 텍스트' 기술은 청각 장애인이 소리 대신 글로 정보를 습득할 수 있도록 돕는 기술로도 주목된다.소량의 실제 데이터를 활용해 AI가 합성 데이터를 생산하는 파이프라인을 개발한 것으로, 영상 속 움직임이나 3차원 내 거리 추정 등 문제에서 합성 데이터를 써서 실제 데이터로 학습한 모델보다도 뛰어난 AI 모델을 만들 수 있게 된다고 오 교수 연구팀은 설명했다.오 교수 연구팀이 개발한 영상 속 미세한 움직임을 증폭해 크게 보여주는 기술은 포스코 공장에서 시범 활용되고 있기도 하다.
대한민국 최근 뉴스, 대한민국 헤드 라인
Similar News:다른 뉴스 소스에서 수집한 이와 유사한 뉴스 기사를 읽을 수도 있습니다.
美 '中 견제에 반도체만큼 중요한 기술 없어' 한국에 협력 당부 | 연합뉴스(워싱턴=연합뉴스) 김동현 특파원=미국 국무부는 12일(현지시간) 중국이 군사 용도로 사용할 수 있는 첨단 반도체 등 핵심 기술을 확보하는...
더 많은 것을 읽으십시오 »
![[스프] AI가 내 사진을 마음대로 가져간다면?](https://i.headtopics.com/images/2023/4/13/sbs8news/914982854532933770613-914982854532933770613-1646317579839889408.webp?w=640)
[스프] AI가 내 사진을 마음대로 가져간다면?독자 여러분 안녕하세요? 지난 일주일은 잘 보내셨나요? 지난주 마부뉴스에서 다뤘던 산불이 이번주에도 큰 상처를 남겼습니다. 강릉에서 발생한 산불로 인해 축구장 면적의 530배 규모의 산림이 소실되었죠.
더 많은 것을 읽으십시오 »
프로농구 인삼공사, 캐롯 대파…PO 역대 최다 점수 차인삼공사는 경기도 안양체육관에서 열린 4강 플레이오프 1차전 홈 경기에서 김승기 감독이 이끄는 고양 캐롯을 99대 43, 56점 차로 꺾었습니다.
더 많은 것을 읽으십시오 »
이성룡 울산시의원 '민주시민조례 폐지 찬반 토론회 하자'이성룡 울산시의원 '민주시민조례 폐지 찬반 토론회 하자' 울산민주시민교육조례_폐지 박석철 기자
더 많은 것을 읽으십시오 »
미국 '중국 견제에 반도체만큼 중요한 기술 없어' 한국에 협력 당부미국 국무부는 12일 중국이 군사 용도로 사용할 수 있는 첨단 반도체 등 핵심 기술을 확보하는 것을 막기 위해 한국 등 동맹과 협력이 중요하다고 거듭 강조했습니다.
더 많은 것을 읽으십시오 »