AudioCraft: 텍스트를 기반으로 오디오와 음악을 생성하는 AI 도구

세상에는 이미지, 비디오, 텍스트를 위한 다양한 생성 AI가 존재합니다. 그러나 오디오 분야에서는 아직 큰 진전이 이루어지지 않았습니다. 그렇기에 메타Meta에서는 최근 텍스트로부터 오디오와 음악을 생성하는 AI 도구, ‘AudioCraft‘를 소개하였습니다.
AudioCraft는 오디오와 음악 생성을 바꿀 혁신적인 프레임워크입니다. 그 기능과 중요성을 더 깊게 살펴보면 다음과 같습니다:

악기에 손을 대지 않고 음악을 작곡할 수 있는 뮤지션, 가상의 세계를 생생한 소리로 채울 수 있는 인디 게임 개발자, 또는 소셜 미디어 게시물에 쉽게 사운드트랙을 추가할 수 있는 사업가를 상상해 볼 수 있습니다. AudioCraft의 매력은 원시 오디오 신호로 학습한 후 텍스트 프롬프트에서 고해상도 오디오와 음악을 생산할 수 있다는 것입니다. 이는 MIDI나 피아노 롤을 기반으로 한 전통적인 방법과는 다릅니다.

모델:
AudioCraft는 세 가지 주요 모델을 소개합니다:
-MusicGen: 라이센스가 부여된 음악으로 학습 후, 텍스트 프롬프트를 통해 음악을 생성합니다.
-AudioGen: 공공 사운드 이펙트를 통한 학습을 바탕으로 개 짖는 소리, 차 경적, 발걸음 소리와 같은 오디오를 텍스트 프롬프트를 기반으로 생성합니다.
-EnCodec: 음악 생성의 품질을 높이기 위한 개선된 디코더입니다.
오디오 생성에서의 혁신:
전통적으로 음악 생성은 복잡한 패턴 때문에 큰 도전이었습니다. MIDI 또는 피아노 롤이 사용되었지만, 음악의 독특한 뉘앙스와 스타일을 포착하는 데 실패했습니다. AudioCraft의 접근법은 자기 지도 오디오 대표 학습self-supervised audio representation learning 과 계층적 모델hierarchical or cascaded models을 사용, 사용자가 오디오를 위한 생성 모델을 사용하는 것뿐만 아니라 향상시킬 수 있도록 단순화됩니다.
작동 원리:
-원시 신호에서 생성: 원시 오디오 신호를 음악으로 변환하는 것은 도전입니다. EnCodec을 통해 음악 샘플에 대한 새로운 “어휘”를 생성하고, 이를 소리와 음악으로 변환합니다.
-훈련: EnCodec는 다양한 오디오를 압축하고 고품질로 재생성하도록 학습됩니다.
-텍스트 설명에서 오디오 생성: 텍스트 설명이 AudioGen과 MusicGen을 통해 복잡한 환경 소리나 음악 트랙으로 변환됩니다.

앞에서 설명한 MusicGen 데모 사이트를 사용하는 방법은 다음과 같습니다:

MusicGen 데모 웹사이트에 접속 후. ‘Describe your music’에 원하는 음악 스타일을 입력합니다. 그리고 ‘생성Generate’ 버튼을 클릭하면 음악이 생성됩니다. 현재 텍스트 프롬프트는 영어로만 가능합니다.
생성된 음악은 ‘Generate Music’ 이미지에 마우스를 가져가 Play 버튼으로 들을 수 있습니다. 원한다면 오른쪽 상단의 ‘다운로드 아이콘’을 클릭해 음악파일을 다운로드 할 수 있습니다.

MusicGen 데모 사이트는 간단하고 제어 가능한 음악 생성 모델입니다. 이 모델은 사용자가 제공한 설명을 기반으로 12초 분량의 오디오를 생성합니다. 선택적으로 광범위한 멜로디를 추출할 참조 오디오를 제공할 수 있습니다. 그러면 모델은 제공된 설명과 멜로디를 모두 따르려고 시도합니다. 모든 샘플은 멜로디 모델을 사용하여 생성됩니다.