Audio Toolbox

음성, 음향 및 오디오 처리 시스템 설계 및 분석

Audio Toolbox는 오디오, 음성 및 음향의 신호 처리와 분석 툴을 제공합니다. 이 툴박스에는 오디오 신호 처리, 음향 메트릭 추정, 오디오 데이터셋의 레이블 지정 및 증대, 오디오 특징 추출을 위한 알고리즘이 있습니다.

ASIO, CoreAudio 및 기타 사운드 카드와의 저지연 오디오 스트리밍을 통해 실시간으로 측정을 실행하거나 알고리즘을 프로토타이핑할 수 있습니다. Audio Toolbox를 사용하면 그래픽 인터페이스나 MIDI 이벤트를 통해 알고리즘 파라미터를 제어할 수 있습니다. 알고리즘은 외부 호스트 애플리케이션에서 실행할 VST 또는 Audio Unit 플러그인으로 변환하여 검증할 수 있습니다. 이 툴박스는 플러그인 호스팅도 제공하여, 외부 오디오 플러그인을 사용하여 MATLAB 배열을 처리할 수 있습니다.

이 툴박스에는 전이 학습을 지원하는 사전 훈련된 머신러닝과 딥러닝 모델이 있습니다. 임베딩 추출, 사운드 분류, 화자 검증, 음성 전사 및 합성, 음원 분리, 배경 잡음 제거 등의 상위수준 작업에 대한 음성 및 음향 신호에 모델을 직접 적용할 수 있습니다.

딥러닝을 사용한 음성 명령 인식의 두 버전을 나란히 보여주는 Audio Toolbox 스크린샷.

스트리밍 수집 및 재생

Windows^®, Mac^® 및 Linux^® 운영 체제에서 표준 오디오 드라이버(예: ASIO, WASAPI, CoreAudio, ALSA)를 사용하여 USB 또는 Thunderbolt™ 등을 통해 사운드 카드의 오디오 샘플을 읽고 쓸 수 있습니다. 밀리초 단위의 짧은 양방향 지연 시간으로 MATLAB에서 실시간 오디오를 처리할 수 있습니다.

MATLAB의 실시간 오디오

문서 | 예제

두 화자가 있는 녹음 파형, 두 화자가 각각 분리된 트랙 및 잔차 신호가 적층된 플롯. 분리된 성분의 합이 원본 신호와 일치하는 것을 볼 수 있습니다.

AI를 사용한 오디오, 음성 및 음향

최신 딥러닝과 머신러닝 모델을 오디오, 음성 및 음향 신호에 적용할 수 있습니다. 전이 학습을 통해 모델 조정을 위한 오디오 데이터를 만들고 레이블을 지정하고 증대할 수 있습니다. 특징을 추출하고 시간-주파수 변환을 계산할 수 있습니다. Statistics and Machine Learning Toolbox 및 Deep Learning Toolbox를 사용하여 예측 모델을 개발할 수 있습니다.

사전 훈련된 AI 모델

문서 | 예제

오디오 처리 알고리즘

MATLAB 및 Simulink에서 동적 파라미터 조정과 실시간 시각화를 통해 표준 파형을 생성하고, 일반적인 오디오 효과를 적용하고, 오디오 처리 시스템을 설계할 수 있습니다.

파라메트릭 이퀄라이저 설계

문서 | 예제

이퀄라이저와 컴프레서와 같은 DSP 모듈 외에 스피커 드라이브의 회로 기반 전기기계 모델을 포함하며 시각화 스코프와 스펙트럼 분석기를 갖춘 2-웨이 스피커의 Simulink 모델.

Simulink를 사용한 시스템 모델링

Simulink의 오디오 처리 블록 라이브러리를 사용하여 시스템 모델을 설계할 수 있습니다. 대화형 방식의 컨트롤 및 동적 플롯을 사용하여 파라미터를 조정하고 시스템 거동을 시각화할 수 있습니다. DSP, 아날로그 회로 및 딥러닝 모델을 시뮬레이션할 수 있습니다.

문서 | 예제

실시간 프로토타이핑 및 시각화

오디오 처리 알고리즘의 조정 가능형 파라미터에 대한 사용자 인터페이스를 자동으로 생성할 수 있습니다. Audio Test Bench 앱을 사용하여 알고리즘을 테스트하고 MIDI를 통해 자동 생성된 대화형 방식의 컨트롤로 실행 중인 프로그램의 파라미터를 조정할 수 있습니다.

문서 | 예제

추정 방법과 파라미터를 선택하는 컨트롤 외에 주파수 영역 크기 및 위상과 함께 측정된 시간 영역 임펄스 응답의 세부 정보를 보여주는 Impulse Response Measurer 앱.

실내 음향 및 공간 음향

MLS(최장 수열) 및 ESS(지수 스윕 정현파)를 사용하여 공간 임펄스 응답을 측정하고, SOFA 파일을 읽고 쓰며, HRTF(머리 전달 함수)를 분석하고 보간하며, 앰비소닉 형식을 인코딩하고 디코딩할 수 있습니다. 분할된 주파수 영역 방법을 사용하여 컨벌루션을 효율적으로 실행할 수 있습니다.

문서 | 예제

심리음향 및 라우드니스 미터

녹음된 신호 또는 실시간 신호에 SPL(음압 레벨) 미터 및 라우드니스 미터를 적용할 수 있습니다. 옥타브 및 분할 옥타브 필터로 신호를 분석할 수 있습니다. 원본 녹음본에 표준 준수 A, C 또는 K 가중 필터를 적용할 수 있습니다. 피크 값과 트루 피크 값을 모니터링할 수 있습니다. 음향 선명도, 거칠기 및 변동 강도를 측정할 수 있습니다.

문서 | 예제

MATLAB에서 생성되고 REAPER에서 실행되는 이진 플러그인의 사용자 인터페이스. 이 플러그인은 사용자가 설계한 MATLAB 앱과 동일한 디자인을 가진 3-대역 파라메트릭 이퀄라이저의 9개의 조정 가능형 파라미터에 대한 9개의 슬라이더와 노브를 보여줍니다.

오디오 플러그인 생성 및 호스트

사용자 인터페이스를 직접 설계할 필요 없이 MATLAB 코드에서 VST 플러그인, AU 플러그인 및 독립형 실행 파일 플러그인을 직접 생성할 수 있습니다. 외부 VST 및 AU 플러그인을 일반 MATLAB 객체로 사용하여 MATLAB 배열을 처리하고 사용자 인터페이스나 MIDI 컨트롤로 플러그인 파라미터를 프로그래밍 방식으로 변경할 수 있습니다.

MATLAB을 사용한 첫 번째 오디오 플러그인 설계

문서 | 예제

추가적인 임베디드 소프트웨어 작업 없이 MATLAB 또는 Simulink에서 개발된 오디오 시스템 모델을 프로토타이핑하기 위해 사용할 수 있는 임베디드 플랫폼의 예를 보여주는 Raspberry Pi 보드.

임베디드 및 실시간 오디오 시스템 타겟팅

MATLAB 및 Simulink 코더 제품을 통해 툴박스 함수, 객체 및 블록의 형태로 제공되는 신호 처리 및 머신러닝 알고리즘에서 C 및 C++ 소스 코드를 생성할 수 있습니다. 선별된 특징 추출 함수에서 CUDA^® 소스 코드를 생성할 수 있습니다. Raspberry Pi™, Android^® 또는 iOS 기기의 모바일 앱, Speedgoat 오디오 머신 및 ST Discovery 보드에서 오디오 처리 설계를 프로토타이핑할 수 있습니다.

문서 | 예제