MATLAB Interface for Databricks®을 사용하면 클라우드에 있는 데이터 및 연산 기능을 이용할 수 있습니다. 원격으로 빅데이터셋에 액세스하여 쿼리하거나 Databricks 클러스터에서 실행할 MATLAB 코드를 배포할 수 있습니다.
- Databricks에서 SQL을 사용해 데이터 작업 수행
- MATLAB에서 대화형 방식으로 Spark™ 사용
- 컴파일된 MATLAB 알고리즘을 Databricks에서 실행
- Python®으로 작업하는 다른 Databricks 사용자와 MATLAB 알고리즘 공유
SQL을 사용한 빅데이터 액세스
Database Toolbox를 사용해 Databricks 클러스터를 MATLAB에 연결하고 이를 통해 클라우드 데이터 소스에 액세스할 수 있습니다. Databricks에서 데이터를 원격으로 조작하고 SQL을 사용하여 테이블 형식 데이터에 액세스할 수 있습니다. Apache® Spark™ SQL을 사용하여 Spark 워크플로에서 데이터를 쿼리할 수 있습니다.
MATLAB 및 Simulink와 함께 Spark 사용
Databricks Connect를 사용해 Apache Spark API 명령을 MATLAB 알고리즘에 통합할 수 있습니다. Spark API 명령은 Databricks 클러스터(서버리스 클러스터 포함)에서 실행됩니다.
데이터로 MATLAB 배포
MATLAB Runtime을 사용해 Databricks 클러스터에 배포하기 위해 MATLAB Compiler SDK 및 Simulink Compiler를 사용해 알고리즘을 패키징할 수 있습니다. 배포된 알고리즘은 노트북에서 실행하거나 온디맨드 방식의 예약된 작업으로 실행할 수 있습니다. 이러한 알고리즘을 사용하여 데이터 처리 파이프라인에 통합할 수 있습니다.
프로그래밍 방식으로 Databricks과 상호 작용
REST API를 사용하면 MATLAB에서 Databricks 환경과 프로그래밍 방식으로 상호 작용하여 Databricks 내 작업 또는 클러스터를 제어할 수 있습니다.
MATLAB Interface for Databricks 다운로드
release 6.0.2
문의할 준비가 되었나요?
도와드릴 방법을 알려주십시오.
SQL을 사용한 Databricks 데이터 작업
SQL을 사용하여 클라우드에서 쿼리를 보내고 데이터를 조작할 수 있습니다. MATLAB Database Toolbox™ 또는 Spark SQL을 사용하여 Databricks 테이블, Databricks과 연결된 데이터 소스, 다양한 파일 유형에서 데이터를 읽어올 수 있습니다. 여러 파일 형식으로 여러분만의 테이블을 만들거나 Databricks Delta Lake 테이블 및 Delta Lake를 사용할 수 있습니다. 쿼리 결과는 MATLAB 툴박스 및 알고리즘에서 직접 사용할 수 있는 MATLAB 테이블로 변환할 수 있습니다. 여러분만의 클라우드 기반 알고리즘을 만들 수도 있습니다.
MATLAB에서 Databricks Connect 및 DBFS를 사용해 대화형 방식으로 클라우드 데이터 작업
클라우드에서 DBFS를 사용하여 데이터를 살펴볼 수 있습니다. 로컬에서 하듯이 파일을 생성, 업로드, 다운로드, 정리할 수 있으며, 이 모든 것이 MATLAB에서 가능합니다. Databricks Connect로 데스크탑에서 클라우드에 있는 Spark를 사용할 수 있습니다. 대규모 데이터셋에 대해 작업하고 Spark의 확장성과 속도를 활용할 수 있습니다. 알고리즘을 개선할 때 데이터 샘플을 다운로드하여 로컬에서 AI 모델을 훈련 및 테스트한 후 배포하여 클라우드의 전체 데이터셋에서 실행시킬 수 있습니다.
Databricks Spark 클러스터에서 네이티브로 MATLAB 알고리즘 실행
MATLAB Compiler 및 MATLAB Compiler SDK를 사용해 MATLAB 코드를 Spark Submit 작업으로 실행할 수 있습니다. MATLAB Runtime 지원 Databricks 클러스터에 배포한 경우 MATLAB 알고리즘을 노드 수와 무관하게 확장할 수 있습니다. MATLAB 작업을 임시로 또는 자동화된 일정에 따라 실행할 수 있습니다. MATLAB 알고리즘을 통해 Spark의 병렬 처리 기능을 활용하고 클라우드에서 데이터 처리를 가속화할 수 있습니다.
다른 Databricks 사용자와 MATLAB 알고리즘 공유
MATLAB 알고리즘이 Databricks에 배포되면 이를 다른 사용자와 공유하고 다단계 워크플로에 통합할 수 있습니다. MATLAB 알고리즘을 작업으로, 대규모로 또는 MATLAB Runtime 지원 클러스터에 네이티브로 배포하고 실행할 수 있습니다.
SQL 스크립트를 비롯한 모든 언어에서 사용할 수 있도록 MATLAB 코드를 라이브러리 또는 사용자 정의 함수로 배포할 수 있습니다. Java 또는 Python 라이브러리와 노트북에서도 이 코드를 사용할 수 있습니다.
