Databricks에서의 MATLAB 및 Simulink 참조 아키텍처를 통해 사용자는 데이터가 저장된 위치에서 직접 작업할 수 있으며, 도메인 특정 모델링과 Databricks의 보안 및 확장 가능한 연산 기능을 결합할 수 있습니다.
MATLAB Interface for Databricks를 사용해 엔지니어와 데이터 과학자들은 Databricks에서 MATLAB 및 Simulink 워크플로를 직접 개발하고 확장하며 배포하여, 알고리즘과 시뮬레이션을 프로덕션 파이프라인과 디지털 트윈에서 운용화할 수 있습니다.
- Databricks에서 직접 MATLAB 및 Simulink 실행
- MATLAB 및 Databricks에서 SQL 사용
- MATLAB 및 Simulink 모델 개발 및 Spark™로 확장
- MATLAB에서 대화형 방식으로 Spark로 작업
- MATLAB 및 Simulink 알고리즘과 모델을 Python 및 SQL 사용자와 공유
- Simulink 모델을 디지털 트윈으로 Databricks에 배포
대화형 개발 및 프로토타이핑
Databricks에서의 MATLAB 및 Simulink
MATLAB and Simulink on Databricks Reference Architecture를 사용하면 대화형 방식의 연산을 데이터에 제공해 팀들은 Databricks 내에서 데이터를 안전하게 활용하여 개발하고 시뮬레이션할 수 있습니다.
SQL로 빅데이터 액세스
Database Toolbox™를 통해 MATLAB을 Databricks 클러스터에 연결하여 클라우드 데이터 소스에 액세스할 수 있습니다. 원격으로 데이터를 조작하고 SQL을 사용해 Databricks의 테이블 형식 데이터를 액세스할 수 있습니다. Apache Spark™ SQL을 사용해 Spark 워크플로의 데이터를 조회할 수 있습니다.
Databricks와 프로그래밍 방식으로 상호작용
REST API를 통해 MATLAB 사용자가 MATLAB에서 프로그래밍 방식으로 Databricks 환경과 상호작용할 수 있습니다. 예를 들어, Databricks 내에서 작업이나 클러스터를 제어할 수 있습니다.
MATLAB 및 Simulink에서 Spark 활용
Databricks Connect를 활용해 Apache Spark API 명령을 MATLAB 알고리즘에 통합할 수 있습니다. Spark API 명령은 서버리스 클러스터를 포함한 Databricks 클러스터에서 실행됩니다.
MATLAB 및 Simulink를 활용한 프로덕션 배포
Databricks에서 MATLAB 및 Simulink를 활용한 프로덕션 배포
MATLAB Compiler SDK 및 Simulink Compiler를 MATLAB Runtime과 함께 사용해 알고리즘과 모델을 패키징하고 Databricks 클러스터에 배포할 수 있습니다. 이를 노트북에서 필요할 때 실행하고, 작업으로 예약 실행하며, 데이터 파이프라인에 통합하고, 디지털 트윈을 구현하는 데 활용할 수 있습니다.
MATLAB and Simulink on Databricks Reference Architecture
MATLAB Interface for Databricks 다운로드
릴리스 7.0.4
Contact Technical Expert
SQL을 사용한 Databricks 데이터 작업
SQL을 사용해 클라우드에서 쿼리를 전송하고 데이터를 조작할 수 있습니다. MATLAB Database Toolbox™ 또는 Spark SQL을 사용해 Databricks 테이블, Databricks에 연결된 데이터 소스 및 다양한 파일 형식으로부터 데이터를 읽을 수 있습니다. 여러 파일 형식으로 테이블을 직접 생성하거나 Databricks Delta Lake 테이블 및 Delta Lake를 사용할 수 있습니다. 조회 결과는 MATLAB 테이블로 변환되어 MATLAB 툴박스와 알고리즘에서 바로 사용할 수 있습니다. 클라우드 환경을 활용하는 여러분만의 알고리즘을 개발할 수도 있습니다.
Databricks Connect 및 DBFS를 사용해 MATLAB에서 대화형 방식으로 클라우드 데이터 작업
DBFS를 사용해 클라우드에 있는 데이터를 탐색할 수 있습니다. MATLAB에서 직접 로컬 파일을 다루듯 파일을 생성, 업로드, 다운로드 및 정리할 수 있습니다. Databricks Connect를 사용해 데스크탑에서 클라우드의 Spark와 직접 작업할 수 있습니다. 대규모 데이터셋을 다루고 Spark의 확장성과 속도를 활용할 수 있습니다. 알고리즘을 개선하면서 데이터 샘플을 다운로드하고, AI 모델을 로컬에서 훈련하고 테스트한 후, 클라우드에서 전체 데이터셋을 실행하도록 배포할 수 있습니다.
Databricks Spark 클러스터에서 네이티브로 MATLAB 알고리즘 실행
MATLAB Compiler 및 MATLAB Compiler SDK를 사용해 MATLAB 코드를 Spark Submit 작업으로 실행할 수 있습니다. MATLAB Runtime가 활성화된 Databricks 클러스터에 배포하면, 여러분의 MATLAB 알고리즘을 필요한 만큼의 노드 개수만큼 확장해 실행할 수 있습니다. MATLAB 작업을 필요할 때마다 실행하거나 예약된 일정에 따라 자동으로 실행할 수 있습니다. Spark의 병렬 처리 능력을 활용해 MATLAB 알고리즘의 클라우드 데이터 처리를 가속화할 수 있습니다.
다른 Databricks 사용자와 MATLAB 알고리즘 공유
MATLAB 알고리즘을 Databricks에 배포한 후, 이를 다른 사용자와 공유하고 다단계 워크플로에 통합할 수 있습니다. MATLAB 알고리즘을 작업으로서, 대규모로 또는 MATLAB Runtime이 활성화된 클러스터에서 네이티브로 배포하고 실행할 수 있습니다.
MATLAB 코드를 라이브러리 또는 사용자 정의 함수로 배포하여 SQL 스크립트를 비롯한 다양한 언어에서 사용할 수 있습니다. 이 코드는 Java 또는 Python 라이브러리와 노트북에서도 사용할 수 있습니다.
