MATLAB 및 Simulink 교육

Processing Big Data with MATLAB

교육과정 세부 정보

본 1일 교육과정은 메모리에 불러오기 힘들 정도로 큰 사이즈의 데이터 파일들을 기존 알고리즘에 적용하는 방법을 다룹니다. MATLAB에서 빅 데이터를 표현하는 방법과 이에 맞춰 기존 코드가 효율적으로 작동하도록 조정하는 방법을 알아봅니다. 또한 대규모 분석을 위해 사용자의 컴퓨터 리소스 및 클라우드를 활용하는 방법을 알아봅니다. 본 과정의 주요 내용은 다음과 같습니다.

  • 데이터 소스에서 읽어오기 위한 데이터 저장소 생성
  • Tall형 배열을 사용한 빅 데이터 표현 및 조작
  • 사용자 지정 데이터 가져오기 및 Tall형 배열에 사용자 지정 함수 적용
  • 컴퓨터 클러스터 및 클라우드 환경에서 작업

Day 1 of 1


빅데이터 알고리즘 프로토타이핑

Objective: 메모리에 들어가지 않는 데이터 세트에 기존 알고리즘을 적용합니다.

  • 데이터저장소를 사용하여 데이터 가져오기
  • tall형 배열 생성
  • tall형 배열에서 알고리즘 실행
  • tall형 배열에 대해 코드 최적화
  • 클라우드 환경에서 데이터 읽어오기

사용자 지정 데이터와 알고리즘 처리

Objective: 사용자 지정 형식의 데이터를 가져오고, tall형 배열에 대해 구현되지 않은 알고리즘을 적용합니다.

  • 파일 데이터저장소와 사용자 지정 데이터저장소를 사용하여 사용자 지정 형식의 데이터 가져오기
  • 단일 파일을 부분적으로 가져오기
  • tall형 배열에 변환, 축소, 이동 윈도우 연산 적용

클러스터 및 클라우드 활용

Objective: 컴퓨터로 구성된 클러스터나 클라우드 환경에서 빅데이터 알고리즘을 실행합니다.

  • 로컬 및 원격 클러스터
  • 클러스터 검색 및 연결
  • 클라우드 환경에서 클러스터 설정
  • 파일 액세스 관련 고려 사항

수준: 중급

기간: 1 일

언어: English, 한국어