Main Content

이 페이지의 최신 내용은 아직 번역되지 않았습니다. 최신 내용은 영문으로 볼 수 있습니다.

tall형 배열 및 mapreduce

Spark® 및 Hadoop® 클러스터와 병렬 풀에서 MATLAB® tall형 배열과 데이터저장소 또는 mapreduce를 사용하여 빅 데이터 세트를 병렬로 분석합니다.

Parallel Computing Toolbox™를 사용하면 데스크탑에서 병렬 풀을 사용하여 tall형 배열 표현식을 병렬로 실행할 수 있습니다. tall형 배열을 사용하면 컴퓨터의 메모리에 담을 수 없는 빅 데이터 응용 프로그램을 실행할 수 있습니다. 또한 Parallel Computing Toolbox를 사용하면 MATLAB Parallel Server™ 클러스터에서 실행 중인 병렬 풀에 연결하여 tall형 배열 처리를 확장할 수도 있습니다. 또는 MATLAB Parallel Server를 구동하는 Spark 지원 Hadoop 클러스터를 사용할 수 있습니다. 자세한 내용은 Big Data Workflow Using Tall Arrays and Datastores 항목을 참조하십시오.

함수

모두 확장

tallCreate tall array
datastore대규모의 데이터 모음을 저장할 데이터저장소 만들기
mapreduce메모리에 담을 수 없을 정도로 큰 데이터 세트를 분석하기 위한 프로그래밍 기법
mapreducerDefine parallel execution environment for mapreduce and tall arrays
partition데이터저장소 파티셔닝
numpartitions데이터저장소 파티션 개수
parpool클러스터에서 병렬 풀 만들기
gcp현재 병렬 풀 가져오기

클래스

모두 확장

parallel.PoolParallel pool of workers
parallel.cluster.HadoopHadoop cluster for mapreducer, mapreduce and tall arrays

예제 및 방법

Big Data Workflow Using Tall Arrays and Datastores

Learn about typical workflows using tall arrays to analyze big data sets.

Use Tall Arrays on a Parallel Pool

Discover tall arrays in Parallel Computing Toolbox and MATLAB Parallel Server.

Process Big Data in the Cloud

This example shows how to access a large data set in the cloud and process it in a cloud cluster using MATLAB capabilities for big data.

Use Tall Arrays on a Spark Enabled Hadoop Cluster

Create and use tall tables on Spark clusters without changing your MATLAB code.

Run mapreduce on a Parallel Pool

Try mapreduce for advanced analysis of big data using Parallel Computing Toolbox.

Run mapreduce on a Hadoop Cluster

Learn about mapreduce for advanced big data analysis on a Hadoop cluster.

Partition a Datastore in Parallel

Use partition to split your datastore into smaller parts.

개념

병렬 풀에서 코드 실행하기

병렬 풀 시작 및 중지, 풀 크기 및 클러스터 선택에 대해 알아봅니다.

병렬 기본 설정 지정하기

기본 설정을 지정하고 자동으로 병렬 풀 만들기.

클러스터 검색 및 클러스터 프로파일 사용하기

클러스터 프로파일을 사용하는 방법과 Amazon EC2에서 실행 중인 클라우드 클러스터를 검색하는 방법을 알아봅니다.

추천 예제