Main Content

빅데이터 처리

Spark® 및 Hadoop® 클러스터에서 분산 배열, tall형 배열, 데이터저장소 또는 mapreduce를 사용하여 빅데이터 세트를 병렬로 분석

Parallel Computing Toolbox™를 사용하면 대규모 배열을 여러 MATLAB® 워커 간에 병렬로 분산하여, 클러스터의 결합된 메모리를 사용하는 빅데이터 애플리케이션을 실행할 수 있습니다. 사용자는 전체 배열을 단일 개체로 보고 연산을 수행하지만, 워커는 배열의 일부에 대해서만 연산을 수행하고 필요한 경우 워커 간에 자동으로 데이터를 전송합니다. 또한 Parallel Computing Toolbox를 사용하면 MATLAB tall형 배열과 datastore 계산을 병렬로 실행하여, 클러스터의 메모리에 담을 수 없는 빅데이터 세트를 분석할 수 있습니다. MATLAB Parallel Server™를 사용하여 Spark 지원 Hadoop 클러스터에서 tall형 배열 및 datastore 계산을 병렬로 실행할 수 있습니다. 이렇게 하면 매우 큰 데이터 계산의 실행 시간이 현저히 줄어듭니다.

카테고리

  • 분산 배열
    분산 배열과 동시 실행을 사용하여 빅데이터 세트를 병렬로 분석합니다
  • tall형 배열 및 mapreduce
    Spark 및 Hadoop 클러스터와 병렬 풀에서 MATLAB tall형 배열과 데이터저장소 또는 mapreduce를 사용하여 빅데이터 세트를 병렬로 분석합니다.