Main Content

빅데이터 처리

Spark® 및 Hadoop® 클러스터에서 분산 배열, tall형 배열, 데이터저장소 또는 mapreduce를 사용하여 빅데이터 세트를 병렬로 분석

Parallel Computing Toolbox™를 사용하면 대규모 배열을 여러 MATLAB® 워커 간에 병렬로 분산하여, 클러스터의 결합된 메모리를 사용하는 빅데이터 응용 프로그램을 실행할 수 있습니다. 사용자는 전체 배열을 단일 개체로 보고 연산을 수행하지만, 워커는 배열의 일부에 대해서만 연산을 수행하고 필요한 경우 워커 간에 자동으로 데이터를 전송합니다. 또한 Parallel Computing Toolbox를 사용하면 MATLAB® tall형 배열과 datastore 계산을 병렬로 실행하여, 클러스터의 메모리에 담을 수 없는 빅데이터 세트를 분석할 수 있습니다. MATLAB Parallel Server™를 사용하여 Spark 지원 Hadoop 클러스터에서 tall형 배열 및 datastore 계산을 병렬로 실행할 수 있습니다. 이렇게 하면 매우 큰 데이터 계산의 실행 시간이 현저히 줄어듭니다.

카테고리

  • 분산 배열
    분산 배열과 동시 실행을 사용하여 빅데이터 세트를 병렬로 분석합니다
  • tall형 배열 및 mapreduce
    Spark 및 Hadoop 클러스터와 병렬 풀에서 MATLAB tall형 배열과 데이터저장소 또는 mapreduce를 사용하여 빅데이터 세트를 병렬로 분석합니다.