데이터저장소

대규모의 데이터 읽기

datastore 함수는 데이터저장소를 만듭니다. 데이터저장소는 메모리에 담을 수 없을 정도로 큰 데이터를 모아 놓는 저장 공간입니다. 데이터저장소를 사용하면 디스크상의 여러 파일이나 원격 위치 또는 데이터베이스에 저장되어 있는 데이터를 단일 엔터티로 읽고 처리할 수 있습니다. 데이터가 너무 커서 메모리를 초과하는 경우에는 데이터의 점진적 가져오기 작업을 관리하거나, tall형 배열을 만들어 데이터로 작업하거나, 추가 처리를 위해 데이터저장소를 mapreduce에 대한 입력값으로 사용할 수 있습니다. 자세한 내용은 데이터저장소 시작하기 항목을 참조하십시오.

함수

모두 확장

데이터저장소 만들기

`datastore`	대규모의 데이터 모음을 저장할 데이터저장소 만들기
`tabularTextDatastore`	테이블 형식 텍스트 파일의 데이터저장소
`spreadsheetDatastore`	스프레드시트 파일용 데이터저장소
`imageDatastore`	이미지 데이터의 데이터저장소
`parquetDatastore`	Datastore for collection of Parquet files
`fileDatastore`	사용자 지정 파일 읽기 프로그램을 포함한 데이터저장소
`arrayDatastore`	Datastore for in-memory data

데이터저장소 읽기 및 쓰기

`read`	데이터저장소의 데이터 읽어 들이기
`readall`	데이터저장소의 모든 데이터 읽기
`preview`	데이터저장소에 있는 데이터의 서브셋 미리보기
`hasdata`	데이터를 읽을 수 있는지 확인
`reset`	데이터저장소를 초기 상태로 재설정
`writeall`	Write datastore to files

데이터저장소 분할하기 및 섞기

`shuffle`	데이터저장소의 모든 데이터 읽기 섞기
`isShuffleable`	Determine whether datastore is shuffleable
`numpartitions`	데이터저장소 파티션 개수
`partition`	데이터저장소 파티셔닝
`isPartitionable`	Determine whether datastore is partitionable

데이터저장소 결합 또는 변환하기

함수

`combine`	여러 데이터저장소의 데이터 결합
`transform`	Transform datastore

객체

`CombinedDatastore`	Datastore to combine data read from multiple underlying datastores
`TransformedDatastore`	Datastore to transform underlying datastore

MapReduce와 tall형 배열의 통합

`KeyValueDatastore`	`mapreduce`에 사용할 키-값 쌍 데이터의 데이터저장소
`TallDatastore`	`tall` 배열의 검사 지점 생성을 위한 데이터저장소

클래스

모두 확장

사용자 지정 데이터저장소 개발하기

`matlab.io.Datastore`	기본 데이터저장소 클래스
`matlab.io.datastore.Partitionable`	데이터저장소에 병렬화 지원 추가
`matlab.io.datastore.HadoopLocationBased`	Add Hadoop support to datastore
`matlab.io.datastore.Shuffleable`	Add shuffling support to datastore
`matlab.io.datastore.DsFileSet`	데이터저장소의 파일 모음을 위한 File-set 객체
`matlab.io.datastore.DsFileReader`	데이터저장소에 있는 파일에 대한 File-reader 객체
`matlab.io.datastore.FileWritable`	Add file writing support to datastore
`matlab.io.datastore.FoldersPropertyProvider`	Add Folder property support to datastore
`matlab.io.datastore.FileSet`	File-set for collection of files in datastore
`matlab.io.datastore.BlockedFileSet`	Blocked file-set for collection of blocks within file

도움말 항목

데이터저장소 시작하기

데이터저장소는 하나의 파일, 또는 여러 파일이나 데이터의 모음을 읽기 위한 객체입니다.

Select Datastore for File Format or Application

Choose the right datastore based on the file format of your data or application.

테이블 형식의 대용량 텍스트 파일 읽어오기 및 분석하기

이 예제에서는 테이블 형식의 데이터가 포함된 대용량 텍스트 파일을 위한 데이터저장소를 생성한 다음, 한 번에 데이터 블록 하나씩 또는 파일 하나씩을 읽어오고 처리하는 방법을 보여줍니다.

Read and Analyze Image Files

This example shows how to create a datastore for a collection of images, read the image files, and find the images with the maximum average hue, saturation, and brightness (HSV).

Read and Analyze MAT-File with Key-Value Data

This example shows how to create a datastore for key-value pair data in a MAT-file that is the output of mapreduce.

Read and Analyze Hadoop Sequence File

This example shows how to create a datastore for a Sequence file containing key-value data.

원격 데이터로 작업하기

Amazon S3™, Azure^® Blob Storage, HDFS™에 있는 원격 데이터로 작업합니다.

Set Up Datastore for Processing on Different Machines or Clusters

Setup a datastore on your machine that can be loaded and processed on another machine or cluster.

Develop Custom Datastore

Create a fully customized datastore for your custom or proprietary data.

Develop Custom Datastore for DICOM Data

This example shows how to develop a custom datastore that supports writing operations.