데이터저장소

대규모의 데이터 읽기

datastore 함수는 데이터저장소를 만듭니다. 데이터저장소는 메모리에 담을 수 없을 정도로 큰 데이터를 모아 놓는 저장 공간입니다. 데이터저장소를 사용하면 디스크상의 여러 파일이나 원격 위치 또는 데이터베이스에 저장되어 있는 데이터를 단일 엔터티로 읽고 처리할 수 있습니다. 데이터가 너무 커서 메모리를 초과하는 경우에는 데이터의 점진적 가져오기 작업을 관리하거나, tall형 배열을 만들어 데이터로 작업하거나, 추가 처리를 위해 데이터저장소를 mapreduce에 대한 입력값으로 사용할 수 있습니다. 자세한 내용은 데이터저장소 시작하기 항목을 참조하십시오.

함수

모두 확장

데이터저장소 만들기

`datastore`	대규모의 데이터 모음을 저장할 데이터저장소 만들기
`tabularTextDatastore`	테이블 형식 텍스트 파일의 데이터저장소
`spreadsheetDatastore`	스프레드시트 파일의 데이터저장소
`imageDatastore`	이미지 데이터의 데이터저장소
`parquetDatastore`	Datastore for collection of Parquet files
`fileDatastore`	사용자 지정 파일 리더를 사용하는 데이터저장소
`arrayDatastore`	Datastore for in-memory data

데이터저장소 읽기 및 쓰기

`read`	데이터저장소의 데이터 읽어 들이기
`readall`	데이터저장소의 모든 데이터 읽기
`preview`	데이터저장소에 있는 데이터의 서브셋 미리보기
`hasdata`	데이터를 읽을 수 있는지 확인
`reset`	데이터저장소를 초기 상태로 재설정
`writeall`	Write datastore to files

데이터저장소 분할하기 및 섞기

`shuffle`	데이터저장소의 모든 데이터 읽기 섞기
`isShuffleable`	Determine whether datastore is shuffleable
`numpartitions`	데이터저장소 파티션 개수
`partition`	데이터저장소 파티셔닝
`isPartitionable`	Determine whether datastore is partitionable

데이터저장소 결합 또는 변환하기

함수

`combine`	여러 데이터저장소의 데이터 결합
`transform`	Transform datastore

객체

`CombinedDatastore`	여러 개의 기본 데이터저장소에서 읽은 데이터를 결합할 데이터저장소
`TransformedDatastore`	Datastore to transform underlying datastore

MapReduce와 tall형 배열의 통합

`KeyValueDatastore`	`mapreduce`에 사용할 키-값 쌍 데이터의 데이터저장소
`TallDatastore`	`tall` 배열의 검사 지점 생성을 위한 데이터저장소

클래스