데이터 전처리

데이터 정리, 평활화, 그룹화

정확한 분석이나 효율적인 분석 또는 의미 있는 분석을 위해 데이터에 전처리 기법이 필요할 수 있습니다. 데이터 정리는 불량 데이터나 누락된 데이터를 찾아서 제거하고 바꾸는 방법들을 의미합니다. 국소 극값과 급격한 변화를 감지하는 것은 유의한 데이터 추세를 식별하는 데 유용할 수 있습니다. 스케일링은 데이터 경계를 변경하기 위한 처리 기법이고, 평활화와 추세 제거(Detrending)는 데이터에서 잡음과 다항식 추세를 제거하기 위한 처리 기법입니다. 그룹화 및 비닝 방법은 그룹별로 데이터 특성을 식별합니다.

라이브 편집기 작업

누락된 데이터 정리	Find, fill, or remove missing data in the Live Editor
이상값 데이터 정리	Find, fill, or remove outliers in the Live Editor
변화 지점 찾기	Find abrupt changes in data in the Live Editor
국소 극값 찾기	Find local maxima and minima in the Live Editor
데이터 평활화	Smooth noisy data in the Live Editor
추세 제거	Remove polynomial trend from data in the Live Editor
테이블 결합	Combine two tables using key variables in the Live Editor

함수

모두 확장

누락된 데이터와 이상값

`ismissing`	누락된 값 찾기
`rmmissing`	누락된 요소 제거
`fillmissing`	누락된 값 채우기
`missing`	Create missing values
`standardizeMissing`	Insert standard missing values
`isoutlier`	데이터의 이상값 찾기
`filloutliers`	데이터에서 이상값 감지하고 바꾸기
`rmoutliers`	데이터에서 이상값을 감지하여 제거
`movmad`	Moving median absolute deviation

변화 지점과 국소 극값 감지

`ischange`	데이터 내 급격한 변화 찾기
`islocalmin`	국소 최솟값 구하기
`islocalmax`	국소 최댓값 구하기

데이터 평활화 및 추세 제거하기

`smoothdata`	잡음이 있는 데이터 평활화
`movmean`	이동 평균
`movmedian`	Moving median
`detrend`	다항식 추세 제거

데이터 정규화 및 스케일링하기

`normalize`	데이터 정규화
`rescale`	배열 요소의 범위 스케일링

데이터 그룹화와 비닝(Binning)

`discretize`	데이터를 Bin이나 범주로 그룹화
`groupcounts`	Number of group elements
`groupfilter`	Filter by group
`groupsummary`	그룹 요약 계산
`grouptransform`	Transform by group
`histcounts`	히스토그램 Bin 도수
`histcounts2`	이변량 히스토그램 Bin 도수
`findgroups`	그룹을 찾고 그룹 번호 반환
`splitapply`	데이터를 그룹으로 분할하고 함수 적용
`rowfun`	테이블 또는 타임테이블 행에 함수 적용
`varfun`	함수를 테이블 또는 타임테이블 변수에 적용
`accumarray`	누적(Accumulation)을 사용한 배열 생성