딥러닝을 사용한 파형 분할
이 예제에서는 순환 딥러닝 신경망과 시간-주파수 분석을 사용하여 사람의 심전도(ECG) 신호를 분할하는 방법을 다룹니다.
소개
사람 심장의 전기 활동은 기준 신호에서 벗어난 일련의 진폭으로 측정할 수 있습니다. 단일 정상 심박 주기의 경우 심전도 신호를 다음 심박 모폴로지로 나눌 수 있습니다 [1].
P파 — 심방 탈분극을 나타내는 QRS 복합파 이전의 작은 편향
QRS 복합파 — 심박의 최대 진폭 부분
T파 — 심실 재분극을 나타내는 QRS 복합파 이후의 작은 편향
심전도 파형의 이 영역을 분할하여 사람 심장의 전반적인 상태 및 이상 유무를 가늠하는 데 유용한 측정 기준을 마련할 수 있습니다 [2]. 심전도 신호의 각 영역에 수동으로 주석을 다는 것은 번거롭고 오랜 시간이 소요되는 작업일 수 있습니다. 신호 처리 및 딥러닝 방법은 관심 영역에 주석을 다는 작업을 간소화하고 자동화하는 데 도움이 될 수 있습니다.
이 예제에서는 공개적으로 사용 가능한 QT Database의 심전도 신호를 사용합니다 [3] [4]. 이 데이터는 총 105명의 환자로부터 측정한 샘플 레이트 250Hz의 약 15분 분량의 심전도 기록으로 구성되었습니다. 검사자가 각 기록을 얻기 위해 환자의 가슴에 서로 다른 위치에 두 전극을 설치했기 때문에 2채널 신호를 얻었습니다. 이 데이터베이스는 자동화된 전문가 시스템에서 생성한 신호 영역 레이블을 제공합니다 [2]. 이 예제는 딥러닝을 통해 샘플이 위치한 영역에 따라 개개의 심전도 신호 샘플에 레이블을 지정하는 것을 목적으로 합니다. 신호의 전 범위에서 관심 영역에 레이블을 지정하는 이 과정은 파형 분할이라고도 합니다.
신호 영역을 분류하도록 심층 신경망을 훈련시키기 위해 LSTM(장단기 기억) 신경망을 사용할 수 있습니다. 이 예제에서는 신호 전처리 기법 및 시간-주파수 분석을 활용하여 LSTM 분할 성능을 향상하는 방법을 보여줍니다. 특히 이 예제에서는 푸리에 싱크로스퀴즈 변환을 사용하여 심전도 신호의 비정상적 동작을 나타냅니다.
데이터 다운로드 및 준비
105개의 2채널 심전도 신호의 각 채널은 자동화된 전문가 시스템에 의해 개별적으로 레이블이 지정되었으며, 210 MAT 파일에 영역 레이블을 지정하여 함께 저장된 총 210개 심전도 신호에 대해 개별적으로 처리됩니다. 이 파일은 https://www.mathworks.com/supportfiles/SPT/data/QTDatabaseECGData.zip에서 받을 수 있습니다.
데이터 파일을 임시 디렉터리로 다운로드합니다. 임시 디렉터리의 위치는 MATLAB®의 tempdir 명령으로 지정됩니다. tempdir이 아닌 폴더에 데이터 파일을 저장하려는 경우 이후 지침에서 디렉터리 이름을 이에 맞게 변경하십시오.
% Download the data dataURL = 'https://www.mathworks.com/supportfiles/SPT/data/QTDatabaseECGData1.zip'; datasetFolder = fullfile(tempdir,'QTDataset'); zipFile = fullfile(tempdir,'QTDatabaseECGData.zip'); if ~exist(datasetFolder,'dir') websave(zipFile,dataURL); unzip(zipFile,tempdir); end
unzip 작업은 임시 디렉터리에 210개의 MAT 파일이 들어 있는 QTDatabaseECGData 폴더를 만듭니다. 각 파일은 변수 ecgSignal에 심전도 신호를 포함하고 변수 signalRegionLabels에 영역 레이블로 구성된 테이블을 포함합니다. 각 파일은 변수 Fs에 신호의 샘플 레이트도 포함합니다. 이 예제에서 모든 신호의 샘플 레이트는 250Hz입니다.
파일의 데이터에 액세스할 수 있도록 신호 데이터저장소를 만듭니다. 이 예제에서는 데이터셋이 QTDatabaseECGData 폴더 아래의 임시 디렉터리에 저장되었다고 가정합니다. 그렇지 않을 경우 아래 코드에서 데이터의 경로를 변경하십시오. SignalVariableNames 파라미터를 사용하여 각 파일에서 읽어 들일 신호 변수의 이름을 지정합니다.
sds = signalDatastore(datasetFolder,'SignalVariableNames',["ecgSignal","signalRegionLabels"])
sds =
signalDatastore with properties:
Files:{
'/tmp/QTDataset/ecg1.mat';
'/tmp/QTDataset/ecg10.mat';
'/tmp/QTDataset/ecg100.mat'
... and 207 more
}
Folders: {'/tmp/QTDataset'}
AlternateFileSystemRoots: [0×0 string]
ReadSize: 1
SignalVariableNames: ["ecgSignal" "signalRegionLabels"]
ReadOutputOrientation: "column"
read 함수를 호출할 때마다 데이터저장소는 심전도 신호와 영역 레이블로 구성된 테이블을 포함하는, 요소를 2개 가진 셀형 배열을 반환합니다. 데이터저장소의 preview 함수를 사용하여 첫 번째 파일의 내용은 225,000개 샘플로 이루어진 심전도 신호와 3385개 영역 레이블을 포함하는 테이블임을 확인합니다.
data = preview(sds)
data=2×1 cell array
{225000×1 double}
{ 3385×2 table }
영역 레이블 테이블에서 처음 몇 개의 행을 살펴보고 각 행이 영역 제한 인덱스와 영역 클래스 값(P, T 또는 QRS)을 포함함을 확인합니다.
head(data{2}) ROILimits Value
__________ _____
83 117 P
130 153 QRS
201 246 T
285 319 P
332 357 QRS
412 457 T
477 507 P
524 547 QRS
signalMask 객체를 사용하여 첫 1,000개 샘플에 대한 레이블을 시각화합니다.
M = signalMask(data{2});
plotsigroi(M,data{1}(1:1000))
일반적인 머신러닝 분류 절차는 다음과 같습니다.
데이터베이스를 훈련 데이터셋 및 테스트 데이터셋으로 나눕니다.
훈련 데이터셋을 사용하여 신경망을 훈련시킵니다.
훈련된 신경망을 사용하여 테스트 데이터셋에 대해 예측을 수행합니다.
데이터의 70%로 신경망을 훈련시키고 나머지 30%로 테스트합니다.
재현 가능한 결과를 얻기 위해 난수 생성기를 재설정합니다. dividerand 함수를 사용하여 임의의 인덱스를 얻어 파일을 섞고, signalDatastore의 subset 함수를 사용하여 데이터를 훈련 데이터저장소와 테스트 데이터저장소로 나눕니다.
rng default
[trainIdx,~,testIdx] = dividerand(numel(sds.Files),0.7,0,0.3);
trainDs = subset(sds,trainIdx);
testDs = subset(sds,testIdx);이 분할 문제에서 LSTM 신경망에 대한 입력값은 심전도 신호이고 출력값은 입력 신호와 길이가 같은 시퀀스 또는 레이블로 구성된 마스크입니다. 신경망의 임무는 각 신호 샘플에 해당 샘플이 속하는 영역의 이름을 레이블로 지정하는 것입니다. 따라서 데이터셋의 영역 레이블을 신호 샘플당 하나의 레이블을 포함하는 시퀀스로 변환해야 합니다. 변환된 데이터저장소와 getmask 헬퍼 함수를 사용하여 영역 레이블을 변환합니다. getmask 함수는 레이블 범주 "n/a"를 추가하여 관심 영역에 속하지 않는 샘플에 레이블을 지정합니다.
type getmask.mfunction outputCell = getmask(inputCell)
%GETMASK Convert region labels to a mask of labels of size equal to the
%size of the input ECG signal.
%
% inputCell is a two-element cell array containing an ECG signal vector
% and a table of region labels.
%
% outputCell is a two-element cell array containing the ECG signal vector
% and a categorical label vector mask of the same length as the signal.
% Copyright 2020 The MathWorks, Inc.
sig = inputCell{1};
roiTable = inputCell{2};
L = length(sig);
M = signalMask(roiTable);
% Get categorical mask and give priority to QRS regions when there is overlap
mask = catmask(M,L,'OverlapAction','prioritizeByList','PriorityList',[2 1 3]);
% Set missing values to "n/a"
mask(ismissing(mask)) = "n/a";
outputCell = {sig,mask};
end
변환된 데이터저장소를 미리 보고 데이터저장소가 동일한 길이의 신호 벡터와 레이블 벡터를 반환함을 확인합니다. categorical형 마스크 벡터의 처음 1000개 요소를 플로팅합니다.
trainDs = transform(trainDs, @getmask); testDs = transform(testDs, @getmask); transformedData = preview(trainDs)
transformedData=1×2 cell array
{224993×1 double} {224993×1 categorical}
plot(transformedData{2}(1:1000))
LSTM 신경망에 매우 긴 입력 신호를 전달하면 추정 성능이 저하되고 메모리가 과도하게 사용될 수 있습니다. 이러한 효과를 방지하려면 변환된 데이터저장소와 resizeData 헬퍼 함수를 사용하여 심전도 신호 및 그에 대응되는 레이블 마스크를 분할하십시오. 헬퍼 함수는 5000개 샘플로 구성된 세그먼트를 가능한 한 많이 만들고 나머지 샘플은 무시합니다. 변환된 데이터저장소의 출력값을 미리 보면 첫 번째 심전도 신호와 그 레이블 마스크가 5000개 단위의 샘플 세그먼트들로 분할된 것을 볼 수 있습니다. 변환된 데이터저장소의 미리보기는 데이터저장소 read 함수를 호출했다면 결과로 생성되었을 floor(224993/5000) = 44개 요소를 가진 셀형 배열의 처음 8개 요소만 보여줍니다.
trainDs = transform(trainDs,@resizeData); testDs = transform(testDs,@resizeData); preview(trainDs)
ans=8×2 cell array
{[ 0 0 0 0 0 0 1 1 1 1 1 1 0 1 2 1 1 2 2 2 3 4 6 8 11 15 18 18 17 17 17 16 14 12 8 4 2 1 0 -1 -2 -1 0 0 0 1 2 2 2 2 1 0 -1 -1 -2 -3 -3 -2 -2 -2 -1 0 4 5 5 3 2 0 -1 -1 0 2 3 5 5 3 4 8 15 25 36 50 63 73 83 90 97 99 98 88 74 58 42 30 22 19 15 10 5 1 -1 -2 -2 -3 -4 -5 -6 -7 -9 -9 -10 -12 -13 -13 -12 -13 -14 -15 -15 -16 -18 -19 -20 -21 -22 -21 -22 -23 -24 -25 -25 -26 -27 -28 -29 -29 -28 -26 -25 -24 -23 -21 -19 -18 -16 -14 -12 -11 -9 -7 -6 -5 -5 -3 -3 -3 -3 -2 -2 -2 -2 -1 -1 -2 -2 -1 -1 -1 -1 0 0 0 -1 0 1 2 3 5 7 8 11 13 13 13 12 11 9 6 2 0 -2 -3 -5 -7 -8 -8 -7 -5 -4 -5 -4 -3 -4 -4 -5 -5 -6 -8 -9 -9 -8 -9 -9 -8 -6 -6 -4 -2 -3 -4 -5 -6 -7 -8 -8 -7 -6 -5 -6 -8 -7 -5 2 12 24 36 48 58 66 72 78 83 82 75 61 46 30 18 11 9 6 0 -4 -8 -9 -11 -12 -12 -13 -13 -14 -14 -15 -17 -17 -17 -17 -18 -18 -18 -19 -21 -22 -23 -23 -25 -25 -26 -26 -27 -28 -29 -30 -31 -32 -32 -33 -33 -34 -34 -34 -34 -32 -31 -30 -29 -27 -25 -23 -22 -19 -17 -15 -15 -14 -12 -11 -11 -9 -8 -8 -8 -8 -9 -9 -8 -8 -8 -8 -9 -8 -7 -7 -8 -8 -7 -7 -7 -6 -5 -3 -3 -1 2 4 5 6 7 6 5 4 2 -2 -5 -7 -7 -8 -10 -10 -10 -10 -9 -9 -7 -7 -6 -5 -5 -6 -8 -10 -11 -12 -12 -11 -11 -11 -10 -9 -7 -6 -5 -6 -7 -9 -11 -13 -14 -14 -14 -12 -11 -10 -11 -10 -6 0 10 22 35 47 58 68 76 80 83 78 67 51 36 22 12 6 3 -1 -6 -10 -12 -13 -14 -16 -17 -17 -17 -18 -18 -18 -19 -20 -20 -20 -20 -20 -19 -19 -20 -21 -22 -23 -25 -26 -26 -26 -26 -27 -27 -28 -28 -29 -28 -29 -28 -28 -29 -28 -27 -25 -25 -23 -22 -21 -19 -17 -15 -14 -12 -10 -9 -8 -7 -6 -5 -5 -5 -5 -5 -5 -5 -4 -4 -4 -3 -3 -3 -4 -3 -3 -3 -3 -4 -3 -4 -4 -2 -1 0 2 4 8 10 10 10 10 9 8 6 4 0 -3 -5 -5 -7 -9 -9 -8 -7 -8 -8 -7 -7 -7 -6 -6 -6 -7 -9 -9 -10 -11 -11 -11 -10 -10 -9 -7 -5 -3 -4 -5 -7 -9 -10 -11 -9 -8 -6 -4 -3 -4 -6 -5 0 6 16 27 40 51 60 68 75 82 81 77 66 52 39 27 17 10 6 2 -2 -6 -10 -12 -13 -14 -15 -16 -15 -16 -16 -17 -17 -17 -18 -18 -18 -17 -17 -16 -17 -17 -18 -19 -19 -20 -20 -21 -22 -23 -24 -25 -26 -26 -26 -26 -27 -26 -26 -26 -25 -24 -23 -22 -21 -19 -18 -16 -14 -11 -9 -8 -7 -5 -4 -4 -3 -2 -1 -1 -1 -1 -1 -2 -1 -1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 3 4 5 7 10 14 16 17 15 14 13 12 11 8 5 1 0 0 -2 -4 -4 -3 -3 -2 -1 0 0 0 -1 -2 -3 -5 -5 -5 -6 -6 -5 -5 -5 -4 -2 0 1 2 1 0 -3 -5 -5 -5 -4 -2 0 0 -1 -1 1 7 14 26 39 53 63 73 81 87 90 87 80 65 51 38 26 18 12 8 3 -2 -6 -8 -9 -10 -11 -12 -12 -12 -14 -13 -12 -12 -13 -13 -14 -15 -16 -17 -16 -17 -18 -18 -17 -18 -20 -21 -22 -22 -24 -24 -24 -24 -24 -24 -23 -24 -24 -24 -23 -22 -21 -19 -16 -14 -13 -11 -9 -7 -5 -3 0 0 1 2 3 4 4 4 6 6 6 6 7 8 7 7 7 7 6 6 8 8 8 8 9 9 9 10 11 12 12 14 15 17 19 22 25 27 27 27 27 25 22 19 15 13 11 11 10 9 8 7 8 8 8 9 9 10 10 9 9 7 5 5 6 6 5 5 5 6 6 9 12 13 11 9 6 4 1 1 4 6 7 9 9 8 9 14 23 34 48 62 77 86 96 103 109 110 103 92 76 61 45 34 29 25 19 11 6 2 0 0 -1 -3 -5 -6 -6 -6 -7 -7 -7 -7 -8 -8 -8 -9 -10 -11 -11 -11 -12 -14 -15 -15 -16 -17 -17 -18 -19 -20 -21 -21 -22 -22 -21 -21 -20 -19 -18 -16 -15 -13 -11 -9 -7 -4 -1 1 2 4 5 6 7 8 9 9 9 9 9 9 9 8 9 10 10 11 12 12 11 11 11 11 10 11 11 12 13 14 15 15 15 17 20 24 28 29 30 29 28 28 27 24 20 16 14 13 12 11 10 9 8 9 9 9 9 10 11 11 10 9 8 7 7 6 6 6 6 7 7 8 10 12 13 11 8 5 3 1 0 2 5 6 6 5 4 6 12 22 35 50 62 77 88 97 103 108 110 104 94 78 62 45 34 29 26 21 14 9 5 3 1 0 -1 -2 -3 -4 -4 -5 -6 -6 -5 -6 -8 -8 -8 -8 -9 -10 -10 -12 -13 -14 -15 -15 -16 -17 -17 -19 -21 -22 -22 -23 -24 -24 -23 -24 -24 -22 -20 -19 -17 -14 -12 -10 -9 -7 -5 -4 -3 -1 1 3 4 5 7 7 7 8 8 8 7 7 8 7 7 7 7 5 5 5 5 5 5 6 7 7 7 7 8 9 10 11 13 16 18 20 21 20 20 19 18 15 12 9 7 6 4 3 2 2 2 2 3 2 1 2 3 4 3 3 2 1 0 0 -1 -1 -2 -2 -1 0 1 2 2 0 -3 -5 -8 -9 -9 -8 -6 -5 -6 -6 -5 -1 7 20 35 49 62 74 84 92 99 105 103 94 77 58 39 25 19 16 12 6 0 -3 -6 -9 -11 -12 -12 -14 -14 -14 -14 -15 -15 -16 -17 -17 -18 -17 -17 -18 -18 -19 -20 -22 -23 -23 -24 -26 -27 -28 -29 -30 -31 -30 -31 -31 -33 -33 -33 -32 -30 -30 -28 -27 -25 -22 -20 -18 -16 -13 -10 -8 -6 -4 -2 -2 -2 -1 0 -1 0 0 0 0 0 1 0 0 0 1 1 1 0 1 2 2 2 3 3 3 4 5 6 7 9 13 16 19 19 19 18 18 17 16 13 9 6 4 3 1 0 -2 -2 -2 -1 0 0 1 1 1 1 0 0 0 -2 -3 -3 -2 -3 -3 -4 -2 -1 0 1 1 0 -2 -5 -6 -9 -9 -7 -5 -3 -1 -1 0 2 8 18 32 46 59 71 83 94 101 107 106 98 83 65 49 35 27 23 21 15 7 2 0 0 -2 -4 -4 -6 -7 -8 -8 -9 -9 -9 -8 -9 -9 -10 -9 -10 -11 -11 -11 -12 -13 -14 -15 -16 -18 -18 -19 -20 -21 -22 -23 -24 -24 -24 -24 -24 -24 -23 -21 -19 -17 -16 -14 -11 -9 -7 -5 -2 -1 1 2 2 2 3 4 4 4 4 4 4 4 5 5 4 3 4 5 5 4 4 4 4 5 5 7 6 6 6 7 8 9 12 15 19 20 21 19 18 18 18 16 12 8 5 4 4 2 1 0 0 0 1 3 3 3 4 4 4 3 2 1 1 0 0 1 1 0 1 1 2 3 3 3 1 0 -1 -3 -5 -5 -3 -1 0 0 0 1 4 10 21 34 47 60 71 82 89 97 100 100 93 80 66 47 34 26 23 19 13 7 3 1 -1 -2 -3 -4 -6 -7 -6 -6 -6 -6 -6 -6 -7 -8 -9 -9 -9 -10 -10 -11 -12 -14 -15 -16 -17 -18 -19 -19 -21 -21 -22 -23 -24 -25 -25 -24 -23 -23 -21 -20 -19 -18 -16 -12 -10 -7 -5 -4 -3 -2 -1 0 1 1 2 2 2 1 1 1 0 0 1 1 0 0 1 1 1 1 2 3 4 3 3 3 3 4 5 7 7 8 11 13 15 16 16 16 15 14 12 10 7 4 3 2 0 0 0 1 0 0 0 1 1 2 3 3 1 0 0 -1 -2 -3 -2 -2 -1 -1 0 0 1 2 2 1 -1 -4 -6 -7 -7 -6 -5 -4 -4 -5 -3 0 5 14 27 42 56 67 79 87 96 101 105 101 87 71 53 39 29 24 22 16 10 5 2 1 0 -1 -2 -3 … ]} {[n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a P P P P P P P P P P P P P P P P P P P P P n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS n/a n/a n/a n/a n/a n/a n/a n/a T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a P P P P P P P P P P P P P P P P P P P n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a P P P P P P P P P P P P P P P P P P P P n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a P P P P P P P P P P P P P P P P P P P P n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS n/a n/a n/a n/a n/a n/a n/a n/a T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T n/a n/a n/a n/a n/a n/a n/a n/a … ]}
{[ -34 -34 -33 -32 -31 -30 -28 -26 -24 -22 -20 -17 -15 -12 -10 -8 -6 -6 -5 -3 -3 -2 0 1 1 0 1 2 2 2 2 2 2 2 2 3 4 4 5 6 6 7 7 8 10 12 15 18 20 21 21 20 20 18 17 13 8 4 2 2 0 -2 -2 -1 0 -1 -1 0 0 1 1 1 0 -2 -3 -3 -3 -3 -3 -2 -2 -1 -1 1 3 5 6 4 2 -1 -3 -5 -6 -6 -4 -1 0 -1 -2 0 5 13 26 41 56 69 80 92 99 107 109 107 96 79 62 43 28 20 17 13 6 0 -3 -5 -6 -7 -8 -9 -11 -13 -13 -12 -11 -11 -12 -12 -14 -15 -16 -17 -17 -18 -19 -19 -19 -21 -23 -24 -26 -27 -28 -28 -28 -29 -30 -31 -31 -32 -33 -33 -32 -32 -31 -29 -27 -25 -23 -20 -18 -16 -14 -11 -8 -6 -5 -3 -1 0 1 2 2 1 2 2 2 2 3 3 4 4 3 3 3 3 4 4 5 5 6 8 8 8 11 14 17 19 20 21 20 19 18 17 13 8 6 5 4 2 0 0 0 0 1 1 1 0 0 1 1 0 -2 -3 -4 -4 -4 -3 -4 -4 -4 -3 -2 0 1 1 0 -3 -7 -9 -11 -11 -9 -5 -3 -4 -6 -5 -2 5 17 31 44 58 69 79 87 91 97 94 86 71 55 39 22 12 8 5 0 -6 -9 -12 -13 -14 -15 -15 -17 -19 -19 -19 -20 -20 -19 -19 -20 -21 -21 -22 -23 -24 -25 -25 -26 -28 -30 -31 -33 -35 -35 -35 -36 -37 -38 -39 -40 -40 -39 -39 -40 -39 -38 -37 -36 -35 -33 -30 -27 -26 -23 -21 -20 -19 -16 -15 -13 -12 -12 -12 -13 -13 -13 -13 -12 -12 -12 -11 -11 -12 -11 -11 -11 -12 -12 -12 -13 -13 -13 -12 -12 -12 -11 -10 -8 -5 -2 0 0 0 0 -1 -3 -6 -9 -11 -12 -14 -16 -18 -19 -20 -19 -18 -17 -17 -17 -16 -16 -17 -18 -18 -19 -20 -21 -22 -22 -22 -22 -21 -20 -20 -19 -17 -15 -17 -19 -21 -24 -26 -27 -27 -25 -24 -23 -24 -26 -28 -24 -16 -6 5 19 31 43 51 57 63 66 65 57 46 30 13 0 -8 -12 -14 -18 -22 -26 -28 -29 -30 -30 -31 -31 -32 -31 -33 -34 -34 -34 -34 -35 -35 -36 -37 -38 -39 -39 -41 -41 -43 -43 -45 -46 -46 -47 -48 -50 -50 -50 -51 -52 -51 -51 -52 -51 -49 -47 -47 -45 -43 -41 -39 -38 -35 -34 -32 -30 -28 -27 -26 -24 -23 -21 -21 -21 -21 -21 -23 -23 -22 -22 -22 -22 -21 -21 -22 -23 -24 -24 -24 -23 -22 -21 -20 -20 -19 -17 -15 -13 -11 -11 -11 -10 -11 -13 -17 -20 -22 -23 -24 -25 -26 -28 -28 -27 -26 -25 -26 -25 -23 -23 -24 -25 -26 -27 -28 -29 -29 -29 -30 -31 -30 -31 -30 -28 -26 -25 -26 -28 -31 -33 -36 -37 -37 -36 -34 -35 -35 -37 -36 -32 -24 -14 -2 10 22 32 40 47 54 58 57 51 38 23 6 -7 -14 -17 -20 -24 -29 -32 -34 -35 -36 -38 -40 -41 -41 -42 -41 -42 -43 -44 -45 -44 -45 -46 -47 -47 -47 -48 -48 -49 -50 -52 -52 -53 -53 -54 -55 -55 -57 -56 -58 -57 -58 -57 -58 -58 -57 -57 -54 -54 -51 -50 -47 -44 -41 -38 -38 -36 -35 -32 -32 -31 -29 -30 -30 -30 -30 -31 -31 -31 -30 -31 -31 -30 -30 -30 -31 -30 -29 -30 -29 -28 -26 -26 -25 -25 -23 -21 -18 -16 -15 -15 -15 -15 -15 -17 -19 -22 -25 -27 -27 -28 -29 -31 -31 -30 -30 -30 -31 -30 -30 -30 -31 -31 -31 -33 -33 -34 -34 -35 -35 -35 -34 -33 -32 -29 -27 -27 -29 -31 -33 -36 -37 -38 -36 -37 -36 -35 -36 -36 -33 -25 -17 -5 8 22 34 44 54 64 71 72 65 51 35 18 4 -4 -9 -12 -18 -24 -28 -31 -32 -34 -35 -36 -36 -37 -37 -37 -37 -37 -38 -39 -39 -39 -38 -39 -38 -40 -40 -43 -44 -44 -44 -45 -46 -46 -47 -47 -48 -48 -50 -52 -52 -52 -51 -52 -50 -50 -49 -47 -45 -42 -41 -39 -38 -35 -34 -33 -32 -30 -29 -28 -26 -25 -24 -24 -23 -22 -22 -22 -22 -21 -21 -21 -20 -19 -19 -19 -19 -18 -17 -16 -15 -13 -11 -11 -9 -5 -3 -2 0 3 3 2 2 2 2 0 -4 -7 -9 -11 -12 -14 -16 -17 -16 -14 -14 -14 -13 -12 -12 -13 -13 -15 -16 -17 -17 -16 -16 -16 -17 -16 -16 -15 -13 -10 -7 -8 -9 -11 -13 -16 -17 -15 -13 -10 -9 -9 -10 -10 -7 0 10 21 34 48 59 69 77 84 89 87 81 68 53 38 24 16 11 6 1 -4 -8 -11 -11 -12 -13 -14 -14 -14 -15 -16 -17 -16 -16 -17 -18 -18 -18 -19 -20 -21 -22 -23 -23 -23 -24 -25 -26 -27 -28 -30 -30 -30 -30 -32 -33 -34 -35 -35 -35 -33 -32 -30 -28 -26 -25 -23 -20 -17 -14 -12 -10 -9 -8 -6 -4 -4 -3 -3 -1 -1 -2 -2 -2 -1 -1 0 1 1 0 1 3 3 3 3 5 6 8 11 14 16 17 18 18 18 18 15 13 9 6 5 5 3 1 0 0 1 1 1 2 2 2 2 2 1 0 0 -1 -1 -2 -2 0 0 0 0 2 5 7 8 8 7 4 2 0 0 0 2 4 4 2 1 1 5 12 23 37 51 64 74 85 92 99 102 98 89 75 60 44 31 23 22 19 14 8 3 1 0 0 0 0 -1 -3 -4 -4 -4 -5 -6 -6 -8 -8 -9 -10 -11 -13 -14 -15 -16 -18 -19 -20 -22 -24 -26 -27 -29 -30 -30 -30 -29 -30 -30 -29 -28 -27 -25 -23 -22 -20 -17 -15 -13 -10 -7 -5 -4 -2 -1 -1 0 0 1 2 3 2 3 2 2 3 4 5 5 5 6 5 5 5 5 5 6 6 9 12 15 16 18 18 17 17 16 14 10 8 7 6 4 2 0 0 1 2 2 2 1 1 1 1 1 1 0 0 -2 -1 -1 0 -1 -1 -1 0 1 3 5 5 3 0 -1 -2 -4 -4 -2 0 0 -1 -3 -3 -1 3 12 25 35 46 56 66 74 81 88 90 88 78 67 52 37 27 23 21 16 10 6 3 2 2 2 1 0 -1 -2 -2 -2 -2 -2 -2 -3 -5 -6 -7 -8 -9 -9 -10 -11 -12 -13 -14 -15 -16 -17 -17 -18 -18 -19 -20 -21 -21 -20 -19 -19 -18 -17 -14 -13 -13 -11 -10 -10 -9 -7 -4 -2 -1 0 0 0 2 4 4 4 4 5 5 5 5 5 6 6 6 6 5 5 6 8 9 10 12 14 16 19 20 21 21 19 19 19 18 16 13 11 9 7 6 6 7 8 8 8 8 8 10 10 10 9 9 9 9 9 9 9 9 8 8 9 10 11 13 14 14 12 10 8 7 6 6 9 11 13 13 12 13 17 27 39 53 65 78 89 102 112 119 124 119 109 91 75 59 48 43 39 34 27 22 20 19 17 16 15 13 11 10 10 10 9 7 6 4 2 1 0 0 -1 -2 -2 -2 -4 -6 -7 -9 -9 -9 -8 -8 -9 -11 -12 -13 -13 -12 -10 -9 -7 -6 -5 -4 -4 0 2 5 6 9 11 13 14 15 17 19 20 20 21 21 21 22 22 22 21 22 22 24 24 25 26 25 25 26 28 29 32 35 39 42 44 45 45 45 44 44 42 41 38 34 32 29 28 28 28 28 28 28 29 29 29 28 27 25 24 23 24 24 24 24 24 23 23 25 27 30 31 32 31 29 27 25 26 27 29 32 35 34 33 33 36 43 53 66 79 93 102 113 122 129 134 133 129 115 102 87 73 63 58 56 50 45 38 34 32 30 28 27 26 25 24 23 23 23 … ]} {[T T T T T T T T T T T T T T T T T T T T T T T T T n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a P P P P P P P P P P P P P P P P P P P P n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a P P P P P P P P P P P P P P P P P P P P P n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a P P P P P P P P P P P P P P P P P P P P n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a P P P P P P P P P P P P P P P P P P P P n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a P P P P P P P P P P P P P P P P P P P P P n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS n/a n/a n/a n/a n/a n/a n/a T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T … ]}
{[12 11 10 9 7 7 6 4 4 4 4 3 2 2 2 1 0 0 -1 -2 -4 -5 -7 -9 -10 -11 -11 -12 -12 -13 -14 -15 -16 -16 -17 -17 -17 -17 -17 -17 -16 -14 -12 -10 -7 -4 -1 1 3 6 9 11 13 14 15 16 16 17 18 19 19 20 20 20 21 21 22 22 22 23 23 23 24 25 27 28 30 32 35 38 40 40 41 40 40 40 39 37 33 30 26 23 21 22 22 23 23 22 22 21 22 21 22 22 20 19 18 18 17 17 17 17 17 18 21 24 25 25 24 21 18 15 15 15 16 18 21 22 20 19 22 30 40 53 69 83 96 107 117 126 131 132 124 110 90 69 51 39 35 34 31 26 20 17 16 15 13 11 10 10 8 6 6 5 5 4 4 4 2 0 -3 -5 -6 -5 -4 -4 -6 -9 -11 -13 -15 -17 -18 -19 -21 -21 -21 -20 -21 -25 -27 -25 -21 -20 -18 -15 -14 -13 -12 -8 -7 -5 -2 0 3 3 3 4 4 6 7 6 5 5 7 7 7 8 10 11 10 9 8 9 10 11 14 15 17 18 22 26 28 30 31 32 31 30 29 28 25 22 19 15 14 14 15 15 14 12 13 13 14 13 13 12 10 9 9 9 9 8 7 6 7 8 10 14 15 14 14 13 11 8 6 6 8 10 14 15 14 11 12 18 27 39 54 69 82 92 98 105 109 109 102 86 68 48 32 21 17 16 13 9 5 2 1 0 0 -1 -2 -3 -4 -5 -7 -7 -8 -9 -10 -9 -11 -12 -12 -14 -14 -15 -15 -17 -18 -20 -21 -22 -24 -25 -26 -26 -26 -27 -27 -27 -27 -27 -26 -25 -23 -21 -19 -16 -14 -11 -10 -7 -5 -3 0 3 5 7 8 8 8 8 9 10 11 11 12 13 13 13 14 15 15 16 17 18 19 19 22 24 27 29 33 34 35 35 36 36 34 32 30 27 24 21 20 19 19 19 20 19 18 18 18 19 19 19 18 17 15 14 14 15 15 15 16 17 18 20 23 24 23 21 20 19 17 17 18 20 21 21 20 18 19 23 32 45 57 69 80 91 97 104 110 116 117 111 102 85 68 53 44 41 40 36 30 25 21 19 18 17 16 16 16 15 14 11 11 11 11 11 10 9 7 6 5 5 4 3 2 1 0 -2 -3 -3 -4 -5 -6 -6 -7 -8 -7 -7 -7 -6 -5 -2 -1 0 2 4 6 8 10 13 16 18 21 23 24 25 26 27 28 28 30 30 31 31 32 33 34 34 34 34 34 35 36 39 40 40 42 45 48 50 53 52 51 50 50 51 49 48 44 42 39 36 36 36 37 36 37 37 37 36 36 36 34 34 34 35 35 34 34 34 33 33 35 36 38 39 39 39 39 38 35 33 31 31 32 34 36 35 34 34 37 43 53 67 79 92 103 115 123 132 138 139 134 118 103 86 73 65 61 58 50 44 39 38 35 34 34 32 30 28 28 27 27 26 25 25 24 22 21 20 19 18 17 16 14 13 12 11 11 9 8 8 6 4 3 3 3 4 4 5 5 6 7 8 10 11 13 15 18 19 21 24 25 26 27 29 30 31 32 32 33 32 33 34 35 35 36 37 36 36 35 36 36 36 39 40 42 44 47 49 52 52 52 51 50 49 46 46 43 40 36 34 32 31 32 32 32 31 31 31 31 30 29 28 26 25 25 25 24 24 25 26 27 28 30 32 31 29 28 26 24 22 22 23 24 25 25 24 22 24 31 41 52 66 78 92 100 109 115 122 123 116 105 87 71 57 50 46 42 36 29 25 21 20 18 17 16 15 14 13 11 10 11 10 8 7 7 5 4 3 2 1 0 -1 -2 -3 -4 -6 -8 -9 -10 -11 -11 -12 -13 -13 -12 -13 -13 -13 -12 -10 -9 -7 -5 -4 -3 -1 0 1 3 5 7 8 9 9 10 10 10 10 10 10 10 11 11 12 11 12 12 12 11 13 14 15 17 20 23 25 27 28 28 27 26 26 25 23 19 17 13 10 9 9 9 9 8 8 8 7 7 7 6 4 3 3 2 1 0 0 0 1 2 3 5 7 7 7 4 2 -1 -2 -2 -1 0 2 3 1 1 3 8 16 27 41 54 66 75 85 91 97 97 92 81 64 49 34 23 18 16 13 7 2 -1 -2 -3 -5 -7 -8 -9 -10 -11 -12 -13 -14 -15 -15 -17 -18 -18 -18 -18 -20 -21 -22 -23 -25 -26 -28 -29 -30 -31 -31 -32 -33 -34 -34 -35 -35 -34 -33 -32 -32 -30 -28 -26 -24 -21 -18 -15 -14 -12 -9 -7 -6 -5 -3 -2 -2 -2 -1 -1 -1 0 0 0 0 0 2 2 2 2 3 3 5 7 9 11 14 16 16 17 16 16 16 15 13 10 7 3 0 -1 -1 -2 -2 -1 -1 -1 -2 -2 -1 -2 -4 -5 -5 -6 -6 -5 -5 -5 -5 -5 -3 -1 0 2 2 0 -2 -4 -6 -7 -6 -5 -3 -3 -5 -6 -6 -2 6 19 33 47 58 68 79 85 92 94 95 85 71 54 35 21 14 13 10 4 0 -3 -5 -6 -8 -10 -12 -12 -12 -14 -15 -15 -15 -15 -16 -18 -19 -19 -18 -19 -21 -22 -23 -23 -24 -25 -27 -29 -29 -30 -31 -34 -35 -35 -35 -34 -34 -34 -33 -33 -33 -31 -29 -27 -25 -22 -19 -17 -15 -14 -12 -11 -8 -6 -5 -4 -3 -2 -2 -2 -1 -1 -1 -2 -1 -1 0 0 0 0 1 1 1 2 3 5 6 10 13 15 16 16 16 15 15 13 10 7 4 2 0 -1 -2 -1 -1 -2 -2 -1 -1 -1 -1 -1 -2 -4 -4 -4 -5 -4 -4 -4 -3 -3 -2 0 2 3 3 2 0 -2 -5 -6 -5 -4 -1 1 0 0 0 6 14 26 41 57 71 82 94 100 107 107 104 90 74 57 40 28 22 20 15 7 1 0 0 0 -1 -2 -3 -6 -8 -9 -8 -8 -10 -13 -15 -15 -14 -15 -16 -18 -20 -21 -22 -22 -24 -25 -27 -30 -31 -29 -29 -32 -36 -37 -36 -35 -34 -33 -34 -33 -31 -28 -27 -27 -25 -22 -18 -16 -15 -17 -18 -18 -15 -11 -7 -7 -9 -9 -8 -8 -9 -9 -8 -7 -7 -6 -5 -6 -7 -6 -5 -5 -4 -1 1 4 6 8 9 7 7 7 5 1 -3 -5 -7 -9 -12 -12 -12 -12 -12 -12 -11 -11 -11 -10 -8 -8 -9 -11 -13 -16 -17 -16 -18 -18 -17 -16 -16 -17 -16 -13 -11 -11 -12 -13 -15 -17 -17 -16 -14 -13 -14 -16 -16 -13 -7 1 14 29 43 57 67 75 81 84 85 76 65 50 35 20 8 3 1 -3 -10 -15 -16 -16 -17 -20 -23 -24 -25 -26 -30 -32 -32 -31 -31 -32 -33 -34 -33 -34 -36 -38 -39 -40 -41 -42 -43 -45 -45 -45 -46 -49 -52 -54 -53 -53 -53 -52 -51 -51 -50 -47 -46 -44 -43 -40 -38 -37 -34 -32 -29 -28 -27 -26 -24 -23 -23 -22 -21 -20 -20 -20 -21 -21 -20 -19 -18 -18 -17 -17 -16 -16 -16 -14 -12 -9 -6 -2 0 0 0 0 0 0 -1 -3 -5 -8 -10 -12 -13 -14 -14 -12 -12 -12 -13 -12 -11 -12 -13 -13 -14 -15 -15 -15 -15 -15 -16 -15 -15 -15 -12 -9 -7 -8 -9 -11 -12 -14 -14 -13 -11 -10 -9 -8 -10 -8 -3 6 18 31 44 58 67 76 84 91 94 88 78 60 44 27 15 9 8 4 0 -6 -9 -12 -13 -13 -14 -15 -15 -15 -16 -18 -19 -20 -20 -21 -21 -21 -22 -24 -24 -25 -26 -27 -27 -29 -31 -32 -33 -34 -35 -36 -36 -37 -37 -38 -38 -38 -38 -37 -36 -34 -33 -30 -28 -25 -24 -22 -20 -18 -15 -14 -12 -10 -8 -8 -7 -6 -5 -5 -3 -2 -2 -2 -1 -1 -1 0 0 0 0 1 2 3 4 6 9 11 13 14 15 15 15 14 11 7 3 2 1 0 -2 -2 -1 -2 -2 -2 -2 -2 -2 -1 -1 … ]} {[n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T n/a n/a n/a n/a n/a n/a n/a P P P P P P P P P P P P P P P P P P P P P P n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T n/a P P P P P P P P P P P P P P P P P P P P P P P P P P P P P P P P n/a n/a n/a n/a n/a n/a QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T n/a P P P P P P P P P P P P P P P P P P P P P P P P P P P P P P P P n/a n/a n/a n/a n/a n/a n/a QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS n/a n/a n/a T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS n/a n/a n/a n/a n/a n/a n/a T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T n/a n/a n/a n/a P P P P P P P P P P P P P P P P P P P P P n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a P P P P P P P P P P P P P P P P P P P P P n/a n/a n/a n/a … ]}
{[ -2 -1 -1 0 0 -1 -1 -1 -2 -3 -3 -4 -4 -4 -3 -2 -2 -2 -1 1 3 2 1 0 -3 -6 -8 -9 -8 -8 -7 -4 -4 -5 -3 4 14 27 42 60 74 86 96 106 115 116 110 92 73 52 37 27 22 17 10 4 0 -2 -3 -3 -5 -7 -7 -7 -7 -8 -9 -10 -10 -11 -12 -12 -13 -14 -15 -14 -14 -15 -17 -17 -19 -20 -22 -22 -24 -25 -26 -27 -27 -29 -30 -30 -30 -30 -30 -28 -27 -25 -24 -22 -21 -21 -20 -18 -16 -14 -11 -9 -8 -8 -7 -5 -4 -5 -6 -6 -7 -6 -5 -5 -5 -6 -6 -6 -6 -6 -6 -5 -4 -5 -5 -4 -4 -3 -2 0 2 5 7 9 10 9 8 7 6 3 0 -2 -4 -7 -9 -9 -10 -10 -9 -8 -8 -8 -8 -9 -9 -11 -13 -13 -14 -15 -16 -15 -14 -15 -14 -14 -12 -12 -10 -7 -5 -6 -8 -10 -13 -16 -17 -17 -15 -15 -14 -15 -16 -16 -12 -5 7 22 37 51 64 75 85 92 99 98 88 73 56 40 24 16 12 7 0 -6 -10 -13 -15 -16 -15 -15 -16 -18 -18 -20 -22 -23 -22 -21 -21 -23 -23 -24 -26 -26 -27 -27 -29 -30 -31 -34 -35 -37 -36 -38 -39 -40 -41 -40 -42 -41 -42 -41 -42 -42 -40 -38 -35 -34 -31 -30 -28 -26 -23 -19 -18 -15 -13 -11 -12 -13 -12 -11 -10 -10 -10 -9 -9 -9 -9 -9 -9 -9 -7 -6 -6 -6 -5 -5 -5 -4 -2 0 1 3 7 10 11 11 10 9 9 10 8 6 2 0 -2 -4 -6 -6 -4 -5 -5 -5 -4 -3 -4 -4 -5 -6 -7 -8 -8 -9 -9 -10 -8 -8 -8 -7 -5 -3 -2 -2 -3 -5 -7 -9 -10 -12 -13 -12 -9 -8 -9 -10 -8 -3 5 17 32 46 56 65 73 81 87 90 86 74 58 42 27 15 9 7 3 -2 -7 -10 -10 -11 -13 -14 -13 -14 -15 -15 -16 -16 -17 -18 -18 -19 -20 -21 -22 -22 -23 -24 -23 -25 -27 -29 -29 -29 -30 -30 -31 -31 -32 -33 -33 -33 -33 -34 -32 -31 -31 -31 -30 -28 -26 -24 -22 -18 -16 -15 -14 -13 -12 -10 -8 -7 -6 -6 -4 -4 -4 -4 -4 -3 -3 -3 -2 -2 -2 -1 -1 -1 -1 -1 0 1 2 3 6 9 12 14 15 15 14 14 13 12 9 6 3 1 0 -2 -2 -1 0 0 1 2 1 1 1 1 0 0 0 0 -1 -2 -2 -2 -2 -2 0 1 3 4 6 5 4 2 0 0 -1 -1 0 0 0 -1 -2 -2 0 8 18 30 42 54 64 74 81 88 93 94 88 75 59 42 28 22 20 19 12 8 5 3 1 0 0 -1 -2 -2 -2 -2 -4 -5 -5 -6 -8 -8 -7 -8 -8 -10 -11 -12 -13 -14 -15 -16 -17 -17 -18 -18 -19 -20 -21 -22 -24 -24 -23 -23 -23 -22 -21 -19 -19 -16 -14 -11 -9 -6 -4 -2 -1 0 1 2 3 3 5 4 4 4 4 4 4 4 4 5 4 5 5 5 4 5 7 8 9 10 12 15 18 21 22 22 20 21 20 19 16 13 10 8 5 4 4 4 5 6 6 5 4 6 7 7 6 6 5 3 3 3 3 2 2 3 3 4 7 10 10 8 7 5 2 1 1 3 3 3 3 3 2 4 11 23 35 51 65 81 92 101 110 118 120 110 95 75 55 40 32 28 22 15 8 5 4 2 2 1 0 -2 -3 -4 -5 -5 -6 -5 -6 -7 -8 -9 -10 -10 -11 -12 -14 -16 -17 -17 -19 -20 -21 -22 -24 -25 -25 -25 -25 -27 -26 -26 -26 -25 -23 -21 -20 -19 -18 -16 -14 -12 -9 -4 -2 -1 0 2 4 4 5 5 4 3 4 5 5 5 6 7 7 7 7 7 7 7 8 9 10 11 12 13 14 16 20 24 27 28 26 25 24 22 20 17 15 12 10 7 5 4 5 6 5 4 5 6 7 8 7 6 4 1 1 1 1 1 2 2 3 4 6 9 10 10 9 7 3 0 0 1 3 5 7 7 4 3 5 13 25 40 55 72 86 97 107 114 121 119 113 97 79 62 46 36 30 27 20 14 9 7 5 4 4 2 2 2 1 0 -1 -2 -4 -5 -5 -6 -7 -8 -9 -9 -10 -11 -11 -12 -13 -15 -17 -18 -18 -20 -21 -21 -21 -22 -23 -22 -22 -22 -22 -21 -20 -20 -18 -16 -14 -12 -9 -5 -1 0 1 3 4 5 6 8 9 9 10 11 11 11 11 12 12 12 12 13 14 13 13 14 15 15 16 18 19 20 22 26 29 31 32 33 33 32 31 29 25 20 17 17 17 16 14 14 15 15 14 15 15 15 15 15 15 14 13 13 12 11 10 12 13 14 14 15 17 18 21 21 21 19 17 15 14 12 13 15 15 15 13 12 14 21 31 45 60 73 87 98 110 117 125 127 121 108 89 72 54 44 40 38 32 25 20 18 16 15 13 13 12 11 10 10 9 7 6 5 5 5 5 5 3 1 0 0 -1 -2 -3 -4 -5 -6 -7 -8 -10 -11 -11 -12 -12 -12 -12 -12 -11 -10 -9 -7 -6 -4 -2 0 1 3 5 8 10 11 14 15 16 16 17 18 18 19 19 20 20 20 20 21 21 21 21 22 23 22 23 24 26 28 31 36 38 39 39 39 38 36 35 32 28 26 25 25 23 22 21 22 22 22 22 23 23 23 24 23 22 20 19 19 19 19 18 19 19 19 20 22 25 26 27 26 25 22 20 18 17 18 19 21 21 21 19 22 27 37 49 64 79 91 104 115 126 132 134 130 115 99 81 67 55 49 45 40 33 28 25 23 22 20 18 17 17 16 15 15 15 13 12 12 12 10 9 9 8 7 6 5 4 2 1 0 0 -1 -2 -2 -3 -4 -5 -6 -7 -8 -7 -6 -5 -5 -4 -2 0 0 2 4 6 8 10 12 14 15 17 18 19 20 20 21 21 21 20 20 20 20 21 22 22 22 22 23 24 24 24 26 29 31 34 38 39 38 37 37 36 33 30 27 25 23 22 21 19 17 17 19 20 19 19 19 19 17 16 15 14 13 11 12 12 12 12 12 13 13 15 17 20 20 19 17 14 12 9 10 11 12 13 15 14 13 14 21 32 44 58 71 85 95 106 114 120 122 115 102 83 66 51 42 37 34 28 21 17 14 12 11 10 8 7 6 4 3 2 1 0 0 0 -1 -2 -4 -5 -5 -6 -6 -8 -9 -10 -12 -14 -15 -15 -16 -18 -19 -20 -21 -21 -21 -22 -22 -21 -20 -18 -16 -14 -12 -10 -9 -7 -5 -2 0 1 3 3 3 4 5 6 7 6 6 7 7 7 7 8 9 9 8 8 8 8 10 11 12 12 15 17 20 21 22 23 22 22 20 19 15 11 9 7 6 4 3 3 3 3 3 4 3 2 3 3 3 2 1 0 -1 -1 0 0 -1 -2 -1 0 1 3 6 6 5 3 1 -1 -3 -4 -4 -2 -1 0 0 0 1 7 17 30 43 56 68 80 88 94 101 102 95 81 65 48 33 24 21 19 14 8 4 1 0 -2 -3 -5 -6 -7 -8 -8 -10 -11 -11 -12 -13 -14 -14 -15 -16 -17 -18 -19 -21 -22 -23 -24 -26 -26 -27 -29 -30 -31 -31 -32 -32 -33 -33 -33 -33 -32 -31 -29 -27 -24 -22 -20 -19 -16 -13 -11 -9 -7 -5 -5 -5 -4 -2 -2 -3 -2 -2 -3 -4 -3 -2 -2 -2 -1 0 0 0 0 1 1 2 5 9 12 13 13 13 12 10 9 6 3 0 -2 -2 -4 -5 -6 -7 -7 -7 -7 -6 -6 -6 -5 -4 -5 -6 -8 -8 -9 -9 -9 -8 -8 -9 -9 -9 -7 -5 -2 0 -1 -4 -7 -9 -11 -12 -11 -8 -6 -5 -5 -6 -4 -1 7 20 36 51 66 80 92 101 109 113 107 92 74 56 39 27 22 17 11 3 -1 -3 -4 -5 -7 -8 -9 -11 -11 -12 -12 -14 -14 -14 -15 -17 -18 -18 -19 -20 -21 -22 -22 -24 -25 -26 -27 -28 -30 -30 -31 -31 -32 -32 -32 -32 -33 -32 -31 -30 -29 -27 -25 -24 -21 -19 -16 -14 -12 -10 -8 -6 -5 -5 -4 … ]} {[n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a P P P P P P P P P P P P P P P P P P P P n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a P P P P P P P P P P P P P P P P P P P P P n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS n/a n/a n/a n/a n/a T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a P P P P P P P P P P P P P P P P P P P P n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a P P P P P P P P P P P P P P P P P P P P n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS n/a n/a n/a n/a n/a n/a n/a n/a n/a T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a P P P P P P P P P P P P P P P P P P P P P n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS … ]}
{[52 62 69 78 84 87 86 77 65 49 34 22 15 14 12 8 2 -1 -3 -4 -4 -4 -4 -4 -5 -6 -5 -4 -5 -7 -8 -8 -8 -8 -8 -8 -9 -10 -10 -10 -11 -12 -12 -13 -15 -16 -18 -18 -19 -19 -20 -21 -22 -22 -20 -19 -18 -18 -16 -14 -14 -12 -9 -6 -6 -6 -5 -1 0 0 1 1 1 0 1 2 3 4 5 4 3 3 4 4 5 5 5 5 6 5 6 6 6 6 7 10 11 14 17 19 18 16 15 17 18 18 15 11 7 4 4 4 3 1 2 3 4 4 5 6 7 6 5 5 5 5 4 3 2 1 1 1 1 1 1 3 5 6 7 7 6 3 1 -1 -2 -3 -3 0 0 -1 -3 -2 0 6 15 28 40 51 62 71 81 87 94 95 87 75 58 43 29 21 17 13 8 3 0 -1 -2 -4 -4 -5 -6 -7 -6 -5 -4 -4 -6 -7 -8 -9 -10 -9 -9 -10 -11 -12 -12 -14 -16 -18 -19 -21 -22 -22 -22 -23 -25 -26 -28 -28 -28 -27 -27 -27 -26 -26 -25 -24 -22 -21 -20 -18 -14 -13 -12 -12 -11 -9 -7 -6 -5 -5 -6 -7 -6 -5 -5 -6 -6 -6 -6 -6 -7 -7 -8 -8 -7 -8 -8 -7 -5 -3 -3 -3 -1 1 3 3 4 4 3 1 0 -2 -6 -9 -10 -11 -12 -13 -14 -15 -16 -16 -16 -15 -16 -16 -16 -15 -17 -19 -19 -19 -19 -20 -18 -18 -18 -19 -19 -19 -19 -17 -16 -16 -17 -18 -20 -24 -27 -30 -29 -28 -27 -27 -27 -27 -27 -23 -16 -5 7 22 39 54 63 73 81 90 88 77 60 39 20 6 0 -1 -6 -12 -18 -22 -25 -26 -26 -28 -29 -30 -29 -29 -31 -33 -34 -34 -35 -34 -34 -35 -36 -38 -40 -43 -45 -45 -44 -44 -46 -48 -49 -49 -50 -51 -53 -55 -55 -56 -55 -55 -54 -53 -51 -50 -49 -48 -47 -44 -43 -40 -37 -34 -34 -33 -31 -31 -29 -29 -27 -28 -29 -29 -28 -27 -27 -26 -26 -25 -25 -25 -25 -26 -27 -27 -26 -26 -25 -23 -21 -21 -19 -17 -14 -13 -13 -12 -12 -12 -11 -11 -13 -17 -21 -23 -25 -26 -27 -29 -30 -30 -29 -28 -28 -27 -26 -25 -24 -26 -27 -27 -26 -27 -28 -28 -28 -28 -28 -27 -27 -26 -25 -23 -21 -22 -24 -26 -27 -30 -32 -32 -30 -28 -27 -27 -27 -26 -22 -13 -1 12 28 44 59 72 81 90 95 91 80 62 45 26 12 4 0 -3 -10 -16 -20 -23 -25 -25 -25 -25 -27 -27 -28 -28 -28 -28 -29 -30 -31 -32 -31 -32 -33 -34 -34 -36 -38 -38 -39 -39 -41 -42 -43 -43 -43 -45 -44 -46 -46 -46 -45 -45 -45 -43 -43 -40 -39 -36 -34 -32 -29 -27 -23 -21 -19 -19 -17 -15 -15 -14 -13 -12 -13 -13 -12 -11 -10 -9 -8 -7 -8 -9 -8 -7 -7 -8 -6 -5 -4 -3 -2 0 1 4 7 9 9 10 11 11 10 7 4 1 -1 -2 -3 -5 -5 -5 -5 -3 -3 -3 -3 -2 -1 0 0 -1 -3 -5 -6 -6 -6 -5 -4 -3 -3 -4 -3 0 3 4 2 0 -3 -4 -5 -4 -5 -4 -2 -1 -2 -2 0 6 15 28 43 58 71 82 94 103 110 111 106 93 76 60 44 32 26 23 18 12 8 7 7 5 4 4 5 4 3 2 2 2 1 0 0 -1 -1 -2 -2 -3 -4 -4 -4 -5 -7 -8 -8 -9 -10 -11 -11 -12 -13 -14 -14 -14 -15 -14 -13 -12 -12 -11 -8 -6 -4 -1 2 4 6 8 10 12 14 14 15 16 16 17 18 18 18 19 20 21 21 21 22 22 22 22 22 23 24 25 26 27 27 28 31 34 37 38 40 39 40 40 39 36 31 28 26 26 24 23 22 22 22 24 25 25 25 25 27 26 25 24 23 22 20 20 21 22 21 22 24 25 27 28 30 30 29 27 25 23 21 21 21 23 23 24 22 22 23 30 41 54 68 81 93 104 113 121 127 129 121 108 92 74 58 48 46 43 39 32 29 26 24 23 23 23 21 20 19 18 18 17 18 17 16 15 15 14 13 13 12 11 10 9 10 11 10 8 7 7 7 7 7 6 4 3 3 4 4 5 6 8 9 10 13 16 18 20 22 24 24 25 27 29 30 30 30 31 30 31 32 32 32 31 33 35 35 33 33 34 35 37 37 38 37 38 41 43 46 46 47 47 46 45 45 43 38 35 33 33 31 30 29 30 30 30 31 32 32 32 33 33 32 30 29 29 29 29 29 29 28 28 28 29 30 31 33 34 33 31 29 27 25 25 27 28 29 29 28 27 29 34 44 56 68 80 89 100 107 116 121 123 117 105 91 74 60 52 51 47 42 36 34 33 32 32 30 29 27 25 25 24 22 21 22 22 22 20 20 20 19 19 19 19 18 17 15 14 12 10 10 10 9 7 7 7 6 5 7 8 8 8 9 10 12 13 15 17 19 21 23 26 28 29 30 31 30 31 31 32 32 33 33 33 34 33 34 34 34 34 34 36 36 36 36 37 37 39 41 43 46 45 46 46 47 47 45 43 39 36 34 34 32 30 29 29 30 30 30 30 31 32 33 33 33 32 30 29 28 29 29 29 28 27 27 28 29 30 31 31 30 29 27 26 24 23 23 25 26 27 27 26 28 32 40 51 63 75 84 97 104 112 115 115 108 95 81 64 51 43 42 41 36 31 26 25 23 22 19 18 17 14 15 15 14 13 12 11 9 8 7 7 6 5 5 5 5 3 2 1 0 0 -1 -2 -3 -3 -3 -4 -4 -5 -6 -6 -6 -7 -5 -2 0 0 2 5 7 8 10 12 13 13 13 15 15 16 16 17 18 18 20 21 20 18 19 20 19 18 17 18 18 19 20 21 23 24 26 28 29 30 31 33 32 29 26 22 19 17 17 15 13 12 13 13 13 13 13 14 14 14 13 13 12 12 12 12 11 10 9 9 8 8 10 12 13 14 14 13 10 7 5 4 4 4 6 6 4 2 2 6 13 23 35 48 58 69 79 89 95 101 100 90 76 58 43 30 22 19 16 12 6 3 2 0 0 -1 -2 -4 -5 -6 -7 -8 -9 -10 -11 -11 -12 -14 -14 -15 -16 -18 -17 -17 -18 -20 -21 -22 -23 -24 -25 -25 -26 -27 -28 -28 -29 -29 -27 -26 -25 -24 -23 -21 -19 -18 -17 -15 -14 -12 -10 -8 -6 -5 -4 -3 -3 -2 -1 -1 -1 -1 0 1 1 1 0 0 0 -1 0 1 2 2 2 3 5 6 9 11 11 10 10 12 12 11 8 5 3 1 1 0 -1 -2 -1 0 -1 -2 -1 0 1 1 1 1 0 -1 -2 -2 -3 -3 -3 -3 -3 -3 -1 1 3 4 3 2 0 -3 -6 -7 -7 -7 -7 -6 -6 -6 -2 2 10 20 32 45 55 67 76 86 94 97 95 81 65 46 30 20 15 12 7 1 -2 -4 -5 -6 -8 -9 -8 -9 -10 -11 -11 -11 -13 -13 -14 -14 -15 -17 -17 -17 -18 -18 -19 -19 -20 -21 -22 -24 -25 -26 -26 -27 -29 -29 -29 -29 -28 -29 -28 -27 -27 -26 -24 -21 -20 -18 -16 -14 -13 -12 -10 -8 -7 -6 -4 -4 -4 -2 0 0 0 0 1 1 0 0 0 0 0 1 2 1 1 2 3 4 5 6 9 11 13 14 15 15 15 15 14 10 7 4 4 3 2 1 1 3 3 3 3 3 3 5 6 6 5 5 4 2 1 1 2 3 3 3 3 4 4 6 8 9 7 7 6 4 2 0 0 0 0 1 1 1 3 9 19 31 43 56 69 81 92 102 113 112 105 88 69 50 35 28 24 20 14 9 6 4 2 1 1 0 -1 -2 -3 -4 -4 -4 -5 -6 -7 -8 -7 -7 -8 -9 -9 -10 -12 -12 -13 -14 -15 -16 -18 -19 -20 -20 -19 -20 -20 -20 -20 -20 -21 -19 -18 -16 -15 -12 -9 -8 -7 -5 -3 -1 0 1 3 4 4 4 5 5 5 6 6 7 … ]} {[QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a P P P P P P P P P P P P P P P P P P P P n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a P P P P P P P P P P P P P P P P P P P P P P P n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS n/a n/a n/a n/a n/a n/a n/a n/a n/a T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T n/a n/a n/a n/a n/a n/a n/a n/a n/a P P P P P P P P P P P P P P P P P P P P P P P n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS n/a n/a n/a n/a n/a T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T n/a n/a n/a n/a n/a n/a n/a n/a P P P P P P P P P P P P P P P P P P P P P n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS n/a n/a n/a n/a n/a T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T n/a n/a n/a n/a n/a n/a n/a n/a P P P P P P P P P P P P P P P P P P P P P n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a T T T T T T T T T T … ]}
{[ 7 7 7 7 8 8 8 8 8 8 9 9 9 9 9 10 11 12 13 14 15 16 18 22 26 27 26 25 25 23 21 18 15 12 11 10 8 6 5 6 7 8 9 10 10 10 10 10 9 8 6 5 5 5 6 7 8 8 7 8 11 14 15 15 13 11 7 6 6 8 9 11 12 11 10 12 20 29 42 57 72 86 96 107 113 119 115 106 91 72 57 44 36 30 25 18 12 7 5 5 4 2 0 0 0 -1 -2 -3 -3 -3 -4 -4 -5 -7 -9 -10 -10 -11 -12 -13 -14 -16 -18 -19 -20 -21 -23 -23 -24 -25 -25 -26 -26 -26 -25 -24 -22 -21 -20 -18 -16 -14 -12 -9 -8 -7 -5 -2 -1 0 1 2 2 1 2 2 2 2 3 4 3 4 4 5 4 4 4 5 6 6 7 8 9 10 14 18 20 21 21 21 20 18 16 12 7 4 3 3 1 -1 -2 -3 -3 -2 0 0 0 0 0 0 0 -1 -2 -2 -3 -4 -3 -2 -2 -1 0 1 2 4 5 4 3 0 -3 -5 -4 -3 -1 1 0 0 0 2 7 16 30 45 58 70 80 90 97 102 102 94 81 63 47 32 22 18 15 9 1 -3 -5 -7 -8 -9 -9 -10 -11 -11 -11 -11 -12 -13 -12 -13 -14 -17 -17 -18 -19 -19 -20 -20 -21 -23 -24 -25 -27 -28 -28 -28 -28 -29 -30 -31 -31 -32 -31 -31 -31 -28 -26 -24 -23 -22 -20 -17 -15 -13 -11 -9 -8 -7 -5 -3 -3 -2 -2 -1 -1 -1 -1 0 0 -1 0 0 1 1 2 2 1 0 1 1 3 4 6 8 9 12 15 17 18 17 17 16 13 10 8 4 3 2 2 1 0 -1 -1 0 1 2 3 5 4 3 2 1 1 0 0 0 0 0 0 0 0 1 2 4 7 7 5 4 2 0 -2 -3 -3 -2 -1 0 -1 -3 -2 4 13 24 36 51 63 73 82 90 98 101 97 86 69 52 36 26 21 18 15 10 4 1 0 -1 -2 -2 -2 -3 -3 -4 -5 -5 -5 -6 -6 -7 -7 -8 -9 -9 -10 -11 -11 -11 -12 -13 -14 -15 -16 -17 -18 -19 -20 -21 -20 -19 -19 -19 -19 -17 -16 -15 -14 -12 -9 -8 -5 -4 -2 -2 0 3 5 6 7 7 8 8 8 8 8 7 8 9 9 9 9 10 10 10 11 11 11 11 11 12 14 14 15 17 19 20 22 24 25 24 24 23 22 19 15 13 10 10 9 9 7 8 9 10 10 9 10 11 11 10 11 11 10 9 9 9 8 8 9 10 10 10 12 14 16 16 15 14 11 7 5 4 4 4 5 7 6 6 7 13 22 32 46 61 74 86 96 108 114 116 110 96 78 61 49 40 35 30 25 19 13 10 8 7 6 6 6 6 5 4 4 4 3 3 3 3 2 1 0 0 -1 -2 -2 -3 -3 -5 -5 -6 -7 -9 -10 -10 -11 -12 -13 -13 -13 -13 -12 -12 -11 -10 -8 -5 -3 -2 -1 0 2 4 7 10 12 13 14 14 13 13 12 12 12 12 12 11 11 11 10 11 11 10 9 9 8 7 8 10 12 13 15 17 20 22 24 24 22 21 20 20 17 13 9 8 8 6 4 2 0 1 4 6 6 4 2 2 2 2 2 1 1 1 0 0 0 0 0 0 1 1 4 7 8 7 5 2 0 -4 -4 -3 -2 -1 0 1 0 0 5 16 28 43 58 74 87 99 109 117 121 115 103 83 66 50 39 34 28 21 13 8 6 3 2 1 0 -1 -2 -2 -2 -3 -4 -4 -5 -6 -7 -7 -7 -7 -8 -9 -10 -12 -13 -13 -15 -16 -17 -17 -18 -19 -20 -22 -23 -24 -25 -26 -26 -26 -25 -24 -22 -21 -20 -18 -15 -13 -11 -7 -5 -4 -2 -1 0 1 1 1 2 2 3 3 4 3 3 5 4 4 3 4 4 4 4 3 3 3 3 4 6 7 7 9 13 16 17 17 17 17 17 16 14 10 5 0 -1 -1 -3 -5 -6 -6 -6 -7 -5 -5 -5 -6 -4 -3 -4 -7 -8 -9 -10 -9 -8 -8 -9 -9 -10 -10 -9 -7 -4 -2 -2 -4 -7 -10 -14 -16 -16 -14 -13 -12 -12 -13 -11 -5 5 19 36 53 72 87 102 111 121 123 112 95 72 52 34 24 20 14 6 -2 -7 -9 -10 -10 -11 -13 -15 -16 -16 -17 -18 -18 -18 -18 -19 -20 -21 -22 -23 -24 -25 -26 -28 -29 -29 -30 -31 -34 -36 -37 -38 -38 -39 -39 -41 -42 -44 -44 -43 -42 -40 -38 -38 -36 -32 -29 -27 -24 -21 -20 -19 -17 -15 -12 -12 -10 -9 -9 -9 -9 -8 -8 -9 -8 -7 -7 -7 -7 -6 -7 -9 -9 -8 -7 -7 -5 -3 -2 -1 0 3 6 9 12 13 12 11 11 10 6 1 -3 -5 -7 -9 -10 -11 -12 -12 -11 -10 -10 -9 -8 -7 -8 -9 -9 -9 -10 -11 -11 -10 -10 -11 -10 -9 -9 -8 -5 -3 -3 -5 -6 -9 -12 -13 -14 -13 -12 -10 -8 -7 -7 -3 6 19 31 47 63 77 89 99 109 112 112 101 85 66 46 32 24 20 14 8 1 -2 -5 -6 -6 -7 -8 -8 -8 -8 -10 -11 -11 -11 -12 -13 -13 -14 -15 -15 -15 -16 -17 -18 -18 -19 -20 -20 -20 -22 -24 -26 -25 -26 -26 -26 -26 -27 -27 -26 -25 -23 -22 -19 -17 -15 -14 -12 -10 -8 -6 -4 -2 -1 0 0 1 2 2 3 4 4 3 3 4 4 5 5 6 6 6 6 6 6 6 7 8 9 9 10 13 15 17 20 23 25 24 23 23 22 20 17 13 10 8 8 7 4 2 2 3 4 5 5 5 5 5 6 6 4 3 3 3 3 3 3 3 3 4 4 6 8 10 11 9 6 2 0 -1 -2 -1 0 1 2 0 0 2 10 19 31 46 60 72 82 92 99 102 103 93 80 64 48 34 26 23 20 14 8 4 3 2 1 0 0 0 -1 -2 -2 -2 -2 -3 -3 -3 -3 -4 -5 -5 -5 -6 -6 -7 -8 -9 -10 -11 -12 -13 -14 -15 -16 -17 -16 -16 -16 -17 -17 -16 -16 -14 -12 -10 -9 -7 -4 -2 0 1 3 5 7 8 9 11 12 12 13 13 13 13 13 13 12 12 13 13 13 13 13 14 14 14 14 15 15 16 18 20 21 23 26 29 30 31 31 30 29 26 23 18 14 13 12 12 9 8 8 9 10 11 11 10 10 10 11 11 10 9 8 8 7 6 7 7 7 8 10 11 12 13 14 12 10 8 6 4 4 4 5 6 5 4 6 10 17 29 43 56 69 79 90 97 102 106 106 99 85 69 51 38 30 27 25 18 12 8 7 7 5 5 5 5 4 4 4 3 2 2 2 1 0 0 0 0 -1 -1 -2 -4 -5 -5 -6 -7 -9 -9 -10 -11 -13 -13 -13 -14 -15 -15 -15 -15 -14 -13 -11 -9 -7 -5 -4 -2 0 2 4 5 6 8 10 10 10 11 11 11 10 11 12 12 12 12 13 12 11 12 13 13 13 14 15 16 16 17 18 19 23 26 29 29 29 29 29 27 24 21 17 14 11 10 9 7 7 7 9 9 9 10 11 10 9 9 9 8 7 7 7 6 6 5 6 6 6 8 10 12 13 12 11 8 5 2 1 0 0 2 3 3 2 4 8 15 26 41 57 71 84 96 107 115 119 116 104 85 66 49 38 31 28 23 16 10 6 5 4 2 2 2 2 1 0 0 -1 -2 -3 -2 -2 -2 -3 -3 -5 -6 -7 -8 -8 -10 -11 -12 -13 -13 -15 -16 -18 -19 -20 -19 -19 -18 -18 -18 -17 -16 -15 -13 -11 -9 -7 -4 -1 1 2 4 7 8 10 12 13 13 13 14 14 14 14 15 15 14 13 13 14 15 15 15 16 16 16 16 18 18 19 20 22 24 26 28 30 31 31 31 31 30 28 24 21 18 17 15 14 12 11 13 15 16 15 15 16 16 15 15 15 14 13 11 12 12 12 12 13 13 13 13 15 18 19 18 17 15 12 10 9 8 8 8 8 8 7 7 13 21 30 43 57 71 81 91 102 108 113 109 99 84 67 52 40 35 30 26 20 14 11 9 10 9 8 7 7 6 5 5 4 4 3 3 3 2 1 1 1 0 0 -1 -1 -2 -4 -4 -4 -5 -7 -8 -8 -9 -10 -11 -11 -11 -12 -11 -9 -7 -7 -5 -3 -2 -1 1 4 5 7 10 12 12 13 14 16 16 15 15 16 16 16 17 … ]} {[T n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a P P P P P P P P P P P P P P P P P P P P n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS n/a n/a n/a n/a n/a n/a n/a T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a P P P P P P P P P P P P P P P P P P P P P n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS n/a T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a P P P P P P P P P P P P P P P P P P P P n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS n/a n/a n/a n/a n/a n/a n/a T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a P P P P P P P P P P P P P P P P P P P P n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS n/a n/a n/a n/a n/a n/a n/a T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a P P P P P P P P P P P P P P P P P P P P P n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a P P P P P P P P P P P P P P P P P P P P P n/a n/a … ]}
신경망을 훈련시킬지 또는 사전 훈련된 신경망을 다운로드할지 선택하기
이 예제의 다음 섹션에서는 LSTM 신경망을 훈련시키는 세 가지의 접근 방법을 비교합니다. 데이터셋의 크기가 크기 때문에 각 신경망의 훈련 과정은 시간이 몇 분 정도 걸릴 수 있습니다. 시스템에 GPU와 Parallel Computing Toolbox™가 있는 경우 MATLAB은 자동으로 빠른 훈련을 위해 GPU를 사용합니다. GPU가 없으면 CPU를 사용합니다.
훈련 단계를 건너뛰고 아래의 선택기를 사용하여 사전 훈련된 신경망을 다운로드할 수 있습니다. 예제가 실행되는 동안 신경망을 훈련시키려면 'Train Networks'을 선택하십시오. 훈련 단계를 건너뛰려면 'Download Networks'를 선택하십시오. 이렇게 하면 세 개의 사전 훈련된 신경망(rawNet, filteredNet, fsstNet-) 모두를 포함하는 파일이 임시 디렉터리로 다운로드됩니다. 임시 디렉터리의 위치는 MATLAB®의 tempdir 명령으로 지정됩니다. tempdir이 아닌 폴더에 다운로드된 파일을 저장하려는 경우 이후 지침에서 디렉터리 이름을 이에 맞게 변경하십시오.
actionFlag ="Train networks"; if actionFlag == "Download networks" % Download the pre-trained networks dataURL = 'https://ssd.mathworks.com/supportfiles/SPT/data/QTDatabaseECGSegmentationNetworks.zip'; %#ok<*UNRCH> modelsFolder = fullfile(tempdir,'QTDatabaseECGSegmentationNetworks'); modelsFile = fullfile(modelsFolder,'trainedNetworks.mat'); zipFile = fullfile(tempdir,'QTDatabaseECGSegmentationNetworks.zip'); if ~exist(modelsFolder,'dir') websave(zipFile,dataURL); unzip(zipFile,fullfile(tempdir,'QTDatabaseECGSegmentationNetworks')); end load(modelsFile) end
신경망은 임의의 초기 가중치를 사용하여 훈련되므로 다운로드된 신경망과 새로 훈련시킨 신경망은 결과가 약간 다를 수 있습니다.
LSTM 신경망에 직접 원시 심전도 신호 입력하기
우선, 훈련 데이터셋의 원시 심전도 신호를 사용하여 LSTM 신경망을 훈련시킵니다.
훈련에 앞서 신경망 아키텍처를 정의합니다. 1차원 시계열을 받을 수 있도록 sequenceInputLayer의 크기를 1로 지정하십시오. 신호의 각 샘플에 대해 분류하기 위해 'sequence' 출력 모드를 사용해 LSTM 계층을 지정합니다. 최적의 성능을 위해 200개의 숨겨진 노드를 사용합니다. 각각의 파형 클래스에 하나씩 할당할 수 있도록 fullyConnectedLayer의 출력 크기를 4로 지정합니다. softmaxLayer 및 classificationLayer를 추가하여 추정된 레이블을 출력합니다.
layers = [ ... sequenceInputLayer(1) lstmLayer(200,'OutputMode','sequence') fullyConnectedLayer(4) softmaxLayer classificationLayer];
우수한 신경망 성능을 보장할 수 있도록 훈련 과정에 대한 옵션을 선택합니다. 각 파라미터에 대한 설명은 trainingOptions (Deep Learning Toolbox) 문서를 참조하십시오.
options = trainingOptions('adam', ... 'MaxEpochs',10, ... 'MiniBatchSize',50, ... 'InitialLearnRate',0.01, ... 'LearnRateDropPeriod',3, ... 'LearnRateSchedule','piecewise', ... 'GradientThreshold',1, ... 'Plots','training-progress',... 'shuffle','every-epoch',... 'Verbose',0,... 'DispatchInBackground',true);
전체 훈련 데이터셋이 다 메모리에 담기므로 Parallel Computing Toolbox™가 있다면 데이터저장소의 tall 함수를 사용하여 데이터를 병렬로 변환한 다음 이를 작업 공간으로 불러모을 수 있습니다. 신경망 훈련은 반복적인 작업입니다. 매회 반복에서 데이터저장소가 파일에서 데이터를 읽어 들이고 데이터를 변환한 후에 신경망 계수를 업데이트합니다. 데이터가 컴퓨터의 메모리에 다 담긴다면 데이터를 작업 공간으로 가져오는 편이 데이터를 한 번만 읽고 변환하게 되므로 훈련 속도가 더 빠릅니다. 데이터가 메모리에 담기지 않는다면 데이터저장소를 훈련 함수에 전달해야 하며, 변환은 매 훈련 Epoch마다 수행됩니다.
훈련 세트와 테스트 세트를 위한 tall형 배열을 만듭니다. MATLAB이 만드는 병렬 풀의 워커 개수는 시스템에 따라 달라질 수 있습니다.
tallTrainSet = tall(trainDs);
Starting parallel pool (parpool) using the 'Processes' profile ... Connected to the parallel pool (number of workers: 8).
tallTestSet = tall(testDs);
이제 tall형 배열의 gather 함수를 호출하여 전체 데이터셋에 대해 변환을 계산하고 훈련 및 테스트 신호와 레이블이 지정된 셀형 배열을 얻습니다.
trainData = gather(tallTrainSet);
Evaluating tall expression using the Parallel Pool 'Processes': - Pass 1 of 1: Completed in 10 sec Evaluation completed in 11 sec
trainData(1,:)
ans=1×2 cell array
{[0 0 0 0 0 0 1 1 1 1 1 1 0 1 2 1 1 2 2 2 3 4 6 8 11 15 18 18 17 17 17 16 14 12 8 4 2 1 0 -1 -2 -1 0 0 0 1 2 2 2 2 1 0 -1 -1 -2 -3 -3 -2 -2 -2 -1 0 4 5 5 3 2 0 -1 -1 0 2 3 5 5 3 4 8 15 25 36 50 63 73 83 90 97 99 98 88 74 58 42 30 22 19 15 10 5 1 -1 -2 -2 -3 -4 -5 -6 -7 -9 -9 -10 -12 -13 -13 -12 -13 -14 -15 -15 -16 -18 -19 -20 -21 -22 -21 -22 -23 -24 -25 -25 -26 -27 -28 -29 -29 -28 -26 -25 -24 -23 -21 -19 -18 -16 -14 -12 -11 -9 -7 -6 -5 -5 -3 -3 -3 -3 -2 -2 -2 -2 -1 -1 -2 -2 -1 -1 -1 -1 0 0 0 -1 0 1 2 3 5 7 8 11 13 13 13 12 11 9 6 2 0 -2 -3 -5 -7 -8 -8 -7 -5 -4 -5 -4 -3 -4 -4 -5 -5 -6 -8 -9 -9 -8 -9 -9 -8 -6 -6 -4 -2 -3 -4 -5 -6 -7 -8 -8 -7 -6 -5 -6 -8 -7 -5 2 12 24 36 48 58 66 72 78 83 82 75 61 46 30 18 11 9 6 0 -4 -8 -9 -11 -12 -12 -13 -13 -14 -14 -15 -17 -17 -17 -17 -18 -18 -18 -19 -21 -22 -23 -23 -25 -25 -26 -26 -27 -28 -29 -30 -31 -32 -32 -33 -33 -34 -34 -34 -34 -32 -31 -30 -29 -27 -25 -23 -22 -19 -17 -15 -15 -14 -12 -11 -11 -9 -8 -8 -8 -8 -9 -9 -8 -8 -8 -8 -9 -8 -7 -7 -8 -8 -7 -7 -7 -6 -5 -3 -3 -1 2 4 5 6 7 6 5 4 2 -2 -5 -7 -7 -8 -10 -10 -10 -10 -9 -9 -7 -7 -6 -5 -5 -6 -8 -10 -11 -12 -12 -11 -11 -11 -10 -9 -7 -6 -5 -6 -7 -9 -11 -13 -14 -14 -14 -12 -11 -10 -11 -10 -6 0 10 22 35 47 58 68 76 80 83 78 67 51 36 22 12 6 3 -1 -6 -10 -12 -13 -14 -16 -17 -17 -17 -18 -18 -18 -19 -20 -20 -20 -20 -20 -19 -19 -20 -21 -22 -23 -25 -26 -26 -26 -26 -27 -27 -28 -28 -29 -28 -29 -28 -28 -29 -28 -27 -25 -25 -23 -22 -21 -19 -17 -15 -14 -12 -10 -9 -8 -7 -6 -5 -5 -5 -5 -5 -5 -5 -4 -4 -4 -3 -3 -3 -4 -3 -3 -3 -3 -4 -3 -4 -4 -2 -1 0 2 4 8 10 10 10 10 9 8 6 4 0 -3 -5 -5 -7 -9 -9 -8 -7 -8 -8 -7 -7 -7 -6 -6 -6 -7 -9 -9 -10 -11 -11 -11 -10 -10 -9 -7 -5 -3 -4 -5 -7 -9 -10 -11 -9 -8 -6 -4 -3 -4 -6 -5 0 6 16 27 40 51 60 68 75 82 81 77 66 52 39 27 17 10 6 2 -2 -6 -10 -12 -13 -14 -15 -16 -15 -16 -16 -17 -17 -17 -18 -18 -18 -17 -17 -16 -17 -17 -18 -19 -19 -20 -20 -21 -22 -23 -24 -25 -26 -26 -26 -26 -27 -26 -26 -26 -25 -24 -23 -22 -21 -19 -18 -16 -14 -11 -9 -8 -7 -5 -4 -4 -3 -2 -1 -1 -1 -1 -1 -2 -1 -1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 3 4 5 7 10 14 16 17 15 14 13 12 11 8 5 1 0 0 -2 -4 -4 -3 -3 -2 -1 0 0 0 -1 -2 -3 -5 -5 -5 -6 -6 -5 -5 -5 -4 -2 0 1 2 1 0 -3 -5 -5 -5 -4 -2 0 0 -1 -1 1 7 14 26 39 53 63 73 81 87 90 87 80 65 51 38 26 18 12 8 3 -2 -6 -8 -9 -10 -11 -12 -12 -12 -14 -13 -12 -12 -13 -13 -14 -15 -16 -17 -16 -17 -18 -18 -17 -18 -20 -21 -22 -22 -24 -24 -24 -24 -24 -24 -23 -24 -24 -24 -23 -22 -21 -19 -16 -14 -13 -11 -9 -7 -5 -3 0 0 1 2 3 4 4 4 6 6 6 6 7 8 7 7 7 7 6 6 8 8 8 8 9 9 9 10 11 12 12 14 15 17 19 22 25 27 27 27 27 25 22 19 15 13 11 11 10 9 8 7 8 8 8 9 9 10 10 9 9 7 5 5 6 6 5 5 5 6 6 9 12 13 11 9 6 4 1 1 4 6 7 9 9 8 9 14 23 34 48 62 77 86 96 103 109 110 103 92 76 61 45 34 29 25 19 11 6 2 0 0 -1 -3 -5 -6 -6 -6 -7 -7 -7 -7 -8 -8 -8 -9 -10 -11 -11 -11 -12 -14 -15 -15 -16 -17 -17 -18 -19 -20 -21 -21 -22 -22 -21 -21 -20 -19 -18 -16 -15 -13 -11 -9 -7 -4 -1 1 2 4 5 6 7 8 9 9 9 9 9 9 9 8 9 10 10 11 12 12 11 11 11 11 10 11 11 12 13 14 15 15 15 17 20 24 28 29 30 29 28 28 27 24 20 16 14 13 12 11 10 9 8 9 9 9 9 10 11 11 10 9 8 7 7 6 6 6 6 7 7 8 10 12 13 11 8 5 3 1 0 2 5 6 6 5 4 6 12 22 35 50 62 77 88 97 103 108 110 104 94 78 62 45 34 29 26 21 14 9 5 3 1 0 -1 -2 -3 -4 -4 -5 -6 -6 -5 -6 -8 -8 -8 -8 -9 -10 -10 -12 -13 -14 -15 -15 -16 -17 -17 -19 -21 -22 -22 -23 -24 -24 -23 -24 -24 -22 -20 -19 -17 -14 -12 -10 -9 -7 -5 -4 -3 -1 1 3 4 5 7 7 7 8 8 8 7 7 8 7 7 7 7 5 5 5 5 5 5 6 7 7 7 7 8 9 10 11 13 16 18 20 21 20 20 19 18 15 12 9 7 6 4 3 2 2 2 2 3 2 1 2 3 4 3 3 2 1 0 0 -1 -1 -2 -2 -1 0 1 2 2 0 -3 -5 -8 -9 -9 -8 -6 -5 -6 -6 -5 -1 7 20 35 49 62 74 84 92 99 105 103 94 77 58 39 25 19 16 12 6 0 -3 -6 -9 -11 -12 -12 -14 -14 -14 -14 -15 -15 -16 -17 -17 -18 -17 -17 -18 -18 -19 -20 -22 -23 -23 -24 -26 -27 -28 -29 -30 -31 -30 -31 -31 -33 -33 -33 -32 -30 -30 -28 -27 -25 -22 -20 -18 -16 -13 -10 -8 -6 -4 -2 -2 -2 -1 0 -1 0 0 0 0 0 1 0 0 0 1 1 1 0 1 2 2 2 3 3 3 4 5 6 7 9 13 16 19 19 19 18 18 17 16 13 9 6 4 3 1 0 -2 -2 -2 -1 0 0 1 1 1 1 0 0 0 -2 -3 -3 -2 -3 -3 -4 -2 -1 0 1 1 0 -2 -5 -6 -9 -9 -7 -5 -3 -1 -1 0 2 8 18 32 46 59 71 83 94 101 107 106 98 83 65 49 35 27 23 21 15 7 2 0 0 -2 -4 -4 -6 -7 -8 -8 -9 -9 -9 -8 -9 -9 -10 -9 -10 -11 -11 -11 -12 -13 -14 -15 -16 -18 -18 -19 -20 -21 -22 -23 -24 -24 -24 -24 -24 -24 -23 -21 -19 -17 -16 -14 -11 -9 -7 -5 -2 -1 1 2 2 2 3 4 4 4 4 4 4 4 5 5 4 3 4 5 5 4 4 4 4 5 5 7 6 6 6 7 8 9 12 15 19 20 21 19 18 18 18 16 12 8 5 4 4 2 1 0 0 0 1 3 3 3 4 4 4 3 2 1 1 0 0 1 1 0 1 1 2 3 3 3 1 0 -1 -3 -5 -5 -3 -1 0 0 0 1 4 10 21 34 47 60 71 82 89 97 100 100 93 80 66 47 34 26 23 19 13 7 3 1 -1 -2 -3 -4 -6 -7 -6 -6 -6 -6 -6 -6 -7 -8 -9 -9 -9 -10 -10 -11 -12 -14 -15 -16 -17 -18 -19 -19 -21 -21 -22 -23 -24 -25 -25 -24 -23 -23 -21 -20 -19 -18 -16 -12 -10 -7 -5 -4 -3 -2 -1 0 1 1 2 2 2 1 1 1 0 0 1 1 0 0 1 1 1 1 2 3 4 3 3 3 3 4 5 7 7 8 11 13 15 16 16 16 15 14 12 10 7 4 3 2 0 0 0 1 0 0 0 1 1 2 3 3 1 0 0 -1 -2 -3 -2 -2 -1 -1 0 0 1 2 2 1 -1 -4 -6 -7 -7 -6 -5 -4 -4 -5 -3 0 5 14 27 42 56 67 79 87 96 101 105 101 87 71 53 39 29 24 22 16 10 5 2 1 0 -1 -2 -3 … ]} {[n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a P P P P P P P P P P P P P P P P P P P P P n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS n/a n/a n/a n/a n/a n/a n/a n/a T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a P P P P P P P P P P P P P P P P P P P n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a P P P P P P P P P P P P P P P P P P P P n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a P P P P P P P P P P P P P P P P P P P P n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a n/a QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS QRS n/a n/a n/a n/a n/a n/a n/a n/a T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T T n/a n/a n/a n/a n/a n/a n/a n/a … ]}
testData = gather(tallTestSet);
Evaluating tall expression using the Parallel Pool 'Processes': - Pass 1 of 1: Completed in 2.9 sec Evaluation completed in 3 sec
신경망 훈련시키기
trainNetwork 명령을 사용하여 LSTM 신경망을 훈련시킵니다.
if actionFlag == "Train networks" rawNet = trainNetwork(trainData(:,1),trainData(:,2),layers,options); end
아래 Figure의 훈련 정확도 및 손실 서브플롯은 모든 반복 과정에 걸쳐 훈련 진행 상황을 추적합니다. 신경망은 원시 신호 데이터를 사용하여 약 77%의 샘플에 대해 P파, QRS 복합파, T파 또는 레이블이 지정되지 않은 영역 "n/a"인지 여부를 올바르게 분류합니다.
테스트 데이터 분류하기
훈련된 LSTM 신경망 및 classify 명령을 사용하여 테스트 데이터를 분류합니다. 훈련 옵션과 일치하도록 미니 배치 크기를 50으로 지정합니다.
predTest = classify(rawNet,testData(:,1),'MiniBatchSize',50);혼동행렬은 분류 성능을 시각화하는 직관적이며 유용한 수단입니다. confusionchart 명령을 사용하여 테스트 데이터 예측값에 대한 전체적인 분류 정확도를 계산합니다. 각 입력값에 대해, categorical형 레이블로 구성된 셀형 배열을 행 벡터로 변환합니다. 각 클래스에 대해 샘플의 백분율로 결과를 표시하기 위해 행 정규화된 디스플레이를 지정합니다.
confusionchart([testData{:,2}],[predTest{:}],'Normalization','row-normalized');
원시 심전도 신호를 신경망에 대한 입력값으로 사용한 경우 T파 샘플의 약 60%, P파 샘플의 40%, QRS 복합파 샘플의 60%만 올바르게 분류했습니다. 성능을 높이려면 입력 전에 심전도 신호 특성에 관한 지식(예를 들어 환자의 호흡 동작에 의한 기준선 변동)을 딥러닝 신경망에 적용합니다.
기준선 변동 및 고주파 잡음을 제거하기 위해 필터링 방법 적용하기
세 심박 모폴로지는 서로 다른 주파수 대역에 있습니다. QRS 복합파의 스펙트럼은 대개 중앙 주파수가 약 10~25Hz이며, 그 성분은 40Hz 아래에 있습니다. P파와 T파는 훨씬 더 낮은 주파수에서 발생합니다. P파 성분이 20Hz 미만, T파 성분이 10Hz 미만입니다[5].
기준선 변동은 환자의 호흡 동작으로 인해 발생하는 저주파(< 0.5Hz) 진동입니다. 이 진동은 심박 모폴로지와 상관없으며 유의미한 정보를 제공하지 않습니다[6].
기준선 변동 및 모든 고주파 잡음을 제거하려면 [0.5, 40]Hz의 통과대역 주파수 범위로 대역통과 필터를 설계하십시오. 이 성분을 제거하면 신경망이 불필요한 특징을 학습하지 않으므로 LSTM 훈련이 향상됩니다. tall형 데이터 셀형 배열에 대해 cellfun을 사용하여 데이터셋을 병렬로 필터링합니다.
% Bandpass filter design hFilt = designfilt('bandpassiir', 'StopbandFrequency1',0.4215,'PassbandFrequency1', 0.5, ... 'PassbandFrequency2',40,'StopbandFrequency2',53.345,... 'StopbandAttenuation1',60,'PassbandRipple',0.1,'StopbandAttenuation2',60,... 'SampleRate',250,'DesignMethod','ellip'); % Create tall arrays from the transformed datastores and filter the signals tallTrainSet = tall(trainDs); tallTestSet = tall(testDs); filteredTrainSignals = gather(cellfun(@(x)filter(hFilt,x),tallTrainSet(:,1),'UniformOutput',false));
Evaluating tall expression using the Parallel Pool 'Processes': - Pass 1 of 1: Completed in 11 sec Evaluation completed in 11 sec
trainLabels = gather(tallTrainSet(:,2));
Evaluating tall expression using the Parallel Pool 'Processes': - Pass 1 of 1: Completed in 3.3 sec Evaluation completed in 3.7 sec
filteredTestSignals = gather(cellfun(@(x)filter(hFilt,x),tallTestSet(:,1),'UniformOutput',false));Evaluating tall expression using the Parallel Pool 'Processes': - Pass 1 of 1: Completed in 2.4 sec Evaluation completed in 2.5 sec
testLabels = gather(tallTestSet(:,2));
Evaluating tall expression using the Parallel Pool 'Processes': - Pass 1 of 1: Completed in 1.9 sec Evaluation completed in 2.1 sec
일반적인 경우의 원시 신호 및 필터링된 신호를 플로팅합니다.
trainData = gather(tallTrainSet);
Evaluating tall expression using the Parallel Pool 'Processes': - Pass 1 of 1: Completed in 3.8 sec Evaluation completed in 4.1 sec
figure
subplot(2,1,1)
plot(trainData{95,1}(2001:3000))
title('Raw')
grid
subplot(2,1,2)
plot(filteredTrainSignals{95}(2001:3000))
title('Filtered')
grid
필터링된 신호의 기준선은 의료 기기에 표시되는 기존 ECG 측정값에 익숙한 의사에게 혼동을 줄 수 있지만, 이처럼 변동을 제거하는 것은 신경망에 실제로 이점이 됩니다.
필터링된 심전도 신호을 사용하여 신경망 훈련시키기
전과 동일한 신경망 아키텍처를 사용하여 필터링된 심전도 신호에 대해 LSTM 신경망을 훈련시킵니다.
if actionFlag == "Train networks" filteredNet = trainNetwork(filteredTrainSignals,trainLabels,layers,options); end
신호를 전처리하면 훈련 정확도가 향상되어 80%를 넘어섭니다.
필터링된 심전도 신호 분류하기
업데이트된 LSTM 신경망을 사용하여 전처리된 테스트 데이터를 분류합니다.
predFilteredTest = classify(filteredNet,filteredTestSignals,'MiniBatchSize',50);분류 성능을 혼동행렬로 시각화합니다.
figure
confusionchart([testLabels{:}],[predFilteredTest{:}],'Normalization','row-normalized');
단순 전처리를 수행하면 T파 분류가 약 15%, QRS 복합파 및 P파 분류가 약 10% 향상됩니다.
심전도 신호의 시간-주파수 표현
시계열 데이터를 성공적으로 분류하기 위해 흔히 사용하는 접근법 중 하나는 시간-주파수 특징을 추출하여 이를 원본 데이터 대신 신경망에 제공하는 것입니다. 그러면 신경망은 시간 및 주파수에 걸쳐 패턴을 동시에 학습합니다[7].
푸리에 싱크로스퀴즈 변환(FSST)은 각각의 신호 샘플에 대한 주파수 스펙트럼을 계산하므로 원본 신호와 동일한 시간 분해능을 유지해야 하는 이 분할 문제에 이상적입니다. fsst 함수를 사용하여 훈련 신호 중 하나에 대한 변환을 살펴봅니다. 적합한 주파수 분해능을 제공하기 위해 길이가 128인 카이저 윈도우를 지정합니다.
data = preview(trainDs);
figure
fsst(data{1,1},250,kaiser(128),'yaxis')
관심 주파수 범위 [0.5, 40]Hz에 대해 훈련 데이터셋에 있는 각 신호의 FSST를 계산합니다. FSST의 실수부와 허수부를 서로 다른 특징으로 간주하고 두 성분을 모두 신경망에 입력합니다. 또한, 평균을 빼고 표준편차로 나누어 훈련 특징을 표준화합니다. 변환된 데이터저장소, extractFSSTFeatures 헬퍼 함수 및 tall 함수를 사용하여 데이터를 병렬로 처리합니다.
fsstTrainDs = transform(trainDs,@(x)extractFSSTFeatures(x,250)); fsstTallTrainSet = tall(fsstTrainDs); fsstTrainData = gather(fsstTallTrainSet);
Evaluating tall expression using the Parallel Pool 'Processes': - Pass 1 of 1: 0% complete Evaluation 0% complete - Pass 1 of 1: 4% complete Evaluation 4% complete - Pass 1 of 1: 8% complete Evaluation 8% complete - Pass 1 of 1: 12% complete Evaluation 12% complete - Pass 1 of 1: 17% complete Evaluation 17% complete - Pass 1 of 1: 21% complete Evaluation 21% complete - Pass 1 of 1: 25% complete Evaluation 25% complete - Pass 1 of 1: 29% complete Evaluation 29% complete - Pass 1 of 1: 33% complete Evaluation 33% complete - Pass 1 of 1: 38% complete Evaluation 38% complete - Pass 1 of 1: 42% complete Evaluation 42% complete - Pass 1 of 1: 46% complete Evaluation 46% complete - Pass 1 of 1: 50% complete Evaluation 50% complete - Pass 1 of 1: 54% complete Evaluation 54% complete - Pass 1 of 1: 58% complete Evaluation 58% complete - Pass 1 of 1: 62% complete Evaluation 62% complete - Pass 1 of 1: 67% complete Evaluation 67% complete - Pass 1 of 1: 71% complete Evaluation 71% complete - Pass 1 of 1: 75% complete Evaluation 75% complete - Pass 1 of 1: 79% complete Evaluation 79% complete - Pass 1 of 1: 83% complete Evaluation 83% complete - Pass 1 of 1: 88% complete Evaluation 88% complete - Pass 1 of 1: 92% complete Evaluation 92% complete - Pass 1 of 1: 96% complete Evaluation 96% complete - Pass 1 of 1: 100% complete Evaluation 100% complete - Pass 1 of 1: Completed in 2 min 39 sec Evaluation 100% complete Evaluation completed in 2 min 39 sec
테스트 데이터에 대해 이 절차를 반복합니다.
fsstTTestDs = transform(testDs,@(x)extractFSSTFeatures(x,250)); fsstTallTestSet = tall(fsstTTestDs); fsstTestData = gather(fsstTallTestSet);
Evaluating tall expression using the Parallel Pool 'Processes': - Pass 1 of 1: Completed in 1 min 8 sec Evaluation completed in 1 min 8 sec
신경망 아키텍처 조정하기
신경망이 하나의 값이 아니라 샘플별 주파수 스펙트럼을 받도록 LSTM 아키텍처를 수정합니다. 주파수 개수를 보려면 FSST의 크기를 살펴봅니다.
size(fsstTrainData{1,1})ans = 1×2
40 5000
sequenceInputLayer에는 입력 특징을 40개로 지정합니다. 나머지 신경망 파라미터는 변경하지 않은 채로 둡니다.
layers = [ ... sequenceInputLayer(40) lstmLayer(200,'OutputMode','sequence') fullyConnectedLayer(4) softmaxLayer classificationLayer];
심전도 신호의 FSST를 사용하여 신경망 훈련시키기
변환된 데이터셋을 사용하여 업데이트된 LSTM 신경망을 훈련시킵니다.
if actionFlag == "Train networks" fsstNet = trainNetwork(fsstTrainData(:,1),fsstTrainData(:,2),layers,options); end
시간-주파수 특징을 사용하면 훈련 정확도가 향상되어 이제는 90%가 넘습니다.
FSST를 사용하여 테스트 데이터 분류하기
업데이트된 LSTM 신경망 및 추출된 FSST 특징을 사용하여 테스트 데이터를 분류합니다.
predFsstTest = classify(fsstNet,fsstTestData(:,1),'MiniBatchSize',50);분류 성능을 혼동행렬로 시각화합니다.
confusionchart([fsstTestData{:,2}],[predFsstTest{:}],'Normalization','row-normalized');
시간-주파수 표현을 사용하면 원시 데이터 결과에 비해 T파 분류가 약 25%, P파 분류가 약 40%, QRS 복합파 분류가 30% 향상됩니다.
signalMask 객체를 사용하여 단일 심전도 신호에 대한 ground truth 레이블과 신경망 예측을 비교합니다. 관심 영역을 플로팅할 때는 "n/a" 레이블을 무시합니다.
testData = gather(tall(testDs));
Evaluating tall expression using the Parallel Pool 'Processes': - Pass 1 of 1: Completed in 2.1 sec Evaluation completed in 2.2 sec
Mtest = signalMask(testData{1,2}(3000:4000));
Mtest.SpecifySelectedCategories = true;
Mtest.SelectedCategories = find(Mtest.Categories ~= "n/a");
figure
subplot(2,1,1)
plotsigroi(Mtest,testData{1,1}(3000:4000))
title('Ground Truth')
Mpred = signalMask(predFsstTest{1}(3000:4000));
Mpred.SpecifySelectedCategories = true;
Mpred.SelectedCategories = find(Mpred.Categories ~= "n/a");
subplot(2,1,2)
plotsigroi(Mpred,testData{1,1}(3000:4000))
title('Predicted')
결론
이 예제에서는 신호 전처리 및 시간-주파수 분석으로 LSTM 파형 분할 성능을 높일 수 있는 방법을 다뤘습니다. 대역통과 필터 및 푸리에 기반 싱크로스퀴징 때문에 모든 출력 클래스에 걸쳐 평균적으로 55%에서 약 85%로 성능이 향상되었습니다.
참고 문헌
[1] McSharry, Patrick E., et al. "A dynamical model for generating synthetic electrocardiogram signals." IEEE® Transactions on Biomedical Engineering. Vol. 50, No. 3, 2003, pp. 289–294.
[2] Laguna, Pablo, Raimon Jané, Pere Caminal. "Automatic detection of wave boundaries in multilead ECG signals: Validation with the CSE database." Computers and Biomedical Research. Vol. 27, No. 1, 1994, pp. 45–60.
[3] Goldberger, Ary L., Luis A. N. Amaral, Leon Glass, Jeffery M. Hausdorff, Plamen Ch. Ivanov, Roger G. Mark, Joseph E. Mietus, George B. Moody, Chung-Kang Peng, H. Eugene Stanley. "PhysioBank, PhysioToolkit, and PhysioNet: Components of a New Research Resource for Complex Physiologic Signals." Circulation. Vol. 101, No. 23, 2000, pp. e215–e220. [Circulation Electronic Pages, http://circ.ahajournals.org/content/101/23/e215.full].
[4] Laguna, Pablo, Roger G. Mark, Ary L. Goldberger, George B. Moody. "A Database for Evaluation of Algorithms for Measurement of QT and Other Waveform Intervals in the ECG." Computers in Cardiology. Vol.24, 1997, pp. 673–676.
[5] Sörnmo, Leif, Pablo Laguna. "Electrocardiogram (ECG) signal processing." Wiley Encyclopedia of Biomedical Engineering, 2006.
[6] Kohler, B-U., Carsten Hennig, Reinhold Orglmeister. "The principles of software QRS detection." IEEE Engineering in Medicine and Biology Magazine. Vol. 21, No. 1, 2002, pp. 42–57.
[7] Salamon, Justin, Juan Pablo Bello. "Deep convolutional neural networks and data augmentation for environmental sound classification." IEEE Signal Processing Letters. Vol. 24, No. 3, 2017, pp. 279–283.
참고 항목
함수
confusionchart(Deep Learning Toolbox) |fsst|labeledSignalSet|lstmLayer(Deep Learning Toolbox) |trainingOptions(Deep Learning Toolbox) |trainnet(Deep Learning Toolbox)
관련 항목
- 장단기 기억 신경망 (Deep Learning Toolbox)
- 딥러닝을 사용한 sequence-to-sequence 회귀 (Deep Learning Toolbox)
- 딥러닝을 사용한 sequence-to-sequence 분류 (Deep Learning Toolbox)
You can also select a web site from the following list:
Americas
- América Latina (Español)
- Canada (English)
- United States (English)
Europe
- Belgium (English)
- Denmark (English)
- Deutschland (Deutsch)
- España (Español)
- Finland (English)
- France (Français)
- Ireland (English)
- Italia (Italiano)
- Luxembourg (English)
- Netherlands (English)
- Norway (English)
- Österreich (Deutsch)
- Portugal (English)
- Sweden (English)
- Switzerland
- United Kingdom (English)