얕은 신경망 용어집

A  B  C  D  E  F  G  H  I  J  K  L  M  N  O  P  Q  R  S  T  U  V  W  X  Y  Z  가  거  검  결  경  계  과  국  뉴  대  델  동  로  링  맨  모  목  뮤  방  배  베  부  분  비  산  선  성  순  스  시  아  압  야  양  업  역  연  오  위  은  이  일  입  적  전  정  조  주  죽  준  지  직  초  최  출  캐  켤  탄  탭  테  통  패  퍼  편  평  포  피  하  학  함  홈  황  후  훈  

ADALINE

선형 뉴런의 일종에 대한 머리글자어: ADAptive LINear Element.

적응

지정된 입력 시퀀스를 통해 진행되는 훈련 방법으로, 입력값이 입력됨에 따라 시퀀스의 각 입력 벡터에 대한 출력, 오차 및 신경망 조정을 계산합니다.

적응 필터

지연을 포함하는 신경망으로서, 각각의 새로운 입력 벡터가 입력된 후에 가중치가 조정되는 신경망. 이러한 일이 발생하면 신경망은 입력 신호 특성의 변화에 적응합니다. 이 유형의 필터는 장거리 전화 회선에서 에코를 제거하는 데 사용됩니다.

적응적 학습률

훈련 시간을 최소화하기 위해 훈련 중에 알고리즘에 따라 조정되는 학습률.

아키텍처

신경망의 계층의 수, 각 계층의 전달 함수, 계층당 뉴런 수 및 계층 간 연결에 대한 설명.

역전파 학습 규칙

신경망을 통해 역전파되는 오차 도함수(델타) 벡터에 의해 가중치와 편향이 조정되는 학습 규칙. 역전파는 일반적으로 피드포워드 다층 신경망에 적용됩니다. 때로는 이 규칙을 일반화된 델타 규칙이라고 합니다.

역추적 탐색

스텝 승수 1로 시작한 다음, 허용 가능한 정도의 성능 저하가 발생할 때까지 역추적하는 선형 탐색 루틴.

배치

신경망에 동시에 적용되는 입력(또는 목표) 벡터의 행렬. 신경망 가중치와 편향 변경은 입력 행렬의 전체 벡터 세트에 대해 한 번만 수행됩니다. (배치라는 용어는 더 설명적인 표현인 "동시 벡터"로 대체되고 있습니다.)

배치 처리(batching)

출력 벡터 행렬 및/또는 새로운 가중치와 편향의 동시 계산을 위한 입력 벡터 세트를 입력하는 과정.

베이즈 프레임워크

신경망의 가중치와 편향을 분포가 지정된 확률 변수라고 가정합니다.

BFGS 준뉴턴 알고리즘

뉴턴의 최적화 알고리즘을 변형한 것으로, 이 알고리즘의 각 반복에서 계산한 기울기로부터 헤세 행렬의 근삿값을 얻습니다.

편향

이 뉴런 파라미터는 뉴런의 가중 입력과 합쳐지고 뉴런의 출력을 생성하기 위해 뉴런의 전달 함수를 통과합니다.

편향 벡터

뉴런 계층에 대한 편향 값의 열 벡터.

Brent 탐색

황금분할 탐색법과 2차 보간법을 결합한 선형 탐색.

캐스케이드 포워드 신경망

각 계층이 이전 계층으로부터의 입력만 받는 계층화된 신경망.

Charalambous 탐색

3차 보간법에 분할법을 함께 결합해 사용하는 직선 탐색.

분류

입력 벡터와 특정 목표 벡터를 연관짓는 작업.

경쟁 계층

순 입력값이 최대인 뉴런만 출력값이 1이고 다른 모든 뉴런은 출력값이 0인 뉴런 계층. 뉴런은 주어진 입력 벡터에 응답할 권리를 얻기 위해 서로 경쟁합니다.

경쟁 학습

instar 규칙 또는 Kohonen 규칙을 통한 경쟁 계층에 대한 비지도 훈련. 개별 뉴런은 특징 검출기가 되는 방법을 학습합니다. 훈련 후에 계층은 그에 속한 뉴런 중에서 입력 벡터를 분류합니다.

경쟁 전달 함수

계층에 대한 순 입력 벡터를 받아들이고 순 입력 n의 가장 양인 요소와 연결된 승자를 제외한 모든 뉴런에 대해 0의 뉴런 출력을 반환합니다.

동시 입력 벡터

신경망에 동시에 입력되는 입력 벡터 행렬에 주어진 이름. 행렬의 모든 벡터는 가중치 및 편향 값의 단 하나의 변경 세트를 만드는 데 사용됩니다.

켤레 기울기 알고리즘

켤레 기울기 알고리즘에서는 켤레 방향에 따라 탐색이 수행되며 가장 가파른 하강 방향을 따른 탐색보다 일반적으로 더 빨리 수렴됩니다.

연결

신경망의 뉴런 사이의 단방향 연결.

연결 강도

신경망의 두 뉴런 간 연결 강도. 종종 가중치라고도 하는 강도는 한 뉴런이 다른 뉴런에 미치는 영향을 결정합니다.

주기(cycle)

입력 벡터가 1회 입력되고 출력값이 계산된 후 새로운 가중치와 편향이 계산되는 주기.

죽은 뉴런

훈련 중에 어떤 경쟁에서도 이기지 못하여 유용한 특징 검출기가 되지 못한 경쟁 계층 뉴런. 죽은 뉴런은 어떤 훈련 벡터에도 반응하지 않습니다.

결정 경계

가중치와 편향 벡터에 의해 결정되는 선으로, 이에 대한 순 입력 n은 0입니다.

델타 규칙

Widrow-Hoff 학습 규칙을 참조하십시오.

델타 벡터

계층의 델타 벡터는 그 계층의 순 입력 벡터에 대한 신경망의 출력 오차의 도함수입니다.

거리

뉴런 사이의 거리로, 거리 함수를 사용해 각 뉴런의 위치로부터 계산됩니다.

거리 함수

두 벡터 사이의 유클리드 거리와 같이 거리를 계산하는 특정한 방법.

조기 중지

데이터를 세 개의 서브셋으로 나누는 기법. 첫 번째 서브셋은 기울기를 계산하고 신경망 가중치와 편향을 업데이트하는 데 사용되는 훈련 세트입니다. 두 번째 서브셋은 검증 세트입니다. 지정된 반복 횟수 동안 검증 오차가 증가하면 훈련이 중지되고 검증 오차의 최솟값에서 가중치와 편향이 반환됩니다. 세 번째 서브셋은 테스트 세트입니다. 신경망 설계를 확인하는 데 사용됩니다.

Epoch

훈련(입력 및/또는 목표) 벡터 세트가 신경망에 입력되고 새로운 가중치와 편차가 계산되는 기간. 훈련 벡터는 한 번에 하나씩 또는 배치에서 전부 한꺼번에 입력될 수 있다는 점에 유의하십시오.

오차 비약

훈련 중 신경망 오차제곱합의 갑작스러운 증가. 많은 경우, 이는 너무 큰 학습률 때문입니다.

오차율

역전파 신경망의 적응적 학습률과 모멘텀 훈련에 사용되는 훈련 파라미터.

오차 벡터

입력 벡터에 대한 신경망의 출력 벡터와 이와 관련된 목표 출력 벡터 간의 차이.

피드백 신경망

어떤 계층의 출력에서 그 계층의 입력으로 이어지는 연결이 있는 신경망. 피드백 연결은 직접 연결되거나 여러 계층을 통해 연결될 수 있습니다.

피드포워드 신경망

각 계층이 이전 계층으로부터의 입력만 받는 계층화된 신경망.

Fletcher-Reeves 업데이트

켤레 방향 집합을 계산하는 방법. 이 방향은 켤레 기울기 최적화 절차의 일부로서 탐색 방향으로 사용됩니다.

함수 근사

원하는 함수에 가까운 근삿값으로 입력값에 응답하도록 훈련된 신경망이 수행하는 작업.

일반화

새로운 입력 벡터에 대한 출력이 훈련 세트의 유사한 입력 벡터에 대한 출력에 가까워지는 경향이 있는 신경망의 특성.

일반화 회귀 신경망

충분한 수의 은닉 뉴런이 주어지면 연속 함수를 임의의 정확도로 근사 계산합니다.

전역 최솟값

입력 파라미터의 전체 범위에서의 함수의 최솟값. 경사하강법은 신경망 오차의 전역 최솟값을 찾기 위해 가중치와 편향을 조정합니다.

황금분할 탐색

기울기 계산이 필요 없는 선형 탐색. 탐색의 각 반복에서 성능이 가장 낮은 점을 포함하는 구간은 세분화되며, 각 반복에서 하나의 세분화가 제거됩니다.

경사하강법

가중치와 편향에 대한 신경망 오차의 도함수에 비례해 가중치와 편향을 변경하는 과정. 이는 신경망 오차를 최소화하기 위해 수행됩니다.

하드 리밋 전달 함수

0보다 크거나 같은 입력을 1로 매핑하고 다른 모든 값을 0으로 매핑하는 전달 함수.

Hebb 학습 규칙

역사적으로 뉴런에 대해 처음 제안된 학습 규칙. 가중치가 직전 가중치 뉴런의 출력값과 직후 가중치 뉴런의 출력값의 곱에 비례하여 조정됩니다.

은닉 계층

신경망 출력에 연결되지 않은 신경망 계층(예: 2계층 피드포워드 신경망의 첫 번째 계층).

홈 뉴런

이웃을 포함한 영역의 중심에 있는 뉴런.

이분법-3차보간법 결합 탐색

이분법과 3차 보간법을 결합한 직선 탐색.

초기화

신경망 가중치와 편향을 원본 값으로 설정하는 과정.

입력 계층

신경망 외부에서 직접 입력값을 받는 뉴런 계층.

입력 공간

가능한 모든 입력 벡터의 범위.

입력 벡터

신경망에 입력된 벡터.

입력 가중 벡터

뉴런에 대한 가중치로 구성된 행 벡터.

입력 가중치

신경망 입력을 계층에 연결하는 가중치.

야코비 행렬

가중치 및 편향에 대한 신경망 오차의 1차 도함수를 포함합니다.

Kohonen 학습 규칙

선택된 뉴런의 가중 벡터를 현재 입력 벡터의 값을 반영하도록 훈련시키는 학습 규칙.

계층

동일한 입력에 연결되어 있고 동일한 목적지로 출력을 보내는 뉴런의 그룹.

계층 도식

계층과 계층을 연결하는 가중치 행렬을 보여주는 신경망 아키텍처 그림. 각 계층의 전달 함수는 기호로 표시됩니다. 입력, 출력, 편향 및 가중치 행렬의 크기가 표시됩니다. 개별 뉴런과 연결은 표시되지 않습니다.

계층 가중치

계층을 다른 계층에 연결하는 가중치. 이러한 가중치는 순환 연결(즉, 루프)을 형성하는 경우 0이 아닌 지연을 가져야 합니다.

학습

원하는 신경망 동작을 달성하기 위해 가중치와 편향을 조정하는 과정.

학습률

학습 중 가중치와 편향 변화의 크기를 조절하는 훈련 파라미터.

학습 규칙

신경망에서 발생 가능한 다음 차례의 변화를 유도하는 방법 또는 신경망의 가중치와 편향을 수정하는 절차.

Levenberg-Marquardt

일반적인 경사하강 역전파 방법보다 10~100배 빠르게 신경망을 훈련시키는 알고리즘. 항상 근사 헤세 행렬을 계산합니다. 이 행렬의 크기는 n×n입니다.

직선 탐색 함수

주어진 탐색 방향(직선)을 따라 신경망 성능의 최솟값을 찾는 절차.

선형 전달 함수

입력값을 그대로 출력값으로 내보내는 전달 함수.

링크 거리

고려 중인 뉴런에 도달하기 위해 취해야 하는 링크 또는 스텝의 수.

국소 최솟값

제한된 범위의 입력값에 대한 함수의 최솟값. 국소 최솟값은 전역 최솟값이 아닐 수도 있습니다.

로그-시그모이드 전달 함수

입력값을 구간 (0, 1)에 매핑하는, 아래 표시된 형식의 압축 함수. (툴박스 함수는 logsig입니다.)

$$f(n)=\frac{1}{1+e^{-n}}$$

맨해튼 거리

두 벡터 x와 y 사이의 맨해튼 거리는 다음과 같이 계산됩니다.

D = sum(abs(x-y))

최대 성능 증가량

가변 학습률 훈련 알고리즘의 1회 반복에서 성능이 증가할 수 있는 최대량.

최대 스텝 크기

선형 탐색 중에 허용되는 최대 스텝 크기. 가중 벡터의 크기는 훈련 알고리즘의 1회 반복에서 이 최대 스텝 크기보다 크게 증가할 수 없습니다.

평균제곱오차 함수

신경망 출력값 a와 목표 출력값 t 사이의 평균제곱오차를 계산하는 성능 함수.

모멘텀

역전파 신경망이 얕은 최솟값에 머물 가능성을 줄이기 위해 종종 사용되는 기법.

모멘텀 상수

모멘텀 사용량을 제어하는 훈련 파라미터.

뮤 파라미터

스칼라 µ의 초기값.

이웃

특정 뉴런의 지정된 거리 내에 있는 뉴런의 그룹. 이웃은 승자 뉴런 i*의 반지름 d 이내에 있는 모든 뉴런에 대한 인덱스로 지정됩니다.

Ni(d) = {j,d_ij ≤ d}

순 입력 벡터

하나의 계층에서, 그 계층의 모든 가중 입력 벡터와 그 편향의 조합.

뉴런

신경망의 기본 처리 요소. 가중치와 편향, 합산점 및 출력 전달 함수가 포함됩니다. 이 툴박스로 시뮬레이션되고 훈련된 인공 뉴런은 생물학적 뉴런을 추상화한 것입니다.

뉴런 도식

뉴런과 뉴런을 연결하는 가중치를 보여주는 신경망 아키텍처 그림. 각 뉴런의 전달 함수는 기호로 표시됩니다.

순서화 단계

연관된 뉴런 위치와 부합하는 입력 공간에서 뉴런 가중치의 순서가 정해질 것으로 예상되는 훈련 기간.

출력 계층

출력값이 신경망 외부 세계로 전달되는 계층.

출력 벡터

신경망의 출력값. 출력 벡터의 각 요소는 뉴런의 출력값입니다.

출력 가중 벡터

뉴런이나 입력에서 오는 가중치의 열 벡터. (또한 outstar 학습 규칙을 참조하십시오.)

outstar 학습 규칙

뉴런(또는 입력)의 출력 가중 벡터를 직후 가중치 계층의 현재 출력 벡터 값을 반영하도록 훈련시키는 학습 규칙. 가중치의 변화는 뉴런의 출력값에 비례합니다.

과적합

훈련 세트에서는 오차가 매우 작은 값으로 유도되지만 새로운 데이터가 신경망에 입력되면 오차가 큰 경우.

통과(pass)

모든 훈련 입력 벡터와 목표 벡터를 통과하는 각각의 종주.

패턴

일종의 벡터.

패턴 연관

입력된 각 입력 벡터에 대해 올바른 출력 벡터로 응답하도록 훈련된 신경망이 수행하는 작업.

패턴 인식

학습된 벡터에 가까운 입력 벡터가 입력될 때 반응하도록 훈련된 신경망이 수행하는 작업. 신경망은 입력을 원래 목표 벡터 중 하나로 "인식"합니다.

퍼셉트론

하드 리밋 전달 함수가 있는 단층 신경망. 이 신경망은 종종 퍼셉트론 학습 규칙으로 훈련됩니다.

퍼셉트론 학습 규칙

단층 하드 리밋 신경망을 훈련시키기 위한 학습 규칙. 신경망이 완벽하게 동작한다고 가정할 경우, 이 신경망에 의해 결과를 유한 시간 내에 얻는다는 점이 보장됩니다.

성능

신경망의 동작.

성능 함수

일반적으로 신경망 출력의 평균제곱오차를 뜻합니다. 하지만 툴박스에서 다른 성능 함수를 사용할 수도 있습니다. 성능 함수 목록을 보려면 help nnperformance를 입력하십시오.

Polak-Ribiére 업데이트

켤레 방향 집합을 계산하는 방법. 이 방향은 켤레 기울기 최적화 절차의 일부로서 탐색 방향으로 사용됩니다.

양의 선형 전달 함수

음의 입력값에 대해 출력값 0을 생성하고 양의 입력값에 대해 입력값과 동일한 출력값을 생성하는 전달 함수.

후처리

정규화된 출력을 원본 목표에 사용된 것과 동일한 단위로 다시 변환합니다.

Powell-Beale 재시작

켤레 방향 집합을 계산하는 방법. 이 방향은 켤레 기울기 최적화 절차의 일부로서 탐색 방향으로 사용됩니다. 이 절차는 또한 주기적으로 탐색 방향을 기울기의 음수로 다시 설정합니다.

전처리

입력값 또는 목표 데이터가 신경망에 입력되기 전에 수행하는 입력값 또는 목표 데이터의 변환.

주성분 분석

신경망 입력 벡터의 성분을 직교화합니다. 이 절차로 중복 성분을 제거하여 입력 벡터의 차원을 줄일 수도 있습니다.

준뉴턴 알고리즘

뉴턴의 방법에 기초한 최적화 알고리즘 유형. 근사 헤세 행렬은 기울기에 기초한 이 알고리즘의 각 반복에서 계산됩니다.

방사형 기저 신경망

가장 좋은 성과를 내게 될 위치의 특별한 반응 요소를 피팅하여 직접 설계할 수 있는 신경망.

방사형 기저 전달 함수

방사형 기저 뉴런의 전달 함수는 다음과 같습니다.

$$radbas(n)=e^{-n^2}$$

정규화

훈련 세트에서 성능 함수(주로 신경망 오차의 제곱합이 선택됨)에 신경망 가중치 제곱의 일부를 더해 성능 함수를 수정하는 것.

탄력적 역전파

시그모이드 압축 전달 함수의 극단에서의 작은 기울기가 미치는 해로운 효과를 제거하는 훈련 알고리즘.

포화 선형 전달 함수

구간 (-1,+1)에서 선형이고 이 구간 밖에서 -1 또는 +1로 포화되는 함수. (툴박스 함수는 satlin입니다.)

스케일링된 켤레 기울기 알고리즘

표준 켤레 기울기 알고리즘의 시간 소모적인 직선 탐색을 피합니다.

순차 입력 벡터

신경망에 차례로 입력할 벡터 집합. 신경망 가중치와 편향은 입력되는 각각의 입력 벡터에 따라 조정됩니다.

시그마 파라미터

스케일링된 켤레 기울기 알고리즘에서 근사 헤세 행렬 계산에 대한 가중치의 변화를 결정합니다.

시그모이드

구간 (-∞,∞)의 숫자를 (-1,+1) 또는 (0,1)과 같은 유한 구간으로 매핑하는 S자 모양의 단조 함수입니다.

시뮬레이션

신경망 입력 p와 network 객체 net을 택해 신경망 출력 a를 반환합니다.

산포 상수

입력 벡터가 0.5의 출력값을 생성하기 위해 뉴런의 가중 벡터로부터 떨어져야 하는 거리.

압축(squashing) 함수

-∞와 +∞ 사이의 입력값을 취하여 유한 구간의 값을 반환하는 단조 증가 함수입니다.

star 학습 규칙

뉴런의 가중 벡터를 현재 입력 벡터의 값을 반영하도록 훈련시키는 학습 규칙. 가중치의 변화는 뉴런의 출력값에 비례합니다.

오차제곱합

주어진 입력 벡터 또는 벡터 집합에 대한 신경망 목표값과 실제 출력값 간의 차이제곱합.

지도 학습

신경망의 가중치 및 편차의 변화가 외부 교사의 개입에 기인하는 학습 과정. 일반적으로 교사가 출력 목표값을 제공합니다.

대칭 하드 리밋 전달 함수

0보다 크거나 같은 입력값을 +1로 매핑하고 다른 모든 값은 -1로 매핑하는 전달.

대칭 포화 선형 전달 함수

입력값이 -1에서 1 범위 내에 있으면 입력값을 출력값으로 생성합니다. 이 범위 밖의 출력값은 각각 -1과 +1입니다.

탄젠트-시그모이드 전달 함수

아래와 같이 입력값을 구간 (-1,1)에 매핑하는 형식의 압축 함수. (툴박스 함수는 tansig입니다.)

$$f(n)=\frac{1}{1+e^{-n}}$$

탭 지연선

각각의 지연 출력에서 사용할 수 있는 순차적인 지연의 집합

목표 벡터

주어진 입력 벡터에 대한 원하는 출력 벡터.

테스트 벡터

훈련된 신경망을 테스트하는 데 사용되는 입력 벡터의 집합(직접 훈련에 사용되지는 않음).

위상(topology) 함수

그리드, 상자, 육각형 또는 임의의 위상적 형태로 뉴런을 배열하는 방법.

훈련

특정 작업을 수행하도록 신경망이 수정되는 과정. 각 시간 간격 동안 이루어지는 조정 작업(adjustment)과는 반대로, 일반적으로 적응형 훈련에서 수행되는 것과 같은 오프라인 작업을 말합니다.

훈련 벡터

신경망을 훈련시키는 데 사용되는 입력 및/또는 목표 벡터.

전달 함수

뉴런(또는 계층)의 순 출력값 n을 실제 출력값에 매핑하는 함수.

조정 단계

순서화 단계 중에 발견된 위상적 순서를 유지하면서 가중치가 입력 공간에서 비교적 균등하게 퍼져 나갈 것으로 예상되는 SOFM 훈련 기간.

부족 결정 시스템

제약 조건보다 변수가 많은 시스템.

비지도 학습

신경망의 가중치와 편차의 변화가 외부 교사의 개입으로 인한 것이 아닌 학습 과정. 일반적으로 변화는 현재 신경망 입력 벡터, 출력 벡터 및 이전 가중치와 편향의 함수입니다.

업데이트

가중치와 편향을 변경합니다. 업데이트는 단일 입력 벡터를 입력한 후 또는 여러 입력 벡터에 변화량을 축적한 후에 발생할 수 있습니다.

검증 벡터

신경망이 과적합되지 않도록 훈련 진행 상황을 모니터링하는 데 사용되는 입력 벡터의 집합(훈련에 직접 사용되지는 않음).

가중치 함수

가중치 함수는 특정 함수로 지정되며 가중 입력값을 얻기 위해 가중치를 입력값에 적용합니다.

가중치 행렬

어떤 계층의 뉴런으로 연결되는 입력값들의 연결 강도가 포함된 행렬. 가중치 행렬 W의 요소 w_i,j는 뉴런 i에 대한 입력값 j의 연결 강도를 뜻합니다.

가중 입력 벡터

신경망 입력값인지 또는 다른 계층의 출력값인지 여부에 관계없이 해당 계층의 입력값에 가중치를 적용한 결과.

Widrow-Hoff 학습 규칙

단층 선형 신경망을 훈련시키는 데 사용되는 학습 규칙. 이 규칙은 역전파 규칙의 선행 규칙이며 때로는 델타 규칙이라고 합니다.