영상 품질 메트릭

영상 수집 및 처리 과정에서 왜곡으로 인해 영상 품질이 저하될 수 있습니다. 왜곡의 예로는 잡음, 흐릿함(blurring), 링잉 현상, 압축 아티팩트 등이 있습니다.

그간 영상 품질을 객관적으로 평가하기 위한 노력이 있었습니다. 대부분의 응용 분야에서, 유용한 메트릭이란 인간의 관찰에 의한 주관적인 품질 지각과 긴밀한 상관 관계를 갖는 품질 메트릭을 뜻합니다. 품질 메트릭은 영상 처리 파이프라인을 통해 전파되는 과정에서 인지하지 못한 오류도 추적할 수 있으며, 영상 처리 알고리즘 비교에 쓰일 수 있습니다.

왜곡 없는 영상이 있으면 이를 참조해 다른 영상의 품질을 측정할 수 있습니다. 예를 들어, 압축된 영상의 품질을 평가할 때 그 영상의 압축되지 않은 버전이 유용한 참조가 될 수 있습니다. 이러한 경우 완전 참조 품질 메트릭을 사용하여 대상 영상과 참조 영상을 직접 비교할 수 있습니다.

왜곡 없는 참조 영상이 없을 경우 무참조 영상 품질 메트릭을 대신 사용할 수 있습니다. 이 메트릭은 예상되는 영상 통계량을 기준으로 품질 점수를 계산합니다.

완전 참조(Full-Reference) 품질 메트릭

완전 참조 알고리즘은 입력 영상을 왜곡되지 않은 원래 그대로의 참조 영상과 비교합니다.

메트릭	설명
`immse`	MSE(평균제곱오차). MSE는 실제 픽셀 값과 이상적인 픽셀 값 간의 차이의 평균 제곱을 구합니다. 이 메트릭은 간단하게 계산할 수 있으나 인각이 지각하는 품질과 잘 맞지 않을 수 있습니다.
`psnr`	pSNR(피크 신호 대 잡음비). pSNR은 평균제곱오차에서 파생된 것이며, 왜곡 강도 대 최대 픽셀 명암비를 나타냅니다. pSNR 메트릭은 MSE처럼 간단하게 계산할 수 있으나, 인간이 지각하는 품질과 잘 맞지 않을 수 있습니다.
`ssim`	SSIM(구조적 유사도) 지수. SSIM 메트릭은 국소 영상 구조, 휘도, 대비를 하나의 국소 품질 점수로 통합한 것입니다. 이 메트릭에서 구조는 픽셀 명암 패턴, 특히 휘도 및 대비를 위해 정규화한 이후에 이웃 픽셀에 나타나는 픽셀 명암 패턴을 의미합니다. 인간의 시각 기능은 구조를 인식하는 데 뛰어나므로 SSIM 품질 메트릭은 주관적 품질 점수와 더 잘 일치합니다.
`multissim` `multissim3`	MS-SSIM(다중 스케일 구조적 유사도) 지수. MS-SSIM 메트릭은 가장 높은 해상도 수준의 휘도 정보에 여러 개의 다운샘플링된 해상도의 구조 및 대비 정보 또는 다중 스케일 정보를 결합하는 확장된 SSIM 지수입니다. 다중 스케일은 영상을 보는 거리, 장면에서 센서까지의 거리, 영상 수집 센서의 해상도와 같은 요인으로 인해 발생하는 영상 지각의 차이를 고려합니다.

구조적 유사도가 국소적으로 계산되므로 ssim, multissim 및 multissim3으로 영상에 대한 품질 맵을 생성할 수 있습니다.

무참조(No-Reference) 품질 메트릭

무참조 알고리즘은 입력 영상의 통계적 특성을 사용하여 영상 품질을 평가합니다.

메트릭	설명
`brisque`	BRISQUE(Blind/Referenceless Image Spatial Quality Evaluator). BRISQUE 모델은 알려진 왜곡이 있는 영상의 데이터베이스를 기반으로 훈련됩니다. BRISQUE는 그와 동일한 유형의 왜곡이 있는 영상의 품질만 평가할 수 있습니다. BRISQUE는 의견을 인식합니다. 즉 주관적인 품질 점수가 훈련 영상에 수반됩니다.
`niqe`	NIQE(Natural Image Quality Evaluator). NIQE 모델은 원래 그대로의 영상이 담긴 데이터베이스를 기반으로 훈련되지만, 임의 왜곡이 있는 영상의 품질을 측정할 수 있습니다. NIQE는 의견을 인식하지 않으며, 주관적 품질 점수를 사용하지 않습니다. 따라서 NIQE 영상 점수는 BRISQUE 점수가 인간이 지각하는 품질과 일치하는 정도에 못 미칠 수 있습니다.
`piqe`	PIQE(Perception based Image Quality Evaluator). PIQE 알고리즘은 의견을 인식하지 않으며 비지도 방식입니다. 즉 훈련된 모델이 필요하지 않습니다. PIQE는 임의 왜곡이 있는 영상의 품질을 측정할 수 있으며, 대개 NIQE와 비슷하게 수행합니다. PIQE는 블록별 왜곡을 추정하고, 지각 가능할 정도로 왜곡된 블록의 국소 분산을 측정하여 품질 점수를 계산합니다.

BRISQUE 및 NIQE 알고리즘은 모델이 훈련된 후 효율적인 연산을 통해 영상의 품질 점수를 계산합니다. PIQE는 연산 효율성이 더 떨어지지만, 전역 품질 점수뿐만 아니라 국소 품질 측정도 제공합니다. 일반적으로 모든 무참조 품질 메트릭은 인간의 주관적 품질 점수와의 일치성 측면에서 완전 참조 메트릭보다 우수합니다.