非参照画質評価モデルの学習と使用

Natural Image Quality Evaluator (NIQE) と Blind/Referenceless Image Spatial Quality Evaluator (BRISQUE) アルゴリズムは学習済みモデルを使用して画質スコアを計算します。

どちらのアルゴリズムも、自然シーン統計量 (NSS) と呼ばれる同一の予測可能な統計的特徴量を使用してモデルを学習させます。NSS は空間領域における正規化された輝度の係数に基づき、多次元ガウス分布としてモデル化されます。歪みはガウス分布の摂動として現れます。

NSS 特徴量をどのように使用してモデルを学習させ、画質スコアを計算するかは、アルゴリズムによって異なります。

NIQE ワークフロー

NIQE は任意の歪みを持つイメージの画質を測定します。NIQE モデルは主観的な画質スコアを学習に使用しませんが、NIQE スコアは BRISQUE スコアのようには人間の感知する画質と相関しないというトレードオフがあります。

NIQE モデルの学習

メモ

既定の NIQE モデルによる画質スコアが用途において十分な場合、新しいモデルを学習させる必要はありません。NIQE モデルを使用した画質の予測に進むことができます。

NIQE モデルを学習させるには、初期状態のイメージのデータストアを関数 fitniqe に渡します。関数は各イメージをブロックに分割し、それぞれのブロックについて NSS を計算します。学習処理には統計的に有意な特徴量のブロックのみが含まれます。

返されたモデル、niqeModel、には NSS 特徴量から導出された多変量ガウス平均と標準偏差が格納されます。

NIQE モデルを使用した画質の予測

関数 niqe を使用して任意の歪みを持つイメージの画質スコアを計算します。関数 niqe は、歪んだイメージの統計的に有意なブロックの NSS 特徴量を抽出します。関数は多変量ガウス分散をイメージ NSS 特徴量に合うよう調整します。画質スコアはガウス分散の間の距離です。

図は NIQE ワークフロー全体を示します。

The fitNiqe function processes a set of pristine images and returns a niqeModel object. The niqe function then processes a noisy image using the niqeModel object, and returns a numeric quality score.

BRISQUE ワークフロー

BRISQUE はモデルと同じタイプの歪みを持つ画質の測定に限られます。BRISQUE モデルの学習には主観的なオピニオンスコアが使用され、BRISQUE スコアは人間の感知する画質と相関するという利点があります。

BRISQUE モデルの学習

メモ

既定の BRISQUE モデルによる画質スコアが用途に対して十分な場合、新しいモデルを学習させる必要はありません。BRISQUE モデルを使用した画質の予測に進むことができます。

BRISQUE モデルを学習させるには、関数 fitbrisque に次を渡します。

既知の歪みを持つイメージと、そのイメージの初期状態のコピーが含まれているデータストア
データベース内の歪んだ各イメージの主観的オピニオンスコア

関数は各イメージの NSS 特徴量を、イメージをブロックに分割することなく計算します。関数は NSS 特徴量と、対応するオピニオンスコアを使用してサポートベクターマシン回帰モデルを学習させます。返されたモデル brisqueModel は、サポートベクターリグレッサーのパラメーターを格納します。

BRISQUE モデルを使用した画質の予測

関数 brisque を使用してモデルと同じタイプの歪みを持つイメージの画質スコアを計算します。関数 brisque は歪んだイメージから NSS 特徴量を抽出し、サポートベクター回帰を使用して画質スコアを予測します。

図は BRISQUE ワークフロー全体を示します。

The fitBrisque function processes a set of pristine images and corresponding opinion scores and returns a brisqueModel object. The brisque function then processes a noisy image using the brisqueModel object, and returns a numeric quality score.

参考