loss

ガウスカーネル分類モデルの分類損失

ページ内をすべて折りたたむ

構文

L = loss(Mdl,X,Y)

L = loss(Mdl,Tbl,ResponseVarName)

L = loss(Mdl,Tbl,Y)

L = loss(___,Name,Value)

説明

例

L = loss(Mdl,X,Y) は、X 内の予測子データと Y 内の対応するクラスラベルを使用して、バイナリガウスカーネル分類モデル Mdl の分類損失を返します。

L = loss(Mdl,Tbl,ResponseVarName) は、Tbl 内の予測子データと Tbl.ResponseVarName 内の真のクラスラベルを使用して、モデル Mdl の分類損失を返します。

L = loss(Mdl,Tbl,Y) は、table Tbl 内の予測子データと Y 内の真のクラスラベルを使用して、モデル Mdl の分類損失を返します。

例

L = loss(___,Name,Value) では、前の構文におけるいずれかの入力引数の組み合わせに加えて、1 つ以上の名前と値のペアの引数を使用してオプションを指定します。たとえば、分類損失関数と観測値の重みを指定できます。この場合、loss は指定された損失関数を使用して重み付きの分類損失を返します。

メモ

X または Tbl の予測子データに欠損値があり、LossFun が "classifcost"、"classiferror"、または "mincost" に設定されていない場合、関数 loss で NaN が返されることがあります。詳細については、欠損値がある予測子データに対して loss で NaN が返されることがあるを参照してください。

例

すべて折りたたむ

テストセットの分類損失の推定

ライブスクリプトを開く

ionosphere データセットを読み込みます。このデータセットには、レーダー反射についての 34 個の予測子と、不良 ('b') または良好 ('g') という 351 個の二項反応が含まれています。

load ionosphere

データセットを学習セットとテストセットに分割します。テストセット用に 15% のホールドアウト標本を指定します。

rng('default') % For reproducibility
Partition = cvpartition(Y,'Holdout',0.15);
trainingInds = training(Partition); % Indices for the training set
testInds = test(Partition); % Indices for the test set

学習セットを使用してバイナリカーネル分類モデルに学習をさせます。

Mdl = fitckernel(X(trainingInds,:),Y(trainingInds));

学習セットの分類誤差とテストセットの分類誤差を推定します。

ceTrain = loss(Mdl,X(trainingInds,:),Y(trainingInds))

ceTrain = 0.0067

ceTest = loss(Mdl,X(testInds,:),Y(testInds))

ceTest = 0.1140

カスタムな分類損失の指定

ライブスクリプトを開く

load ionosphere

データセットを学習セットとテストセットに分割します。テストセット用に 15% のホールドアウト標本を指定します。

rng('default') % For reproducibility
Partition = cvpartition(Y,'Holdout',0.15);
trainingInds = training(Partition); % Indices for the training set
testInds = test(Partition); % Indices for the test set

学習セットを使用してバイナリカーネル分類モデルに学習をさせます。

Mdl = fitckernel(X(trainingInds,:),Y(trainingInds));

次の線形損失を評価する無名関数を作成します。

$L = \frac{\sum_{j} - w_{j} y_{j} f_{j}}{\sum_{j} w_{j}} .$

$w_{j}$ は観測値 j の重み、 $y_{j}$ は応答 j (陰性クラスの場合は -1、それ以外の場合は 1)、 $f_{j}$ は観測値 j の生の分類スコアです。

linearloss = @(C,S,W,Cost)sum(-W.*sum(S.*C,2))/sum(W);

カスタム損失関数は特定の形式で記述しなければなりません。カスタム損失関数の記述に関するルールについては、名前と値のペアの引数 'LossFun' を参照してください。

線形損失関数を使用して、学習セットの分類損失とテストセットの分類損失を推定します。

ceTrain = loss(Mdl,X(trainingInds,:),Y(trainingInds),'LossFun',linearloss)

ceTrain = -1.0851

ceTest = loss(Mdl,X(testInds,:),Y(testInds),'LossFun',linearloss)

ceTest = -0.7821

入力引数

すべて折りたたむ

`Mdl` — バイナリカーネル分類モデル
`ClassificationKernel` モデルオブジェクト

バイナリカーネル分類モデル。ClassificationKernel モデルオブジェクトを指定します。ClassificationKernel モデルオブジェクトは、fitckernel を使用して作成できます。

`X` — 予測子データ
n 行 p 列の数値行列

予測子データ。n 行 p 列の数値行列を指定します。n は観測値の個数、p は Mdl の学習に使用した予測子の個数です。

Y の長さと X の観測値数は同じでなければなりません。

データ型: single | double

`Y` — クラスラベル
categorical 配列 | 文字配列 | string 配列 | logical ベクトル | 数値ベクトル | 文字ベクトルの cell 配列

クラスラベル。categorical 配列、文字配列、string 配列、logical ベクトル、数値ベクトル、または文字ベクトルの cell 配列を指定します。

Y のデータ型は Mdl.ClassNames のデータ型と同じでなければなりません。(string 配列は文字ベクトルの cell 配列として扱われます)。
Y の各クラスは Mdl.ClassNames のサブセットでなければなりません。
Y が文字配列の場合、各要素は配列の 1 つの行に対応しなければなりません。
Y の長さは X または Tbl の観測値の数と等しくなければなりません。

`Tbl` — 標本データ
テーブル

モデルを学習させるために使用する標本データ。テーブルとして指定します。Tbl の各行は 1 つの観測値に、各列は 1 つの予測子変数に対応します。必要に応じて、応答変数用および観測値の重み用の追加列を Tbl に含めることができます。Tbl には、Mdl を学習させるために使用したすべての予測子が含まれていなければなりません。文字ベクトルの cell 配列ではない cell 配列と複数列の変数は使用できません。

Mdl を学習させるために使用した応答変数が Tbl に含まれている場合、ResponseVarName または Y を指定する必要はありません。

テーブルに格納されている標本データを使用して Mdl の学習を行った場合、loss の入力データもテーブルに格納されていなければなりません。

`ResponseVarName` — 応答変数名
`Tbl` 内の変数の名前

応答変数の名前。Tbl 内の変数の名前で指定します。Mdl を学習させるために使用した応答変数が Tbl に含まれている場合、ResponseVarName を指定する必要はありません。

ResponseVarName を指定する場合は、文字ベクトルまたは string スカラーとして指定しなければなりません。たとえば、応答変数が Tbl.Y として格納されている場合、ResponseVarName として 'Y' を指定します。それ以外の場合、Tbl の列は Tbl.Y を含めてすべて予測子として扱われます。

応答変数は、categorical 配列、文字配列、string 配列、logical ベクトル、数値ベクトル、または文字ベクトルの cell 配列でなければなりません。応答変数が文字配列の場合、各要素は配列の 1 つの行に対応しなければなりません。

データ型: char | string

名前と値の引数

オプションの引数のペアを Name1=Value1,...,NameN=ValueN として指定します。ここで Name は引数名、Value は対応する値です。名前と値の引数は他の引数の後ろにする必要がありますが、ペアの順序は関係ありません。

R2021a より前では、名前と値をそれぞれコンマを使って区切り、Name を引用符で囲みます。

例: L = loss(Mdl,X,Y,'LossFun','quadratic','Weights',weights) は、二次損失関数を使用して重み付きの分類損失を返します。

`LossFun` — 損失関数
`'classiferror'` (既定値) | `'binodeviance'` | `'classifcost'` | `'exponential'` | `'hinge'` | `'logit'` | `'mincost'` | `'quadratic'` | 関数ハンドル

損失関数。'LossFun' と組み込みの損失関数名または関数ハンドルから構成されるコンマ区切りのペアとして指定します。

次の表は、使用できる損失関数の一覧です。対応する値を使用していずれかを指定します。

値	説明
`"binodeviance"`	二項分布からの逸脱度
`"classifcost"`	観測誤分類コスト
`"classiferror"`	10 進数の誤分類率
`"exponential"`	指数損失
`"hinge"`	ヒンジ損失
`"logit"`	ロジスティック損失
`"mincost"`	最小予測誤分類コスト (事後確率である分類スコアの場合)
`"quadratic"`	二次損失

'mincost' は、事後確率である分類スコアに適しています。カーネル分類モデルの場合、既定の設定ではロジスティック回帰学習器は事後確率を分類スコアとして返しますが、SVM 学習器はそうではありません (predict を参照)。

カスタム損失関数を指定するには、関数ハンドル表記を使用します。関数は次の形式でなければなりません。
```
lossvalue = lossfun(C,S,W,Cost)
```
- 出力引数 lossvalue はスカラーです。
- 関数名 (lossfun) を指定します。
- C は n 行 K 列の logical 行列であり、対応する観測値が属するクラスを各行が示します。n は Tbl または X 内の観測値の個数、K は異なるクラスの個数 (numel(Mdl.ClassNames)) です。列の順序は Mdl.ClassNames のクラスの順序に対応します。各行について観測値 p がクラス q に属する場合は C(p,q) = 1 を設定することにより、C を作成します。行 p の他のすべての要素を 0 に設定します。
- S は、分類スコアの n 行 K 列の行列です。列の順序は Mdl.ClassNames のクラスの順序に対応します。S は分類スコアの行列で、predict の出力と同様です。
- W は、観測値の重みの n 行 1 列の数値ベクトルです。
- Cost は、誤分類コストの、K 行 K 列の数値行列です。たとえば、Cost = ones(K) – eye(K) は、正しい分類のコストとして 0 を、誤分類のコストとして 1 を指定します。

例: 'LossFun',@lossfun

データ型: char | string | function_handle

`Weights` — 観測値の重み
`ones(size(X,1),1)` (既定値) | 数値ベクトル | `Tbl` 内の変数の名前

観測値の重み。'Weights' と数値ベクトル、または Tbl に含まれる変数の名前から構成されるコンマ区切りのペアとして指定します。

Weights が数値ベクトルである場合、Weights のサイズは X または Tbl の行数と等しくなければなりません。
Weights が Tbl 内の変数名である場合、Weights を文字ベクトルまたは string スカラーとして指定しなければなりません。たとえば、重みが Tbl.W として格納されている場合、Weights として 'W' を指定します。それ以外の場合、Tbl の列は Tbl.W を含めてすべて予測子として扱われます。

重みを指定した場合、loss は、重み付きの分類損失を計算し、合計がそれぞれのクラスの事前確率の値になるように重みを正規化します。

データ型: double | single | char | string

出力引数

すべて折りたたむ

`L` — 分類損失
数値スカラー

分類損失。数値スカラーとして返されます。L の解釈は Weights と LossFun によって異なります。

詳細

すべて折りたたむ

分類損失

"分類損失" 関数は分類モデルの予測誤差を評価します。複数のモデルで同じタイプの損失を比較した場合、損失が低い方が予測モデルとして優れていることになります。

以下のシナリオを考えます。

L は加重平均分類損失です。
n は標本サイズです。

y_j は観測されたクラスラベルです。陰性クラスを示す -1 または陽性クラスを示す 1 (あるいは、ClassNames プロパティの最初のクラスを示す -1 または 2 番目のクラスを示す 1) を使用して符号化されます。
f(X_j) は予測子データ X の観測値 (行) j に対する陽性クラスの分類スコアです。
m_j = y_jf(X_j) は、y_j に対応するクラスに観測値 j を分類する分類スコアです。正の値の m_j は正しい分類を示しており、平均損失に対する寄与は大きくありません。負の値の m_j は正しくない分類を示しており、平均損失に大きく寄与します。

観測値 j の重みは w_j です。観測値の重みは、その合計が Prior プロパティに格納された対応するクラスの事前確率になるように正規化されます。そのため、次のようになります。

$\sum_{j = 1}^{n} w_{j} = 1.$

この状況では、名前と値の引数 LossFun を使用して指定できる、サポートされる損失関数は次の表のようになります。

損失関数	`LossFun` の値	式
二項分布からの逸脱度	`"binodeviance"`	$L = \sum_{j = 1}^{n} w_{j} \log {1 + \exp [- 2 m_{j}]} .$
観測誤分類コスト	`"classifcost"`	$L = \sum_{j = 1}^{n} w_{j} c_{y_{j} {\hat{y}}_{j}},$ ここで、 ${\hat{y}}_{j}$ はスコアが最大のクラスに対応するクラスラベル、 $c_{y_{j} {\hat{y}}_{j}}$ は真のクラスが y_j である場合に観測値をクラス ${\hat{y}}_{j}$ に分類するユーザー指定のコストです。
10 進数の誤分類率	`"classiferror"`	$L = \sum_{j = 1}^{n} w_{j} I {{\hat{y}}_{j} \neq y_{j}},$ ここで、I{·} はインジケーター関数です。
クロスエントロピー損失	`"crossentropy"`	`"crossentropy"` はニューラルネットワークモデルのみに適しています。加重クロスエントロピー損失は次となります。 $L = - \sum_{j = 1}^{n} \frac{{\tilde{w}}_{j} \log (m_{j})}{K n},$ ここで重み ${\tilde{w}}_{j}$ は、合計が 1 ではなく n になるように正規化されます。
指数損失	`"exponential"`	$L = \sum_{j = 1}^{n} w_{j} \exp (- m_{j}) .$
ヒンジ損失	`"hinge"`	$L = \sum_{j = 1}^{n} w_{j} \max {0, 1 - m_{j}} .$
ロジット損失	`"logit"`	$L = \sum_{j = 1}^{n} w_{j} \log (1 + \exp (- m_{j})) .$
最小予測誤分類コスト	`"mincost"`	`"mincost"` は、分類スコアが事後確率の場合にのみ適しています。重み付きの最小予測分類コストは、次の手順を観測値 j = 1、...、n について使用することにより計算されます。観測値 X_j をクラス k に分類する予測誤分類コストを推定します。 $γ_{j k} = {(f {(X_{j})}^{'} C)}_{k} .$ f(X_j) は観測値 X_j のクラス事後確率の列ベクトルです。C はモデルの `Cost` プロパティに格納されるコスト行列です。最小予測誤分類コストに対応するクラスラベルを観測値 j について予測します。 ${\hat{y}}_{j} = \underset{k = 1, ..., K}{argmin} γ_{j k} .$ C を使用して、予測を行うために必要なコスト (c_j) を求めます。最小予測誤分類コスト損失の加重平均は次となります。 $L = \sum_{j = 1}^{n} w_{j} c_{j} .$
二次損失	`"quadratic"`	$L = \sum_{j = 1}^{n} w_{j} {(1 - m_{j})}^{2} .$

既定のコスト行列 (正しい分類の場合の要素値は 0、誤った分類の場合の要素値は 1) を使用する場合、"classifcost"、"classiferror"、および "mincost" の損失の値は同じです。既定以外のコスト行列をもつモデルでは、ほとんどの場合は "classifcost" の損失と "mincost" の損失が等価になります。これらの損失が異なる値になる可能性があるのは、最大の事後確率をもつクラスへの予測と最小の予測コストをもつクラスへの予測が異なる場合です。"mincost" は分類スコアが事後確率の場合にしか適さないことに注意してください。

次の図では、1 つの観測値のスコア m に対する損失関数 ("classifcost"、"crossentropy"、および "mincost" を除く) を比較しています。いくつかの関数は、点 (0,1) を通過するように正規化されています。

拡張機能

tall 配列
メモリの許容量を超えるような多数の行を含む配列を計算します。

使用上の注意事項および制限事項:

loss は tall table データをサポートしていません。

詳細は、tall 配列を参照してください。

バージョン履歴

R2017b で導入

すべて展開する

R2022a: 既定以外のコスト行列をもつモデルに対して `loss` で異なる値が返される

入力モデルオブジェクトに学習させるときに既定以外のコスト行列を指定すると、関数 loss で以前のリリースとは異なる値が返されます。

関数 loss は、Prior プロパティに格納された事前確率を使用して入力データの観測値の重みを正規化します。さらに、名前と値の引数 LossFun を "classifcost" または "mincost" として指定した場合、関数は Cost プロパティに格納されたコスト行列を使用します。Prior プロパティと Cost プロパティの値を関数で使用する方法については変更されていません。ただし、既定以外のコスト行列をもつモデルについて入力モデルオブジェクトに格納されるプロパティの値が変更されたため、関数から異なる値が返されることがあります。

プロパティの値の変更に関する詳細については、Cost プロパティにユーザー指定のコスト行列を格納を参照してください。

ソフトウェアでコスト行列、事前確率、および観測値の重みを以前のリリースと同じように扱う場合は、誤分類コスト行列に応じた事前確率と観測値の重みの調整の説明に従って、既定以外のコスト行列の事前確率と観測値の重みを調整します。その後、分類モデルに学習させるときに、調整後の事前確率と観測値の重みを名前と値の引数 Prior と Weights を使用して指定し、既定のコスト行列を使用します。

R2022a: 欠損値がある予測子データに対して `loss` で NaN が返されることがある

関数 loss で加重平均分類損失を計算する際に、スコアが NaN の観測値が省略されなくなりました。そのため、予測子データ X または Tbl 内の予測子変数に欠損値があり、名前と値の引数 LossFun が "classifcost"、"classiferror"、または "mincost" として指定されていない場合に、loss で NaN が返されることがあります。ほとんどの場合、テストセットの観測値に予測子の欠損がなければ、関数 loss で NaN が返されることはありません。

この変更により、fitcauto を使用する場合の分類モデルの自動選択が改善されます。この変更の前は、NaN 以外の予測子が少ないモデルが選択される (新しいデータの分類に最適であると予測される) ことがありました。

コードの loss で NaN が返される場合、このような結果にならないように、次のいずれかを行ってコードを更新できます。

rmmissing または fillmissing を使用して、欠損値を削除するか置き換えます。
名前と値の引数 LossFun を "classifcost"、"classiferror"、または "mincost" として指定します。

次の表に、オブジェクト関数 loss で NaN が返される可能性がある分類モデルを示します。詳細については、それぞれの関数 loss の「互換性の考慮事項」を参照してください。

モデルタイプ	完全またはコンパクトなモデルオブジェクト	オブジェクト関数 `loss`
判別分析分類モデル	`ClassificationDiscriminant`, `CompactClassificationDiscriminant`	`loss`
分類用のアンサンブル学習器	`ClassificationEnsemble`, `CompactClassificationEnsemble`	`loss`
ガウスカーネル分類モデル	`ClassificationKernel`	`loss`
k 最近傍分類モデル	`ClassificationKNN`	`loss`
線形分類モデル	`ClassificationLinear`	`loss`
ニューラルネットワーク分類モデル	`ClassificationNeuralNetwork`, `CompactClassificationNeuralNetwork`	`loss`
サポートベクターマシン (SVM) 分類モデル	`ClassificationSVM`, `CompactClassificationSVM`	`loss`

参考

fitckernel | ClassificationKernel | predict

loss

構文

説明

例

テストセットの分類損失の推定

カスタムな分類損失の指定

入力引数

Mdl — バイナリ カーネル分類モデル ClassificationKernel モデル オブジェクト

X — 予測子データ n 行 p 列の数値行列

Y — クラス ラベル categorical 配列 | 文字配列 | string 配列 | logical ベクトル | 数値ベクトル | 文字ベクトルの cell 配列

Tbl — 標本データ テーブル

ResponseVarName — 応答変数名 Tbl 内の変数の名前

名前と値の引数

LossFun — 損失関数 'classiferror' (既定値) | 'binodeviance' | 'classifcost' | 'exponential' | 'hinge' | 'logit' | 'mincost' | 'quadratic' | 関数ハンドル

Weights — 観測値の重み ones(size(X,1),1) (既定値) | 数値ベクトル | Tbl 内の変数の名前

出力引数

L — 分類損失 数値スカラー

詳細

分類損失

拡張機能

tall 配列 メモリの許容量を超えるような多数の行を含む配列を計算します。

バージョン履歴

R2022a: 既定以外のコスト行列をもつモデルに対して loss で異なる値が返される

R2022a: 欠損値がある予測子データに対して loss で NaN が返されることがある

参考

`Mdl` — バイナリカーネル分類モデル
`ClassificationKernel` モデルオブジェクト

`X` — 予測子データ
n 行 p 列の数値行列

`Y` — クラスラベル
categorical 配列 | 文字配列 | string 配列 | logical ベクトル | 数値ベクトル | 文字ベクトルの cell 配列

`Tbl` — 標本データ
テーブル

`ResponseVarName` — 応答変数名
`Tbl` 内の変数の名前

`LossFun` — 損失関数
`'classiferror'` (既定値) | `'binodeviance'` | `'classifcost'` | `'exponential'` | `'hinge'` | `'logit'` | `'mincost'` | `'quadratic'` | 関数ハンドル

`Weights` — 観測値の重み
`ones(size(X,1),1)` (既定値) | 数値ベクトル | `Tbl` 内の変数の名前

`L` — 分類損失
数値スカラー

tall 配列
メモリの許容量を超えるような多数の行を含む配列を計算します。

R2022a: 既定以外のコスト行列をもつモデルに対して `loss` で異なる値が返される

R2022a: 欠損値がある予測子データに対して `loss` で NaN が返されることがある