異種画像を用いた深層学習による分類

異種画像データを用いた深層学習による分類を行いたいと考えております。

入力画像を1枚ではなく、異なる2枚の画像を用いて、予測モデルを構築したいと考えています。

MATLABにはそのようなツールはありますでしょうか。

どうぞよろしくお願いいたします。

[Kenta]

https://github.com/KentaItakura/Image-Classification-using-CNN-with-Multi-Input-using-MATLAB

私の更新が滞ってますが、これがほぼそのまま使えるのではないかと思います。例えば、車の屋根の画像とタイヤの画像を入力としてその車種を分類したい、とかそのような感じですよね？

Answer 1

[Shunichi Kusano]

必要なツールは揃っていますので、それらを組合わせて書く必要があるかと思います。

まずこちらのサンプルをたたき台にしてみてはいかがでしょうか。

https://jp.mathworks.com/help/deeplearning/ug/train-a-siamese-network-to-compare-images.html

今回のケースではネットワークの構造はこの例題とほぼ同じでいいかと思います。何を予測値とするかでLoss周りの書き方は変える必要がありますが…。

各画像をresnet18のような学習済みのネットワークに通し特徴ベクトルを得ます。2つのベクトルを組合せて最後の数層にかけて何らかの予測値を出すことができます。

[創 尾崎]

ご回答ありがとうございます。

自分が行いたい事として、

目標は、答えあり画像データを入力値として3つのクラスに分類する予測モデルを作りたいと考えており、

そのためにRGB画像で得られた異なる画像2枚を1つの入力値として1つのクラスを持たせ、それらを学習データとし、3つのクラスに分類する予測モデルを作りたい。

と考えているのですが、可能でしょうか。

[Shunichi Kusano]

はい、どのくらいの精度が出るかはやってみないとわからないですが、できます。

ご紹介したサンプルは2つの画像を入力し、1つの予測値を出すものですのでご要望の内容をほぼそのまま実現できます。すでに書いた通り大きく変える必要があるのは、損失関数（Loss）と最終層周りで、これらを3クラス分類用に書き換える必要が出てきます。

https://jp.mathworks.com/help/deeplearning/ug/train-network-using-custom-training-loop.html

こちらのサンプルは他クラス分類用のネットワークの例になってますので、Lossと最終層の書き方の参考にされるといいかと思います。

まずこのサンプルで1画像入力の3クラス分類を実装し感触を掴んでから、先に進む、というステップを踏んでもいいかもしれません。