立命館大学情報理工学部 陳 延偉教授の研究チームと三井E&Sシステム技研株式会社（所在地：千葉県千葉市、社長：森重利文、以下「MSR」）は、雨や霧、水中のにごりなどのノイズそのものを除去する鮮明化AIと、低解像度画像を高解像度化する鮮明化AIの2種の画像鮮明化AIモデルの研究開発を開始しました。

　この研究開発では、物体検知（侵入検知による安全対策等）やデジタル化（遠隔モニタリング等）など各種アプリケーションの精度や信頼性、機能等を高めるプロジェクトとして、最新のAI技術を活用した画像鮮明化AIモデルの開発に産学連携で取り組んでいます。

研究開発の背景

　画像鮮明化技術では、その多くが事前に大量の学習データで訓練されたAIモデル（深層学習ネットワーク）を利用しています。一方で、事前に訓練されたAIモデルを実環境に導入した場合、カメラの設定や撮影環境の変化などによる学習データと実環境とのギャップが生じ、実環境画像の鮮明化精度が著しく低下するなど、様々な課題があります。

　この課題を改善するため、①擬似実環境画像生成などの工夫、②実環境画像を用いたAIモデルのファインチューニングにより、実環境においても高精度な画像鮮明化を実現するAIモデルの開発が望まれています。

従来方法と改善方法の違いイメージ図

これまでの研究連携成果

　これまで、ノイズそのものを除去する画像鮮明化AIと、低解像度画像を高解像度化する画像鮮明化AIの2種の画像鮮明化AIモデルの開発に共同で取り組んできており、擬似実環境画像生成ネットワークや実環境画像を用いたAIモデルのファインチューニングなどの開発とその有効性を検証してきました。

ノイズ除去による画像鮮明化

・実環境画像を用いたAIモデルのファインチューニング法の開発とともに、ファインチューニングに適した残差推定ネットワーク構造（ノイズを抽出し入力画像から成分除去する手法）を開発（共同特許出願中）。

超解像度化による画像鮮明化

・従来のRCANモデル（超解像度化を実行するために設計された畳み込みニューラルネットワーク）に疑似実環境画像生成ネットワークを組み合わせたフレームワークを開発（共同特許出願検討中）。

　それぞれの画像鮮明化AIモデルで、実環境画像においても高精度な画像鮮明化が可能であることを確認しました。

ノイズ除去による画像鮮明化例–雨線の除去

左：入力画像　中央：従来方法　右：改良方法

	PSNR (↑)	SSIM (↑)	LPIPS (↓)
入力画像	18.87	0.4855	0.4047
従来方法	19.00	0.4964	0.4274
改良方法	19.53	0.5343	0.4011

※1 PSNR : Peak Signal-to-Noise Ratio / ピーク信号対雑音比
　画像の復元品質を定量的に評価する指標で高いほど良い
※2 SSIM : Structural SIMilarity / 構造的類似性指数
　原画像と再構成画像の「輝度・コントラスト・構造」の類似性を定量的に評価する指標で高いほど良い
※3 LPIPS : Learned Perceptual Image Patch Similarity / 知覚的類似性指標
　人間が画像を見て感覚的に原画像と再構成画像の差を定量的に評価する指標で低いほど良い

超解像度化による画像鮮明化例–アナログメータ目盛りの鮮明化

左：入力画像　中央：従来方法　右：改良方法

	PSNR (↑)	SSIM (↑)	LPIPS (↓)
入力画像	16.09	0.7759	0.2780
従来方法	16.18	0.7747	0.2441
改良方法	17.20	0.8041	0.2180

これまでの研究連携の成果として、有効性のある下記2件について共同での特許出願を行っています。

• 周波数領域の損失関数を用いた雨除去の精度向上（特願:2023-188014）
• 残差推定ネットワーク構造による雨除去の精度向上（特願:2023-188016）

今後の展開

　これまでの産学連携の成果をもとに、現場への適応を図るため、実際の利用シーンでの実証実験を継続して進め、実環境に適した画像鮮明化技術の実用化を目指します。さらに、物体検知（侵入検知による安全対策等）、物体識別（部材の個数検出等）、デジタル化（アナログメータの読取・OCR等）など、さまざまなアプリケーションの利用価値を高める画像鮮明化システムの構築にも取り組んでいきます。