合成・コンポジット技術

画像合成技術

一般的には複数の異なる画像を重ね合わせ、写真作品を作るために用いられる場合が多い合成ですが、当技術では、連写された複数枚の画像を合成することで、単一画像では実現が難しい高品質な画像やさまざまな画像効果を可能とします。当社の合成技術の特徴は、独自の画像一致点検出技術(特許第4689758)により、ピクセル単位で正確に自動位置合わせを実現できることです。これにより、三脚などでカメラを固定して撮影した画像でなくとも(手持ち撮影など)自動位置合わせをおこない合成することが可能です。
また静止画に限らず、動画ファイルのフレームを画像に分解することで同様な効果を得ることができます。

画像一致点検出技術について

合成によるノイズリダクション

連写された複数枚の画像を合成すると、ノイズリダクション効果を得ることができます。
高ISO感度で撮影した場合には「カラーノイズ」と呼ばれる赤や青、緑の色のざらつきが多く発生します。また、これを抑えるための一般的なノイズリダクションでは写真がぼやけたり、再度が低下する副作用を伴います。
合成によるノイズリダクションでは、異なる複数枚の画像の情報を利用することで、単一画像へのノイズリダクション処理をはるかに超えた、精緻で高階調な画像を生成することができます。
※16枚合成するとISO感度4段階分、256枚合成するとISO感度8段階分減感した時の画質が再現されます。

被写界深度合成

被写界深度合成 元画像 (1)
被写界深度合成 元画像 (2)
被写界深度合成 元画像 (3)
被写界深度合成 合成画像

合成使用画像

被写界深度合成 元画像 (1) 被写界深度合成 元画像 (2) 被写界深度合成 元画像 (3)

同じ撮影シーンでピント位置が異なる複数枚の画像から、各画像の中でピントが合った部分だけを検出し、合成することで被写界深度を広げたような効果を得ることができます。

動体除去合成

動体除去合成 元画像 (1)
動体除去合成 元画像 (2)
動体除去合成 元画像 (3)
動体除去合成 元画像 (4)
動体除去合成 元画像 (5)
動体除去合成 合成画像

合成使用画像

動体除去合成 元画像 (2) 動体除去合成 元画像 (3) 動体除去合成 元画像 (5)

同じ撮影シーンの複数枚の画像の中からピクセル毎に出現率が高いものを残し、低いものを除去して合成をおこないます。

ストロボモーション合成

ストロボモーション合成 元画像 (1)
ストロボモーション合成 元画像 (2)
ストロボモーション合成 元画像 (3)
ストロボモーション合成 元画像 (4)
ストロボモーション合成 元画像 (5)
ストロボモーション合成 合成画像

合成使用画像

ストロボモーション合成 元画像 (1) ストロボモーション合成 元画像 (2) ストロボモーション合成 元画像 (3) ストロボモーション合成 元画像 (4) ストロボモーション合成 元画像 (5)

同じ撮影シーンの複数枚の画像の中からピクセル毎に出現率が低いものを最優先にした合成をおこないます。

比較明合成

比較明合成 元画像 (1)
比較明合成 元画像 (2)
比較明合成 元画像 (3)
比較明合成 元画像 (4)
比較明合成 元画像 (5)
比較明合成 合成画像

合成使用画像

比較明合成 元画像 (1) 比較明合成 元画像 (2) 比較明合成 元画像 (3) 比較明合成 元画像 (4) 比較明合成 元画像 (5)

選択した画像を比較し、それぞれの画像の明るい部分を優先して合成をおこないます。

超解像技術

超解像とは、解像度の低い画像から高解像度の画像を生成することを言います。
高解像度化の画像処理には、拡大した際に映像を滑らかに表示する画素補間アルゴリズムなどもありますが、全体的にボケたような印象となってしまったり、アーティファクトが発生してしまったりします。
解像力の高い超解像を達成するためには、画像に表現されていない高周波成分を復元する必要があり、技術的なアプローチには大きく分類すると下記の2つの方法があります。

複数画像から生成する方法
サンプリング数を増やして高周波成分を復元する
単一画像から生成する方法
深層学習やデータベースに基づき高周波成分を復元する

複数画像を利用した一致点検出技術による超解像

ここで紹介する方法は複数画像を利用した超解像ですが、実際には複数画像を単純に重ね合わせただけでは、高解像度な画像になりません。超解像を実現するためには、各画像の高周波情報を正確に活用した位置合わせが重要となります。当社では新たに開発したデモザイク処理を行い、さらに元データを2倍に拡大した後、特徴点検出技術と画像一致点検出技術(特許第4689758)を活用することにより、半ピクセルレベルの位置合わせを高精度に処理することで超解像を実現しています。

下記解像力チャートを撮影した画像では、超解像処理した画像がレンズの分解性能を超えていることが確認できます。

解像力チャート 全体

解像力チャート 合成前
【処理前】
超解像処理と比較するため、
画像の解像度を200%に変換

レンズの分解性能の限界の為、指標10付近で黒/白線の解像ができていない。

解像力チャート 合成後
【超解像処理】
200%拡大して
8枚の画像を合成

処理前の1枚画像では、解像が確認できなかった指標10より左側でも黒/白線パターンを確認することができ、レンズ分解性能を超えて解像している。

この技術を用いることで、高いフレームレートで撮影したドライブレコーダーや監視カメラ等の動画のフレームを分割して静止画として保存し、これらの画像を超解像処理で合成することで被写体を鮮明にすることができます。

※下記のサンプル写真はスチルカメラで連続撮影した画像の超解像処理結果となります。

超解像処理 全体

高解像度処理 合成前
【処理前】
超解像処理と比較するため、
画像の解像度を200%に変換

解像力不足で車のナンバーが読み取れない。
また、夜間撮影のため高感度での撮影となりノイズが目立つ。

高解像度処理 合成語
【超解像処理】
200%拡大して
16枚の画像を合成

車のナンバーがはっきりと読み取れる。
また、合成により色ノイズや輝度ノイズが緩和され、高画質となっています。

ご提案例

デジタルカメラ全般、スマートフォン、アクションカメラ、ウェアラブルカメラ、ドライブレコーダー、監視カメラ、ドローンなどに実装することで付加価値を高めることができます。
ソフトウェアでのご提供のほか、お客様の動作環境に合わせた組込みシステムのご相談も承ります。