AIで夜のザラついた写真を修正する方法：ノイズ除去とディテール復元

夜の写真がザラつく理由とノイズの正体

デジタル画像ノイズとは、カメラセンサーが弱い光のシグナルを増幅するときに現れる、明るさと色のランダムな変動です。明るい昼間では、各ピクセルに十分な光子が当たり、ランダムな変動が非常に少ない強力なシグナルを生成します。画像はクリーンです。夜間は、露光時間中に各ピクセルに届く光子がはるかに少なくなります。カメラはシグナルを電子的に増幅することで補正します（これがISOを上げることです）。この増幅により、実際の画像データとともにランダムな電子ノイズも増幅されます。その結果が、目に見える粒子です。

ノイズには2つの異なるタイプがあります。輝度ノイズはモノクロの粒子で、ランダムな明るい斑点と暗い斑点が画像にテクスチャのあるフィルムのような外観を与えます。中間調とシャドウで最も目立ち、一般的にはアナログフィルムグレインに似ているため許容されやすいです。カラーノイズ（クロミナンスノイズとも呼ばれます）は、シーンの実際の色とは無関係なランダムな赤、緑、青のスペックルとして現れます。カラーノイズは主に、暗い空の領域、シャドウ領域、ランダムな色の点が明らかに不自然に見える均一な表面で問題になります。

スマートフォンのカメラは、小型センサーが大型の専用カメラセンサーよりも1ピクセルあたりに集める光子が少ないため、低光量でのノイズが特に発生しやすいです。最近のスマートフォンのナイトモードは、複数の露出をスタッキングすることで役立ちますが、昼間の撮影と比較すると、特にシャドウ領域や、クリーンなスタッキングを妨げる動きのあるシーンでは、依然としてノイズが残ります。スマートフォンでもフルフレームカメラでも、AI denoisingによって高ISOの夜間画像の品質を大幅に回復できます。

• 高ISOは夜間の弱い光シグナルを増幅しますが、ランダムな電子ノイズも同時に増幅します。
• 輝度ノイズはモノクロの粒子を生成し、カラーノイズはランダムな赤、緑、青のスペックルを追加します。
• スマートフォンのカメラは、センサーサイズが小さく集光量が限られているため、特に影響を受けやすいです。
• ナイトモードのスタッキングは役立ちますが、特にシャドウや動くシーンではノイズが残ります。

AIノイズ除去が粒子を除去しながらディテールを保持する仕組み

従来のノイズ除去は、画像内の高周波変動を検出して平滑化することで機能します。問題は、微細なディテール、レンガ壁のテクスチャ、星の個々の点、布地の織り目、看板の文字も高周波情報であることです。単純な平滑化アルゴリズムは、ノイズの斑点と正当なシャープなディテールを確実に区別できないため、両方をぼかしてしまいます。ノイズ除去を強くするほど、より多くのディテールが失われ、処理しすぎた夜の写真に見られる特徴的なプラスチックや水彩画のような外観が生まれます。

AI denoisingは、根本的に異なるアプローチを取ります。ノイズのある画像とクリーンな画像のペアでトレーニングされたニューラルネットワークは、ノイズとディテールの統計的なシグネチャを学習します。AIは、暗い空の領域にある明るい斑点がノイズであること、より暗い点の特定のパターンに囲まれた明るい点が星団であることを認識します。シャドウ領域のランダムな色の変動がクロミナンスノイズであること、塗装された壁の同様の色の変動が正当なテクスチャであることを理解します。このパターン認識はすべてのピクセルで同時に動作し、ノイズが除去され、手動のスライダーベースのツールでは不可能なレベルでディテールが保持された結果を生成します。

実用的な違いはすぐに目に見えます。ザラついた夜景の街並みにAI Enhanceを適用し、建物のファサードをズームインしてみてください。従来のノイズ除去では、レンガがぼやけて滑らかな表面になり、窓枠のエッジが失われます。AI denoisingでは、個々のレンガは区別可能なままで、窓の縦横格子はシャープに保たれ、店先の看板は読み取れます。これらすべてのディテールを覆っていた粒子は消えています。画像は、平滑化によって平坦化されることなく、テクスチャと立体感を保持します。

• 従来のノイズ除去は粒子とディテールの両方を平滑化し、プラスチックのようなまたはぼやけた外観を生み出します。
• AI denoisingは、ノイズの斑点と正当な画像ディテールの統計的な違いを学習します。
• その結果、平滑化が破壊する建物のテクスチャ、星の点、文字、細かいエッジが保持されます。

低光量画像のシャドウディテールを復元する

夜の写真には極端なダイナミックレンジが含まれています。街灯やネオンサインは、その隣の影になった壁よりも数千倍明るい場合があります。ほとんどのカメラは明るい領域をうまく捉えますが、シャドウは露出不足になります。そして、編集で明るくしようとするとノイズで埋め尽くされます。露出不足と高ISOの組み合わせは、シャドウ領域の画質にとって最悪のシナリオを作り出します。密なノイズの下に埋もれた非常に弱い実際のシグナルです。

AI Enhanceは、ノイズ除去とシャドウ復元を同時に実行することで、これに対処します。シャドウ領域からノイズを除去すると、生データには常に存在していたが粒子の下で見えなかったディテールが明らかになります。平らな黒い長方形に見えた建物のファサードが、テクスチャ、窓、建築のディテールを示すようになります。暗い公園エリアの葉は、個々の葉や枝を明らかにします。路面は車線標示とテクスチャを示します。このシャドウ復元により、ハイライトにのみ情報があるハイコントラストなシーンから、全トーン範囲にわたってディテールがあるバランスの取れた写真へと画像が変わります。

• 夜の写真は、つぶれたシャドウと飛んだハイライトを持つ極端なダイナミックレンジを持つことがよくあります。
• AIはノイズを除去すると同時に、露出不足のシャドウ領域のディテールを復元します。
• シャドウ復元は、密なノイズの下に隠れたテクスチャ、建築のディテール、葉を明らかにします。

ノイズ除去後に新たに見えるようになった邪魔な要素をクリーンアップする

効果的なノイズ除去の予期せぬ副作用として、フレーム内の小さな邪魔な要素が非常に目立つようになることがあります。画像が粒子で覆われている場合、全体的なテクスチャがそれらを隠してしまうため、視聴者の目は軽微な欠陥にある程度寛大です。粒子が除去されて画像がクリーンでシャープになると、建物に取り付けられた防犯カメラ、空を横切る電線、歩道のゴミ、街角の見苦しいユーティリティボックスなどが、以前にはなかった方法で飛び出して見えます。

ここでMagic Eraserが、夜の写真ワークフローにおける貴重な第二ステップとなります。ノイズ除去後、構図から気を散らす要素がないか画像をスキャンしてください。夜空を横切る電線、建物の屋根線と交差する街灯柱、明るい光源からのレンズフレアアーティファクト、その他シーンを損なう要素を削除します。AI denoisingとそれに続くターゲットを絞ったオブジェクト除去の組み合わせにより、技術的にクリーンで構成的に洗練された最終画像が得られます。

天体写真では、このクリーンアップステップが特に有用です。衛星の軌跡、飛行機の灯り、地平線の迷光などは、主要な星野がノイズ除去とシャープ化された後にすべて除去できます。その結果、シーンにふさわしい明瞭さで星と天の川を表示する夜空の画像が得られますが、実際の条件では単一の未編集の露出でそれを提供することはめったにありません。

• ノイズ除去により、小さな邪魔な要素（電線、カメラ、ユーティリティボックス、ゴミ）がより目立つようになります。
• Magic Eraserはこれらの新たに見えるようになった要素を削除し、構図的にクリーンな結果を提供します。
• 天体写真は、衛星の軌跡、飛行機の灯り、地平線の光害を除去することで恩恵を受けます。