Как исправить зернистые ночные фото с ИИ: убрать шум и вернуть детали

Почему ночные фото зернистые и что такое noise на самом деле

Цифровой image noise — это случайное изменение яркости и цвета, которое появляется, когда сенсор камеры усиливает слабый световой сигнал. При ярком дневном свете на каждый пиксель сенсора попадает достаточно фотонов, создавая сильный сигнал с очень малыми случайными отклонениями — изображение чистое. Ночью на каждый пиксель за время выдержки попадает гораздо меньше фотонов. Камера компенсирует это, усиливая сигнал электронно (именно это и делает повышение ISO). Это усиление увеличивает случайный электронный noise вместе с фактическими данными изображения. Результат — то самое зерно, которое вы видите.

Существует два различных типа noise. Luminance noise — это монохроматическое зерно, случайные светлые и темные крапинки, придающие изображению текстурированный, пленочный вид. Он наиболее заметен в средних тонах и тенях и обычно менее критичен, поскольку напоминает аналоговое фотопленочное зерно. Color noise, также называемый chrominance noise, проявляется в виде случайных красных, зеленых и синих крапинок, не имеющих отношения к реальным цветам сцены. Color noise особенно нежелателен на темных участках неба, в областях теней и на однородных поверхностях, где случайные цветные точки явно выглядят инородными.

Камеры телефонов особенно подвержены noise в условиях низкой освещенности, поскольку их маленькие сенсоры собирают меньше фотонов на пиксель, чем более крупные сенсоры dedicated камер. Ночной режим на современных телефонах помогает, объединяя несколько экспозиций. Но результаты все равно более шумные по сравнению с дневными снимками, особенно в областях теней и в сценах с движением, которое мешает чистому объединению. Снимаете ли вы на телефон или на полнокадровую камеру, AI denoising может значительно улучшить качество изображений с высоким ISO, сделанных ночью.

• Высокое ISO усиливает слабый световой сигнал ночью, но также усиливает случайный электронный noise.
• Luminance noise создает монохроматическое зерно; color noise добавляет случайные красные, зеленые и синие крапинки.
• Камеры телефонов особенно страдают из-за маленького размера сенсора и ограниченного сбора света.
• Ночной режим с объединением кадров помогает, но все равно оставляет noise, особенно в тенях и движущихся сценах.

Как AI noise reduction сохраняет детали, удаляя зерно

Традиционное noise reduction работает путем обнаружения высокочастотных вариаций в изображении и их сглаживания. Проблема в том, что мелкие детали — текстура кирпичной стены, отдельные точки звезд, переплетение ткани, надписи на вывеске — тоже являются высокочастотной информацией. Простой алгоритм сглаживания не может надежно отличить шумную крапинку от реальной четкой детали, поэтому он размывает и то, и другое. Чем сильнее noise reduction, тем больше деталей теряется, создавая тот характерный пластиковый или акварельный вид переработанных ночных фото.

AI denoising применяет принципиально иной подход. Нейронные сети, обученные на парах шумных и чистых изображений, изучают статистические сигнатуры noise в отличие от деталей. AI распознает, что яркая крапинка в темной области неба — это noise, а яркая точка, окруженная специфическим паттерном более тусклых точек — это скопление звезд. Он понимает, что случайное изменение цвета в области тени — это chrominance noise, а аналогичное изменение цвета на окрашенной стене — это легитимная текстура. Это распознавание паттернов работает одновременно на каждом пикселе, выдавая результат, где noise удален, а детали сохранены в степени, недоступной для ручных инструментов с ползунками.

Практическая разница видна сразу. Примените AI Enhance к зернистому ночному городскому пейзажу и увеличьте фасад здания. При традиционном noise reduction кирпичи размываются в гладкую поверхность, а оконные рамы теряют свои края. При AI denoising отдельные кирпичи остаются различимыми, оконные переплеты остаются четкими, а вывески на витринах остаются читаемыми. При этом зерно, покрывавшее все эти детали, исчезает. Изображение сохраняет свою текстуру и объемность вместо того, чтобы быть сплющенным сглаживанием.

• Традиционное noise reduction сглаживает как зерно, так и детали, создавая пластиковый или размытый вид.
• AI denoising изучает статистическую разницу между шумными крапинками и легитимными деталями изображения.
• Результат сохраняет текстуры зданий, звездные точки, надписи и тонкие края, которые сглаживание уничтожает.

Восстановление деталей в тенях на снимках с низкой освещенностью

Ночные фото содержат экстремальный динамический диапазон. Уличный фонарь или неоновая вывеска могут быть в тысячи раз ярче, чем затененная стена рядом с ними. Большинство камер хорошо передают яркие области, но недоэкспонируют тени, которые затем заполняются noise при попытке осветлить их в редакторе. Сочетание недоэкспозиции и высокого ISO создает наихудший сценарий для качества изображения в областях теней — очень мало реального сигнала, погребенного под плотным noise.

AI Enhance решает эту проблему, выполняя noise reduction и восстановление теней одновременно. Удаляя noise из областей теней, он раскрывает детали, которые всегда присутствовали в raw-данных, но были невидимы под зерном. Фасад здания, который выглядел как плоский черный прямоугольник, теперь показывает текстуру, окна и архитектурные детали. Листва в темной парковой зоне раскрывает отдельные листья и ветви. Дорожное покрытие показывает разметку и текстуру. Это восстановление теней превращает изображение из высококонтрастной сцены с информацией только в светах в сбалансированную фотографию с деталями во всем тональном диапазоне.

• Ночные фото часто имеют экстремальный динамический диапазон с проваленными тенями и пересвеченными светами.
• AI одновременно удаляет noise и восстанавливает детали в недоэкспонированных областях теней.
• Восстановление теней раскрывает текстуры, архитектурные детали и листву, скрытые под плотным noise.

Очистка отвлекающих элементов, ставших заметными после denoising

Неожиданный побочный эффект эффективного noise reduction заключается в том, что мелкие отвлекающие элементы в кадре становятся гораздо более заметными. Когда изображение покрыто зерном, глаз зрителя более снисходителен к мелким несовершенствам, потому что общая текстура маскирует их. Как только зерно удалено и изображение стало чистым и резким, камера наблюдения на здании, линия электропередач, пересекающая небо, мусор на тротуаре или неприглядный коммуникационный ящик на углу улицы бросаются в глаза так, как раньше.

Здесь Magic Eraser становится ценным вторым шагом в рабочем процессе ночной фотографии. После denoising просмотрите изображение на предмет элементов, которые теперь отвлекают от композиции. Удалите линии электропередач, пересекающие ночное небо, столбы уличного освещения, пересекающие линию крыши здания, артефакты бликов от ярких источников света и любые другие элементы, которые отвлекают от сцены. Комбинация AI denoising с последующим целевым удалением объектов дает финальное изображение, которое является как технически чистым, так и композиционно проработанным.

Для астрофотографии этот этап очистки особенно полезен. Спутниковые треки, огни самолетов и stray световое загрязнение на горизонте — все это можно удалить после того, как основное звездное поле было denoised и повышено резкость. Результат — изображение ночного неба, показывающее звезды и Млечный Путь с той четкостью, которую заслуживает эта сцена, но которую реальные условия редко обеспечивают в одном необработанном кадре.

• Удаление noise делает мелкие отвлекающие элементы более заметными — линии электропередач, камеры, коммуникационные ящики и мусор.
• Magic Eraser удаляет эти вновь ставшие заметными элементы для композиционно чистого результата.
• Астрофотография выигрывает от удаления спутниковых треков, огней самолетов и светового загрязнения на горизонте.