Восстановление старых фото нейросетями: что она чинит, а что выдумывает

Слово «восстановление» вводит в заблуждение. Восстановить можно то, что где-то сохранилось: вытянуть тень, в которой ещё есть градации, убрать царапину, под которой лежит эмульсия. Нейросеть делает и это тоже, но главное, за что её ценят, — другое. Она достраивает то, чего в файле нет.

Разница не философская. Она определяет, что можно отдавать родственникам и что нельзя класть в архив вместо оригинала.

Что модель чинит по-настоящему #

Здесь она работает с информацией, которая в кадре есть, и просто обрабатывает её лучше, чем ползунки в редакторе.

Зерно и шум. Модель обучена отличать структуру зерна от структуры изображения и подавляет первое, не размывая второе. Это честная работа: сюжет остаётся нетронутым, убирается только случайная составляющая.

Царапины, пыль, заломы. Дефект локальный, вокруг него есть неповреждённые пиксели, из которых заплатка восстанавливается интерполяцией. То же самое делает ретушёр руками, только быстрее.

Умеренное увеличение. Поднять кадр вдвое современный апскейлер может так, что результат выглядит естественно. Он не добавляет деталей — он делает переходы правдоподобными вместо ступенчатых.

Лёгкий смаз и расфокус. Если смаз линейный и небольшой, обратная задача решаема: информация размазана, но не потеряна.

Что она придумывает #

Черты лица. Ключевой случай, и о нём почти не пишут в обзорах «топ-10 бесплатных нейросетей».

Модели восстановления лиц обучены на десятках тысяч современных портретов. Получив участок в двенадцать пикселей, где должен быть глаз, модель не восстанавливает глаз — она рисует наиболее вероятный глаз из усвоенного распределения. Результат резкий, симметричный и убедительный. И он не принадлежит человеку на снимке.

На фотографии незнакомца этого не видно. На фотографии своей бабушки видно всем, кто её помнит: «похожа, но не она». Разошедшийся по родственникам «отреставрированный» портрет через поколение станет единственной версией лица.

Цвет в колоризации. Чёрно-белый негатив фиксирует яркость, а не длину волны. Данных о цвете там нет ни в каком виде. Колоризация — это догадка о вероятном: трава зелёная, небо голубое, платье синее, потому что синие платья встречаются чаще.

Для эмоционального эффекта годится. Как свидетельство — нет.

Мелкий текст и узоры. Вывеска на заднем плане, надпись на форме, рисунок ткани. Модель достроит нечто, похожее на буквы и на узор. Читать это как источник нельзя.

Детали, скрытые повреждением. Если оторван угол с половиной лица, модель нарисует половину лица. Логика та же, что с глазом, только масштаб больше.

Порядок работы, при котором ничего не теряется #

1. Отсканировать оригинал как есть. 600 dpi, цвет даже для чёрно-белого, формат без потерь, вся автоматика драйвера выключена. Это мастер, и он не редактируется никогда — подробнее о сканировании отпечатков.
2. Сделать копию для работы. Все дальнейшие операции идут на ней.
3. Провести обратимую коррекцию руками: уровни, точка чёрного и белого, кадрирование. Часто на этом можно остановиться — половина «нечитаемых» снимков читаема после обычной коррекции.
4. Применить модель к тому, что она чинит честно: шум, царапины, размер.
5. Отдельно решить про лица и цвет. Это уже не восстановление, а реконструкция, и решение принимается осознанно.
6. Сохранить с суффиксом и записать в каталог, что именно делали.

Как подписывать результат #

Проблема не в том, что реконструкция плохая. Проблема в том, что через двадцать лет её не отличат от оригинала, а спросить будет некого.

Минимальная гигиена:

Плюс строка в каталоге: что применяли и к чему. Схема именования и структура каталога — здесь.

Отдавая снимок родственникам, стоит сказать одной фразой: «цвет здесь предположительный» или «лицо дорисовано моделью, оригинал вот». Это занимает секунду и снимает вопрос навсегда.

Спорное место #

Позиция «нейросетевая реставрация вредна для архива» звучит категоричнее, чем стоило бы.

Есть случай, где реконструкция — единственный способ вообще что-то увидеть: снимок, залитый водой, выцветший до однородного пятна, сохранившийся обрывком. Там нечего портить, и правдоподобная догадка лучше, чем ничего.

Есть и обратная сторона у осторожности. Семейный архив существует, чтобы его смотрели. Кадр, который никто не открывает, потому что он мутный и серый, сохранён на диске, но не в семье. Реконструкция, которая заставила семью пересмотреть коробку, сделала для сохранности больше, чем идеально выдержанный мастер на диске.

Граница проходит не по инструменту, а по одному вопросу: осталась ли возможность увидеть, как было. Пока мастер-скан цел и подписан, реконструировать можно сколько угодно и как угодно. Как только реконструкция заняла место оригинала — потеряно всё, и никакая модель это не вернёт.