Что такое глубокое слияние? Объяснение технологии обработки изображений Apple

Deep Fusion — это система обработки изображений, которую Apple впервые представила в серии iPhone 11, и вот как она работает.

Когда вы пробуете камеру на своем новом iPhone, вы можете заметить несколько различных режимов или фильтров, с которыми вы можете поиграть, чтобы изменить внешний вид ваших фотографий. Однако некоторые из наиболее важных функций работают в фоновом режиме без видимого присутствия в приложении — и одна из них называется Deep Fusion.

Эта функция была анонсирована с запуском айфон 11 серии еще в 2019 году, и вот как тогдашний старший вице-президент по всемирному маркетингу продуктов Фил Шиллер описал технологию, когда она была впервые представлена:

Он снимает девять изображений. Прежде чем вы нажмете кнопку спуска затвора, уже снято четыре коротких кадра, четыре дополнительных кадра; когда вы нажимаете кнопку спуска затвора, делается одна длинная выдержка, а затем всего за одну секунду Neural Engine анализирует слитую комбинацию длинных и коротких изображений, выбирая из них лучшее, выбирая все пиксели и попиксельно просматривая 24 миллиона пикселей, чтобы оптимизировать детализацию и низкий уровень шума… Это первый раз, когда нейронный движок отвечает за генерацию вывода. изображение. Это безумная наука вычислительной фотографии.

Вы можете посмотреть это объяснение с иллюстрациями на сентябрьском мероприятии Apple 2019 в видео ниже (начиная с 1:21:54):

Более кратко Apple объяснила это в своем официальный пресс-релиз следующим образом: «Deep Fusion использует расширенное машинное обучение для попиксельной обработки фотографий, оптимизируя текстуру, детали и шум в каждой части фотографии».

Вы обнаружите, что благодаря этой технологии детали воспроизводятся в очень впечатляющей степени, даже при работе в более сложных условиях. Примеры, предоставленные Apple, включая изображение выше, демонстрируют сложные и многотекстурные предметы, такие как шерстяные джемперы и кожа, при далеко не идеальном освещении, которые предстают во всей своей красе после того, как эта требовательная процедура была выполнена всего за второй.

Функция Deep Fusion наиболее полезна (и предназначена для автоматического включения) для внутренних и средних настроек освещения. Как упоминалось ранее, его не видно в интерфейсе телефона: вы не найдете кнопку «Deep Fusion» в приложении камеры, и нет простого переключателя для его включения или выключения. Грань цитирует представителя Apple, который сказал, что это «в значительной степени преднамеренно, поскольку они не хотят, чтобы люди думали о том, как сделать лучшую фотографию». Идея состоит в том, что камера просто разберется во всем за вас».

Какие устройства Apple поддерживают Deep Fusion?

Все следующие смартфоны могут использовать эту технологию:

• айфон 11
• Айфон 11 Про
• Айфон 11 Про Макс
• айфон 12
• айфон 12 мини
• айфон 12 про
• Айфон 12 Про Макс
• айфон 13
• айфон 13 мини
• айфон 13 про
• Айфон 13 Про Макс
• iPhone SE 3

Почему доверяют нашей журналистике?

Основанный в 2004 году, Trusted Reviews существует для того, чтобы давать нашим читателям подробные, непредвзятые и независимые советы о том, что покупать.

Сегодня у нас есть миллионы пользователей в месяц со всего мира, и мы оцениваем более 1000 продуктов в год.