Какво е Deep Fusion? Обяснена е технологията на Apple за обработка на изображения

Deep Fusion е система за обработка на изображения, която Apple за първи път представи в серията iPhone 11 и ето как работи.

Когато изпробвате камерата на новия си iPhone, може да забележите няколко различни режима или филтри, с които можете да си играете, за да промените как изглеждат снимките си. Някои от най-важните функции обаче работят във фонов режим без видимо присъствие в приложението - и една от тях се нарича Deep Fusion.

Тази функция беше обявена с пускането на iPhone 11 серия, още през 2019 г., а ето как тогавашният старши вицепрезидент на световния продуктов маркетинг Фил Шилер описа технологията, когато беше представена за първи път:

Заснема девет изображения. Преди да натиснете бутона на затвора, той вече е заснет четири кратки изображения, четири вторични изображения; когато натиснете бутона на затвора, отнема една дълга експозиция и след това само за една секунда Neural Engine анализира комбинираната комбинация от дълги и къси изображения, избирайки най-доброто измежду тях, избиране на всички пиксели и пиксел по пиксел, преминаване през 24 милиона пиксела, за да се оптимизира за детайлност и нисък шум... Това е първият път, когато невронният двигател е отговорен за генерирането на изхода образ. Това е луда наука за компютърната фотография.

instagram viewer

Можете да гледате това обяснение, с илюстрации на изображения, на събитието на Apple през септември 2019 г. във видеото по-долу (започвайки от 1:21:54):

По-накратко, Apple го обясни в своя официално съобщение за пресата както следва: „Deep Fusion използва усъвършенствано машинно обучение, за да обработва снимки пиксел по пиксел, като оптимизира за текстура, детайли и шум във всяка част от снимката.“

Кредит на изображението: Apple (iPhone 11)

Трябва да откриете, че детайлите се възпроизвеждат до изключително впечатляваща степен благодарение на тази технология, дори когато работите при по-предизвикателни условия. Примерите, дадени от Apple, включително изображението по-горе, показват предизвикателни и много текстурирани обекти като вълнени джъмпери и кожа, при по-малко от идеалното осветление, които се показват в цялата си слава, след като тази взискателна процедура се проведе само за второ.

Функцията Deep Fusion е най-полезна (и е предназначена да се включва автоматично) за настройки на закрито и средно осветление. Както беше споменато по-горе, той не се вижда в интерфейса на телефона: няма да намерите бутон „Deep Fusion“ в приложението за камера и няма прост превключвател за включване или изключване. На ръба цитира говорител на Apple, който казва, че това е „много умишлено, тъй като не иска хората да мислят как да направят най-добрата снимка. Идеята е, че камерата просто ще ви подреди“.