Технология deep fusion что это

Deep Fusion в камере iPhone 11 и 11 Pro: что это, как работает и как включить?

На презентации iPhone 11 и iPhone 11 Pro компания Apple поведала о появлении новой технологии Deep Fusion. Вице-президент по маркетингу, Фил Шиллер, назвал ее «безумной наукой вычислительной фотографии». Но оценить Deep Fusion в действии пользователи смогли только с выходом iOS 13.2.

Технология deep fusion что это. Технология deep fusion что это фото. картинка Технология deep fusion что это. смотреть фото Технология deep fusion что это. смотреть картинку Технология deep fusion что это.

Что делает Deep Fusion при съемке фото в iPhone?

Новшество предназначено для автоматического создания и улучшения снимков. Принцип действия этой технологии чем-то напоминает HDR. Камера iPhone создает несколько снимков с разной экспозицией и комбинирует их для обеспечения максимальной детализации. Участие в обработке принимает нейросеть. Но если HDR предназначена для расширения динамического диапазона и повышения детализации в тенях, то Deep Fusion позволяет улучшить общую детализацию снимков.

Технология deep fusion что это. Технология deep fusion что это фото. картинка Технология deep fusion что это. смотреть фото Технология deep fusion что это. смотреть картинку Технология deep fusion что это.

После нажатия и до срабатывания кнопки затвора камера самостоятельно делает три снимка, установив для них короткую выдержку. А уже после первого этапа съемки – еще 4 кадра, один из них с длинной выдержкой. Все эти 7 снимков обрабатываются попиксельно и объединяются на основе лучших вариантов. Такая работа позволяет увеличить детализацию, убрать шумы, засветы и перетемненные участки. На выходе получается максимально бесшумный и четкий снимок.

Как включить автоматическое улучшение фотографии Deep Fusion на iPhone?

Чтобы функция Deep Fusion работала, перейдите по пути Настройки → Основные → Камера и отключите опцию «Захват фото вне кадра». Впоследствии функция автоматически будет применяться аппаратом во время съемки в зависимости от условий.

Технология deep fusion что это. Технология deep fusion что это фото. картинка Технология deep fusion что это. смотреть фото Технология deep fusion что это. смотреть картинку Технология deep fusion что это.

Блогер Тайлер Стейльман одним из первых протестировал работу Deep Fusion на своем iPhone 11. Объектом для съемки он выбрал самого себя. Для сравнения блогер привел фото с включенной Smart HDR. На увеличенных фрагментах снимка нетрудно увидеть, что с помощью Deep Fusion намного лучше передана детализация бороды (видны даже волоски), структура кожи и узор рубашки.

Технология deep fusion что это. Технология deep fusion что это фото. картинка Технология deep fusion что это. смотреть фото Технология deep fusion что это. смотреть картинку Технология deep fusion что это.

Технология deep fusion что это. Технология deep fusion что это фото. картинка Технология deep fusion что это. смотреть фото Технология deep fusion что это. смотреть картинку Технология deep fusion что это.

Технология deep fusion что это. Технология deep fusion что это фото. картинка Технология deep fusion что это. смотреть фото Технология deep fusion что это. смотреть картинку Технология deep fusion что это.

Технология deep fusion что это. Технология deep fusion что это фото. картинка Технология deep fusion что это. смотреть фото Технология deep fusion что это. смотреть картинку Технология deep fusion что это.

Стейльман заметил, что вырос и размер файла. Если снятый на iPhone XR снимок Smart HDR занимает 1,4 МБ в формате HEIC, то на iPhone 11 аналогичный кадр, обработанный Deep Fusion, займет уже 2,6 МБ.

Какие iPhone поддерживают Deep Fusion?

Поддержка технологии Deep Fusion предусмотрена только в iPhone 11, 11 Pro и 11 Pro Max и более новых моделях смартфонов Apple. Это легко объяснить – обработкой снимкой занимается новый 8-ядерный нейронный движок, установленный в процессор A13. Он присутствует только в новых моделях iPhone.

Источник

Как работает технология сверхчетких фото Deep Fusion в iPhone 11. Примеры

Технология deep fusion что это. Технология deep fusion что это фото. картинка Технология deep fusion что это. смотреть фото Технология deep fusion что это. смотреть картинку Технология deep fusion что это.

Пользователи уже активно тестируют технологию Deep Fusion для автоматического улучшения фотографий, появившуюся в iOS 13.2 beta 1. Она комбинирует лучшие моменты с нескольких разных снимков в один, обрабатывая их нейросетью и выдавая лучший, наиболее детализированный результат.

В обычном режиме фотографирования вы не заметите, что функция включена. Она работает автономно.

Важно: снимки, полученные через эту технологию, прогружаются спустя 2-3 секунды. Если этого не произошло, просто приблизьте фото.

Если вам не нравится результат, добавьте любой эффект в редакторе приложения Фото. Изображение станет мягче.

Примеры фото

Пример 1. Обратите внимание на надписи на линейке, с включённой технологией они получились очень чёткими, а с выключенной — размытыми.

Технология deep fusion что это. Технология deep fusion что это фото. картинка Технология deep fusion что это. смотреть фото Технология deep fusion что это. смотреть картинку Технология deep fusion что это.
Слева: Deep Fusion включён, справа: Deep Fusion выключен

Пример 2. Посмотрите на тумбу повнимательнее. На правой фотографии видно, как единственный на ней волосок хорошо выделяется, а не смешивается со всем фоном. Зелёная отделка стала более детализированной с iOS 13.2.

Технология deep fusion что это. Технология deep fusion что это фото. картинка Технология deep fusion что это. смотреть фото Технология deep fusion что это. смотреть картинку Технология deep fusion что это.
Слева: Deep Fusion включён, справа: Deep Fusion выключен

А вот снимки, сделанные Себастьяном Де Виттом. На ободе динамика с камеры iPhone 11 с iOS 13.2 видны более четкие текстуры, чем на iPhone 11 Pro с iOS 13.1.2.

Или другое фото с объективом при слабой освещённости. Видно, что надписи на объекте получились чётче, а шумов стало немного меньше.

Снимки сделаны на сверхширокоугольную камеру.

Технология deep fusion что это. Технология deep fusion что это фото. картинка Технология deep fusion что это. смотреть фото Технология deep fusion что это. смотреть картинку Технология deep fusion что это.
Слева: Deep Fusion включён, справа: Deep Fusion выключен

Технология deep fusion что это. Технология deep fusion что это фото. картинка Технология deep fusion что это. смотреть фото Технология deep fusion что это. смотреть картинку Технология deep fusion что это.
Слева: Deep Fusion включён, справа: Deep Fusion выключен

Пример от Тайлера Стейльмана. Deep Fusion отлично захватил бороду, лицо и некоторые элементы свитера.

Технология deep fusion что это. Технология deep fusion что это фото. картинка Технология deep fusion что это. смотреть фото Технология deep fusion что это. смотреть картинку Технология deep fusion что это.
Слева: Deep Fusion выключен, справа: Deep Fusion включен

Технология deep fusion что это. Технология deep fusion что это фото. картинка Технология deep fusion что это. смотреть фото Технология deep fusion что это. смотреть картинку Технология deep fusion что это.
Слева: Deep Fusion выключен, справа: Deep Fusion включен

Технология deep fusion что это. Технология deep fusion что это фото. картинка Технология deep fusion что это. смотреть фото Технология deep fusion что это. смотреть картинку Технология deep fusion что это.
Слева: Deep Fusion выключен, справа: Deep Fusion включен

Ниже очередной наглядный снимок от блогера с канала iPhonedo. Обратите внимание на линии.

Технология deep fusion что это. Технология deep fusion что это фото. картинка Технология deep fusion что это. смотреть фото Технология deep fusion что это. смотреть картинку Технология deep fusion что это.
Слева: Deep Fusion включен, справа: Deep Fusion выключен

А вот блогер с канала Mark’s Tech решил сравнить не фотографии с двух айфонов, а с Samsung Galaxy Note10+ и iPhone 11 с iOS 13.2. И знаете, «самсунг» сделал настоящую кашу, тогда как у айфона получился достаточно чёткий снимок.

Технология deep fusion что это. Технология deep fusion что это фото. картинка Технология deep fusion что это. смотреть фото Технология deep fusion что это. смотреть картинку Технология deep fusion что это.
Слева: iPhone 11 с Deep Fusion, справа: Samsung Galaxy Note10+

И напоследок. Фото листа кленового дерева от пользователя iMZ. На фотографии с Deep Fusion видны высокая детализация и текстура, тогда как без технологии перед нами размытый лист.

Технология deep fusion что это. Технология deep fusion что это фото. картинка Технология deep fusion что это. смотреть фото Технология deep fusion что это. смотреть картинку Технология deep fusion что это.
Слева: Deep Fusion включен, справа: Deep Fusion выключен

Что в итоге

Сейчас различия не всегда легко заметить, но уже видно, что технология работает. Фотографии, сделанные с помощью Deep Fusion, получаются более детализированными на обычной, сверхширокоугольной и телефото камерах. При приближении теряется меньше элементов, а шумы на снимках сглаживаются.

Пользователи отмечают, что полученные фотографии с Deep Fusion весят примерно в 2 раза больше, чем во время обычной съёмки. Тот же Стейльман говорит, что фото с iPhone XR занимает 1,4 МБ места, с iPhone 11 — 2,6 МБ.

Это только первая бета-версия iOS 13.2. Со временем Apple может улучшить работу технологии.

Источник

Как включить функцию Deep Fusion на iPhone 11, iPhone 12 и старых iPhone

Вместе с iPhone 11 Apple представила технологию съёмки Deep Fusion с использованием искусственного интеллекта и нейронных сетей для получения на выходе максимально качественной фотографии. Технологию даже успели прозвать «режимом для свитера», так как Deep Fusion лучше всего справляется с обработкой мелких деталей. И хотя много где можно встретить информацию, что эта функция включена на новых iPhone по умолчанию, зачастую ее необходимо активировать вручную в настройках. Ниже расскажу, как это сделать.

Технология deep fusion что это. Технология deep fusion что это фото. картинка Технология deep fusion что это. смотреть фото Технология deep fusion что это. смотреть картинку Технология deep fusion что это.

Хотите делать фото с максимальными деталями? Deep Fusion поможет

Что такое Deep Fusion?

При съемке Deep Fusion задействует сразу несколько инструментов. Технология анализирует каждый пиксель и улучшает его, получая на выходе максимально бесшумный и максимально чёткий снимок без засветов и тёмных зон. Также она делает три снимка с короткой выдержкой до нажатия на кнопку спуска затвора, а потом ещё четыре, один из которых — на длинной выдержке. Потом все эти кадры объединяются в один и достигается более высокий уровень детализации кадра. Вместе с попиксельной обработкой снимка на выходе получается действительно сочное фото.

Вот парочка примеров (да, героев специально попросили надеть свитер тонкой вязки):

Технология deep fusion что это. Технология deep fusion что это фото. картинка Технология deep fusion что это. смотреть фото Технология deep fusion что это. смотреть картинку Технология deep fusion что это.

Как работает Deep Fusion

Технология deep fusion что это. Технология deep fusion что это фото. картинка Технология deep fusion что это. смотреть фото Технология deep fusion что это. смотреть картинку Технология deep fusion что это.

Deep Fusion хорошо справляется с мелкими деталями

Как включить Deep Fusion на iPhone 11 и iPhone 12

Deep Fusion действительно в большинстве случаев включается автоматически, но этот режим активируется только в определенных случаях. В первую очередь у вас должна быть установлена iOS 13.2 и новее. После этого проверьте следующие настройки:

Технология deep fusion что это. Технология deep fusion что это фото. картинка Технология deep fusion что это. смотреть фото Технология deep fusion что это. смотреть картинку Технология deep fusion что это.

Отключите эту функцию для работы Deep Fusion

После этого Deep Fusion будет срабатывать в автоматическом режиме. Хотя индикатор, указывающий на активную работу Deep Fusion не появится, вы однозначно заметите улучшенное качество фотографий.

Зачем отключать функцию Показ вне кадра? Она используется для захвата остальной части сцены за пределами кадра, однако Deep Fusion не может работать в таком режиме из-за недостатка пикселей фокусировки и оптической стабилизации изображения. Поэтому если вы оставите Показ вне кадра включенным, Deep Fusion работать не будет.

На каких iPhone есть Deep Fusion?

Поддержка технологии Deep Fusion на данный момент предусмотрена в iPhone 11, 11 Pro, 11 Pro Max и новее. Главное, чтобы в телефоне был 8-ядерный нейронный движок, установленный в процессор A13 и A14.

Однако включить функцию Deep Fusion можно и на старых iPhone с помощью сторонних приложений. Например, в популярном приложении камеры Halide также есть режим обработки фото с искусственным интеллектом (Smartest Processing), просто в этом случае используются алгоритмы не Apple, а стороннего разработчика. Они работают не так эффективно, но все же неплохо, учитывая, что других вариантов улучшить камеру айфона по сути нет. В нашем канале Яндекс.Дзен мы рассказывали об этом более подробно.

Преимущество Smartest Processing в том, что данная функция может улучшать как обычные фотографии, так и портретные снимки, и даже ночные. Тогда как Deep Fusion обычно работает хорошо только в условиях с хорошим освещением.

А как вы фотографируете на iPhone? Используете ли вы сторонние приложения вроде Halide или какие-то встроенные функции iOS? Расскажите в комментариях или можете даже отправить примеры фотографий в наш Телеграм-чат.

Источник

Проверили, как работает Deep Fusion в новых iPhone

Вчера вечером Apple выпустила обновление iOS 13.2 для iPhone. Главное нововведение — функция Deep Fusion. Если коротко, то это штука, которая улучшает качество фотоснимков. Происходит это благодаря нейромодулю в составе чипа А13 Bionic, с помощью которого система снимает несколько фото с разными значениями экспозиции, проводит попиксельный анализ снимков и затем объединяет лучшие их части в одну крутую фотографию. Как результат — снимки с Deep Fusion отличаются высокой детализацией и фактурностью. Далее будет несколько сравнительных примеров, как снимает iPhone с Deep Fusion и без этой функции.

Технология deep fusion что это. Технология deep fusion что это фото. картинка Технология deep fusion что это. смотреть фото Технология deep fusion что это. смотреть картинку Технология deep fusion что это.

Для начала отметим, что Deep Fusion работает только на iPhone 11/11 Pro/11 Pro Max. Но и это не все. Дело в том, что Apple никак не обозначает на вашем смартфоне, работает в данный момент функция или нет. Система сама решает, когда надо активировать Deep Fusion, и не ставит пользователя в известность.

Технология deep fusion что это. Технология deep fusion что это фото. картинка Технология deep fusion что это. смотреть фото Технология deep fusion что это. смотреть картинку Технология deep fusion что это.

Точно известно, что Deep Fusion, как и ночной режим, не работает при съемке с ультраширокоугольной камеры. На основной камере функция активируется при низкой освещенности. А вот на телеобъективе Deep Fusion работает почти всегда, кроме очень яркого освещения, когда задействован Smart HDR.

Источник

Магия Deep Fusion от Apple: Что это на самом деле?

На прошлой неделе Apple выпустили бета-версию iOS 13.2 в которой стала доступна новая революционная технология Deep Fusion, улучшающая фото. Результаты первых тестов получились неоднозначными, вроде бы стало лучше, а вроде бы это совсем чуть-чуть заметно.

Поэтому мы решили разобраться, что это за зверь такой и вообще кому Deep Fusion нужен. Что на самом деле делает эта технология и есть ли в ней смысл?

Как работает?

Начнём с того зачем вообще понадобилась новая технология и что она делает? Если спросить большинство пользователей Apple, они ответят: делает красиво! На самом деле все это работает весьма интересно!

ЭТАП 1

Еще до того как вы нажали на кнопку затвора, в циклическом буфере вращается 8 фотографий: 4 с короткой выдержкой, чтобы заморозить движение и 4 с нормальной.

Плюс ко всему, после нажатия кнопки затвора, делается ещё один снимок, с длинной выдержкой и соответственно яркой экспозицией.

ЭТАП 2

Далее из снимков с короткой выдержкой выбирается наиболее удачный, он становится референтным кадром из которого будут браться контуры и информация о светлых участках. Пока это всё очень напоминает то как делает снимки Pixel со своим HDR+, но вот дальше Apple начинает удивлять.

ЭТАП 3

Дальше, из трех кадров с нормальной выдержкой и одного с длинной каким-то волшебным образом создаётся, так называемый, синтетический длинный снимок. В котором мало шума и есть информация в тенях.

ЭТАП 4

В завершение начинается какое-то вычислительное нейронное пиксельное соитие от Apple: склеиваются референсный и синтетический длинный снимок.

Но самое интересное вот что. Различным участкам этих кадров присваивается один из четырёх уровней детализации. Однотонные области, такие как небо, стены, и прочее — получают наименьший уровень, а, например, кожа, волосы, ткани — наивысший.

Потом оба снимка сливаются воедино, причём необычно: из одного одного снимка берутся только детали, а из другого — цвет, тон и яркость.

Начнём с натюрморта

На первый взгляд снимки одинаковые, но если присмотреться можно заметить, что ковер и нитки в нижнем правом углу выглядят заметно детальнее на фотографии справа.

С другой стороны, если посмотреть на синюю папку на обычной фотографии текстура однородная, а на фотографии с Deep Fusion видно, что какие-то участки детальные, а какие-то размытые. Тоже самое с чёрной тканью в центре кадра (посередине такая размазня).

Видимо, это как раз следствие разбивки фотографии на 4 уровня детализации. Какому-то участку кадра везет, а какому-то нет. Пока что алгоритм в бета-версии, тем более на этой фотографии чуть по разному сработал автофокус, поэтому не будем судить строго. Погнали дальше.

Следующее фото сделано с той же точки на телеобъектив.

Если не приближать снимок, полученный с помощью Deep Fusion фотография выглядит заметно детальнее, контрастнее, лучше видны текстуры. Но если увеличить видно что, всё не так однозначно.

Синяя папка всё также неравномерно размыта, тут явно проблема не в автофокусе, просто так работает алгоритм.

Технология deep fusion что это. Технология deep fusion что это фото. картинка Технология deep fusion что это. смотреть фото Технология deep fusion что это. смотреть картинку Технология deep fusion что это.

А если посмотреть на текст комикса видно, что разрешение на Deep Fusion фотографии существенно ниже чем на обычной.

Результат неоднозначный, с одной стороны разрешение упало, но с другой, если не увеличивать, фотография с Deep Fusion выглядит интереснее.

Вот ещё пара примеров с телеобъектива. В обоих случаев фотографии с Deep Fusion выглядят немного контрастнее, но в целом мало чем отличаются от Smart HDR.

Теперь перейдём к портретам.

И вот тут выясняется интересный момент. Несмотря на заявление Apple, что Deep Fusion должен работать при среднем освещении, на практике выяснилось, что при обычном комнатном освещении он не включается. Не говоря уже про уютный свет в любимом баре.

Deep Fusion начинает работать только при довольно ярком искусственном освещении или на улице в пасмурную погоду. В более темных сценариях начинает работать ночной режим.

В текущей бете не так легко понять, что Deep Fusion используется в конкретном снимке. Для этого надо сразу после съемки открыть фотку, и если она будет обрабатываться и чуть изменится, значит функция активировалась.

Причем, чем ярче освещение тем больше заметен эффект. Вот пример портретов на телеобъектив.

Довольно тусклый свет, ISO 500:
Технология deep fusion что это. Технология deep fusion что это фото. картинка Технология deep fusion что это. смотреть фото Технология deep fusion что это. смотреть картинку Технология deep fusion что это.

Это нижняя граница, при которой Deep Fusion включается, но никаких преимуществ по сравнению со Smart HDR не даёт.

Но уже на ISO 400 Deep Fusion уже существенно вырывается вперед.

Технология deep fusion что это. Технология deep fusion что это фото. картинка Технология deep fusion что это. смотреть фото Технология deep fusion что это. смотреть картинку Технология deep fusion что это.

С увеличением количества света отрыв нарастает.
ISO 200:

ISO 125
Технология deep fusion что это. Технология deep fusion что это фото. картинка Технология deep fusion что это. смотреть фото Технология deep fusion что это. смотреть картинку Технология deep fusion что это.

ISO 100
Технология deep fusion что это. Технология deep fusion что это фото. картинка Технология deep fusion что это. смотреть фото Технология deep fusion что это. смотреть картинку Технология deep fusion что это.

ISO 80
Технология deep fusion что это. Технология deep fusion что это фото. картинка Технология deep fusion что это. смотреть фото Технология deep fusion что это. смотреть картинку Технология deep fusion что это.

Разница заметна ещё больше при съемке на основной широкоугольный модуль.

Технология deep fusion что это. Технология deep fusion что это фото. картинка Технология deep fusion что это. смотреть фото Технология deep fusion что это. смотреть картинку Технология deep fusion что это.

Становится видно текстуру кожи, каждую морщинку, каждый волосок. Начинаешь замечать, что стареешь, ценить каждый момент. Думать, как там у мамы дела, давно не звонил… А ещё собака лучше получается на фотографиях.

Технология deep fusion что это. Технология deep fusion что это фото. картинка Технология deep fusion что это. смотреть фото Технология deep fusion что это. смотреть картинку Технология deep fusion что это.

Для ярких дневных сцен в солнечной Калифорнии в iPhone есть Smart HDR. Для ночной фотографии — ночной режим. А вот для глубокой проработки деталей в условиях среднего освещения придумали Deep Fusion.

Идеально для нашей пасмурной осени, любви к свитерам и коврам. Спасибо Apple, что не забываете про Россию матушку!

Заключение

В итоге, технология Deep Fusion выглядит многообещающу, но очевидно пока она недоработанная. Apple позже всех игроков подключилась к гонке вычислительной фотографии и сейчас всеми силами показывает, что они настроены серьёзно. А это здорово для развития отрасли в целом! Будем надеяться, что к выходу Pixel 4 они допилят технологию, а мы сделаем эпичное сравнение.

Огромное спасибище за помощь в работе над материалом Антону Евстратенко.

Источник

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *