Алгоритм на основе искусственного интеллекта позволяет персонализировать возрастную трансформацию человеческих лиц

Исследователи из Университета Северной Каролины в Чапел-Хилл и Университета Мэриленда недавно разработали MyTimeMachine (MyTM) — новый метод персонализированной трансформации возраста на основе искусственного интеллекта, который позволяет сделать человеческие лица на изображениях или видео более молодыми или старыми с учетом субъективных факторов, влияющих на старение.

Этот алгоритм, представленный в статье, размещённой на сервере препринтов arXiv , может быть использован для расширения или улучшения функций платформ редактирования изображений, ориентированных на потребителя, но также может стать ценным инструментом для индустрии кино, телевидения и развлечений.

«Техники виртуального старения широко используются в визуальных эффектах (VFX) в фильмах, но они требуют хорошего протезирования и грима, которые актёрам часто утомительно и неудобно носить постоянно во время съемок», — рассказал Рони Сенгупта, исследователь, руководивший исследованием, изданию Tech Xplore.

«Вдохновение для этой работы пришло из фильма 2019 года «Ирландец», в котором использовались новаторские визуальные эффекты для цифрового омоложения актёров. Хотя визуально процесс был впечатляющим, он требовал значительных ручных усилий, высоких затрат и существенных вычислительных ресурсов, что ограничивало его более широкое применение».

Хотя сейчас существуют также фильтры социальных сетей, которые могут состарить пользователей или заставить их выглядеть моложе, эффекты, которые они производят, часто слишком упрощенные, почти мультяшные. Например, они могут просто размыть лица, чтобы они выглядели моложе, или добавить морщины, чтобы люди выглядели старше.

«Реальное старение изменяет форму лица вместе с текстурой и часто сильно зависит от различных факторов, таких как этническая принадлежность, пол, генетика, образ жизни и состояние здоровья», — пояснил Сенгупта. «Это побудило нас задаться вопросом: можно ли сделать возрастные изменения более доступными, полностью автоматическими и максимально реалистичными? Чтобы решить эту проблему, мы разработали метод на основе нейронной сети, который имитирует всю жизнь человека — от молодости до старости — используя лишь ограниченный набор селфи».

MyTM, новая модель трансформации возраста, созданная исследователями, основана на генеративной искусственной нейронной сети. Этот алгоритм был обучен моделировать всю траекторию старения конкретных людей, создавая реалистичные изображения на разных этапах жизни.

«Используя около 50 входных изображений, охватывающих, скажем, последние 20 лет, MyTM использует генеративное моделирование для прогнозирования реалистичных процессов старения от 0 до 100 лет», — сказал Лучао Ци, аспирант, возглавляющий проект. «В отличие от традиционных методов, которые полагаются на обширные наборы данных для получения правдоподобных результатов, наш подход обеспечивает точные, реалистичные и персонализированные изменения старения, такие как текстура кожи и структура лица, используя только несколько изображений этого человека».

В ходе первоначальных испытаний было обнаружено, что новая модель, разработанная Ци, Сенгуптой и их коллегами, производит высокореалистичные и персонализированные симуляции, показывающие лица конкретных людей на разных этапах их жизни. Примечательно, что MyTM также учитывает внешние факторы, которые могут влиять на старение, такие как этническая принадлежность, выбор образа жизни и генетика.

«Самым заметным достижением MyTM является его способность производить последовательные, реалистичные симуляции старения из ~50 селфи», — сказал Ци. «Одним из практических применений модели может быть кино и VFX, поскольку её можно использовать для оптимизации старения и омоложения в фильмах, сокращая затраты и время, при этом обеспечивая высококачественные результаты.

«В настоящее время большинство мало- и среднебюджетных фильмов имеют плохие визуальные эффекты повторного старения, а высокобюджетные фильмы требуют серьёзного протезирования или ручной постобработки. Наш метод может сделать эффекты повторного старения доступными и высококачественными для всех видов создателей контента и кинопроизводителей».

MyTM также может позволить создавать более реалистичный персонализированный контент, например, улучшая фильтры для социальных сетей и создавая лучшие симуляции для маркетинговых или медицинских кампаний. Наконец, модель может быть использована для создания новых платформ, предназначенных для предоставления эмоциональной поддержки людям, которые скорбят о потере близкого человека.

«Мы обнаружили, что наши прошлые попытки возрастной трансформации получили несколько запросов от скорбящих матерей и членов семьи», — сказал Сенгупта. «В наших следующих исследованиях мы планируем ещё больше сократить требования к вводу MyTM. В настоящее время для модели требуется около 50 изображений, но мы планируем усовершенствовать систему, чтобы она эффективно работала всего с несколькими изображениями, сохраняя при этом их качество».

Исследователи также планируют улучшить эффективность и скорость своей системы, поскольку это облегчит её использование в динамических условиях, например, для старения или омоложения живых виртуальных аватаров и лиц в интерактивных медиа. Этого можно достичь, используя более продвинутые генеративные алгоритмы, такие как модели диффузии.

Ведёт расследования о коррупции в любых эшелонах власти