Компания Tencent представила инновационный фреймворк Yan — мощное решение для разработки интерактивных видеоматериалов в реальном времени, специально предназначенное для создания и модификации игровых миров. Эта технология позиционируется как прогрессивный ответ на модель Genie от Google, предоставляя разработчикам масштабные возможности по генерации динамического и погружающего контента. Yan объединяет ряд специализированных модулей, каждый из которых выполняет уникальные функции, чтобы обеспечить высокую производительность и гибкость при создании игровых сцен и видеороликов.
Первый модуль, Yan-Sim, сосредоточен на симуляции окружения. Он способен генерировать высококачественное интерактивное видео с разрешением 1080p и частотой 60 кадров в секунду. Для достижения таких масштабов производительности разработчики интегрировали диффузионную модель в каузальную архитектуру. Это важное нововведение позволяет каждому новому кадру зависеть от предыдущих и действий игрока, создавая плавный и отзывчивый игровой процесс. Такой подход обеспечивает реалистичную физику и взаимодействие с игровым миром, что повышает уровень погружения пользователя.
Второй компонент, Yan-Gen, отвечает за синтез мультимодального контента на основе различных видов входных данных — текста, изображений и инструкций. В его основе лежит диффузионный трансформер, который обрабатывает текстовые подсказки, визуальные референсы и токены действий через специализированные кодировщики. Эта система объединяет информацию, что позволяет создавать стилистически разнообразный и механически сложный контент на лету, а также позволяет смешивать различные жанры и стили в соответствии с запросами пользователей или разработчиков.
Третий модуль, Yan-Edit, предназначен для точной настройки и редактирования сгенерированного видео в реальном времени. Он делит правки на структурные и стилистические. Структурные изменения включают добавление новых объектов, изменение их расположения или твердого взаимодействия с окружением, что реализуется с помощью симулятора механик. В то время как стилистическая правка, такая как изменение цвета, материала или освещения объектов, осуществляется через визуальный рендерер. Карта глубины служит связующим звеном между этими компонентами, сохраняя физические параметры и геометрию сцены при внесении стилистических изменений. Такой подход гарантирует, что редактирование не нарушает физическую целостность игрового пространства.
В целом, Yan от Tencent представляет собой комплексное решение для современного геймдизайна и интерактивных видеопроизводств. Его модульная структура позволяет создавать масштабные, реалистичные и легко редактируемые игровые миры и видео с высокой производительностью. Эта инновационная платформа открывает новые горизонты в области разработки контента, предоставляя разработчикам мощные инструменты для реализации амбициозных идей. Благодаря Yan компании смогут ускорить процессы создания сложных миров и улучшить взаимодействие с пользователями, что является важным шагом в развитии игровой индустрии и интерактивных медиа в целом.
