Китайская компания Kuaishou выпустила третье поколение своей модели для создания видео под названием Kling AI. Разработчики позиционируют Kling 3.0 как универсальный творческий инструмент, который делает сложные аудиовизуальные форматы доступными для широкого круга пользователей.
Модель основана на глубоко унифицированной платформе обучения, что обеспечивает нативный мультимодальный ввод и вывод данных. Ключевым улучшением стала бесшовная интеграция аудиодорожки и продвинутый контроль согласованности элементов, что придает сгенерированным роликам ощущение цельности и реалистичности.
Функционал Kling 3.0 охватывает несколько задач: преобразование текстовых описаний, изображений и референсов в видео, а также модификация, дополнение или удаление контента в уже готовых роликах. Максимальная длительность генерируемого видео увеличилась до 15 секунд.
Новая функция Multi-Shot автоматически анализирует текстовый запрос пользователя, определяет структуру сцены и типы необходимых кадров, после чего самостоятельно выстраивает ракурсы и композицию. Модель поддерживает различные монтажные решения, включая классические диалоги, параллельное повествование и сцены с закадровым голосом.
Система способна работать с несколькими изображениями или короткими видеофрагментами в качестве исходных материалов, фиксируя ключевые характеристики персонажей и предметов. Это обеспечивает стабильность и согласованность объектов на протяжении всего ролика, независимо от движения камеры или развития сюжета.
Разработчики усовершенствовали генерацию аудио. Система точнее синхронизирует речь с артикуляцией, а в диалогах позволяет вручную назначать говорящего персонажа. Модель поддерживает пять языков: китайский, английский, японский, корейский и испанский, с улучшенной передачей диалектов и акцентов.
Параллельно команда обновила мультимодальную модель O1 до версии Video 3.0 Omni. Пользователи могут загружать аудиозаписи речи от трех секунд для извлечения голосовых характеристик или предоставлять короткие видео с персонажем для копирования его внешности и манер.
Рынок AI-генерации видео становится все более конкурентным. Компания OpenAI представила свою модель Sora еще в феврале 2024 года, но публичный релиз состоялся лишь в декабре. Несмотря на впечатляющий старт мобильного приложения, которое быстро набрало миллионы загрузок, в последние месяцы интерес к Sora пошел на спад.
На рынке активно развиваются другие игроки. Google усилила свои позиции с моделью Nano Banana для Gemini, Meta AI продвигает функцию Vibes, а стартап Runway недавно анонсировал модель Gen 4.5, показавшую высокие результаты в независимых тестах.
Sora также столкнулась с проблемами, связанными с нарушением авторских прав, когда пользователи массово создавали ролики с известными персонажами. Хотя позже OpenAI заключила соглашение с Disney, это не привело к возобновлению роста популярности сервиса. Дополнительной сложностью стало распространение дипфейков, например, с использованием образа CEO компании Сэма Альтмана.
Популярные новости:
Все новости крипты
в одном месте!
Больше не нужно искать — необходимые
обучающие материалы и подсказки всегда под рукой