В Google добились новых возможностей создания видео нейросетями

— Cтатьи — новости рынка — В Google добились новых возможностей создания видео нейросетями

Корпорация Google представила собственные технологии машинного обучения, позволяющей на основе текстового описания создавать видео. Первая модель рассчитана на короткое описание и небольшой ролик, а вторая на более развернутый текст и видео к нему. Ранее схожу технологию представители и в компании Meta*.

Ранее нейросети обладали возможностями только совершенствования визуализированных изображений, в первую очередь фото. В дальнейшем они научились создавать новые картинки, например, у NVIDIA нейросети рисовали образы реально не существующих людей.

Создание изображений на основе текста стало новым трендом в отрасли, впервые реализовать его удалось в 2021-м году представителям OpenAl с их нейросетью DALL-E. На основе короткого текста система могла нарисовать пейзаж, животных или полноценную стену. В начале текущего года компания Google предложила собственный аналог подобной нейросети, получивший название Imagen.

Добившись этого успеха, разработчики приступили к попыткам обучения нейросети создавать на базе текстовых запросов видео. Пионером в этом направлении стала китайская компания CogVideo, но качество работы ее сервиса оставляет желать лучшего. Куда качественней результаты корпораций Meta* и Google. Разработчики последней предложили две модели – Imagen Video и Phenaki.

Алгоритм Make-A-Video от Meta* опирается на модель text-to-image, при которой текст трансформируется в векторное представление информации в сжатом формате, переносимое в дальнейшем в изображение в двухмерной плоскости.

Применение данной диффузионной модели позволяет в результате комплекса мероприятий получать на выходе видео продолжительностью не больше нескольких секунд, обладающее разрешением 768х768 пикселей.

В целом данная технология генерация видео продемонстрировала большую эффективность, чем предложенные решения от разработчиков CogVideo. Алгоритм обеспечивает не только создание видео «с нуля», но и возможность «оживления» уже готовых изображений.

Представители Google несколько уступили по срокам презентации конкурентам из Meta*, но представили сразу два алгоритма. Модель Imagen Video построена на базе технологии text-to-image, не имеющей принципиальных отличий от описанной выше Make-A-Video. На основе нескольких трансформаций текста удается получить короткое видео продолжительностью не более 5,3 секунды, но при этом максимальное разрешение выросло до 1280х768 пикселей.

Для обучения Imagen Video в компании Google применяли свой dataset, объединяющий около 14 миллионов связок текстового описания и видео. Число связок текста и изображения, использованных в процессе обучения, превысило 60 миллионов вариантов.

Второй проект под именем Phenaki изначально адаптирован под более длительные ролики, но и требует больше информации в текстовом описании. Разработчики отмечают возможность создания видео на две-три минуты, в то время как с точки зрения теории ограничений по длине записи не существует. В основе разработки лежит нейросеть ViViT. За длину ролика разработчикам пришлось пожертвовать качеством картинки, имеющей скромное разрешение в 128х128 пикселей.

В целом за последние несколько месяцев разработчики нейросетей смогли пройти значительный путь и добиться успехов в процессе создания нового видео, опираясь на текстовое описание. Вместе с этим в открытом доступе разработки пока отсутствуют из-за боязни их применения не по назначению.

Стоит отметить, что нейросети сегодня учат различным функциям. Например, весной была представлена разработка канадских программистов, позволяющая применять машинное обучение для поиска ошибок в компьютерных играх.

Корпорация Meta включена Росфинмониторингом в перечень компаний террористов и экстремистов, запрещена на территории РФ.

Автор:

Категория: новости рынка

Дата публикации: 08.10.2022

Кейс по теме

Как запустить магазин спорттоваров на Яндекс Маркете и быстро сделать товары бестселлерами

Смотреть кейс ›

х3,15

настолько вырос оборот магазина

в 5,86

раз увеличили объем продаж

100

товаров продвигались на маркетплейсе, часть из которых стала бестселлерами

Запускать магазин на новом для себя маркетплейсе самостоятельно может быть рискованной идеей. Недостаточные знания и опыт могут привести к тому, что продажи останутся на низком уровне или продавца вовсе заблокируют. Даже успешный опыт на других маркетплейсах не гарантирует высокие результаты на новой площадке. Производитель спортивных товаров обратился в агентство с просьбой выйти на Яндекс Маркет.

Интернет-магазины

Двухкратный рост продаж для магазина детских товаров на Ozon

Смотреть кейс ›

х1,8

настолько вырос объем продаж

в 2,94

раза выросла выручка магазина

в 2 раза

ускорилась доставка по ряду товаров — до 2-3 дней

Зачастую инхаус-подход при ведении маркетплейсов и интернет-магазина приводит к снижению эффективности размещений — не хватает ресурсов и опыта оптимизировать сам магазин и рекламу до максимального уровня. В таких случаях лучше обращаться к профессионалам — они всегда помогут улучшить результаты даже без увеличения затрат. Мы помогли производителю детских товаров кратно увеличить свои бизнес-показатели без роста рекламного бюджета.

Интернет-магазины

Как на 44% увеличить продажи для производителя товаров постельного белья на маркетплейсах

Смотреть кейс ›

на 44%

увеличились продажи год к году

ТОП-10

бренд вошел в десятку самых популярных продавцов в нише

х5,8

во столько раз вырос оборот магазина

На рост продаж магазина влияет множество факторов: уровень конкуренции, выбранный ассортимент для экспозиции, ценовая политика, умение работать с контентом и SEO-продвижением. Чтобы достичь выдающихся результатов, порой нужен нестандартный подход. Скажем, адаптировать визуальный контент под разные целевые аудитории маркетплейсов.

Авто

Как интегрировать данные из UIS и AutoCRM в Power Bi

Смотреть кейс ›

2 недели

Разработали дашборд за 2 недели

2 сервиса

Подключили интеграцию с двумя сервисами, у которых не было готовых коннекторов

х2

Благодаря оптимизации процессов, удалось снизить стоимость лида почти в 2 раза

Для отслеживания результатов контекстной рекламы в агентстве мы всегда настраиваем онлайн-дашборд в Power Bi, но в этот раз клиент использовал сервисы, которые не имели готовых коннекторов для интеграции с привычным сервисом MyBi.

Авто

Как автодилеру из Санкт-Петербурга в 3 раза увеличить поисковый трафик

Смотреть кейс ›

с 0 до 230

Рост ИКС

18%

ключевых запросов в топ-10 выдачи Яндекса (было 0)

посещаемость за 15 месяцев

Дилеры редко проводят работы по SEO, потому что для эффективной оптимизации в условиях ограничений импортера уже на этапе старта работ нужно не только знать о них, но иметь соответствующий опыт их использования и быть готовыми к специфическим скрытым трудностям. Подобных агентств на рынке — единицы.

В Google добились новых возможностей создания видео нейросетями

Кейс по теме

Читайте также

Создание репутации

Управление репутацией

Кризис-менеджмент