Осенью прошлого года Яндекс обучил нейросеть Yandex GPT (модель YALM 2.0) краткому пересказу видеороликов с Youtube. Эта возможность доступна в поиске на ya.ru и на сайте 300.ya.ru.
Когда может пригодиться краткий пересказ видео?
Первая причина. Не всегда существует возможность посмотреть видео: нет времени на длительный ролик; звук помешает тем, кто находится с тобой в одной комнате; неисправность звуковой карты. Зато можно ознакомиться с кратким текстовым пересказом и понять, интересует тебя это видео или нет.
Вторая причина. Вы ищете наглядную инструкцию, либо характеристики нового гаджета, либо полезные советы, например, какие почвопокровные растения лучше выращивать на дачном участке. Но многие авторы видео слишком склонны растекаться мыслью по древу, делая пространные вступления. А вы смотрите и ждете, когда же, наконец, этот автор перейдет к делу, ради которого мне и нужен этот ролик?
Yandex GPT кратко излагает содержимое видео и аккуратно, четко и с расстановкой показывает таймкод. Кликнув по нему, вы можете перейти в интересующее вас место на видеоролике.
Нейросеть работает с русскоязычными роликами длительностью от 2 минут до 4 часов. В поиске Яндекса пересказ работает пока только для популярных видео с не менее популярными тематиками.
В Яндекс поиске имеется возможность пересказа содержания видео не только с Youtube, но и с других сервисов. На скриншоте ниже видно, что опция краткого пересказа видео, посвященное тем же почвопокровным растениям, доступна для роликов с Дзен. Можно также найти краткий пересказ роликов с VK Видео и Rutube.
Нейросеть отнюдь не совершенна, поэтому в пересказе видео возможны неточности. Нейросеть может неправильно понять и интерпретировать слова. Если с роликами видеоблоггеров Yandex GPT справляется вполне нормально, пересказ фильмов и мультфильмов не всегда ему удается.
На сервисе 300.ya.ru возможен пересказ роликов только с Youtube. Вы скажете, что на Ютуб есть свой собственный краткий пересказ текста с таймкодом. Однако давайте сравним, как пересказывают Youtube и Yandex GPT.
Для примера возьму тот же самый трейлер про Чебурашку.
Расшифровка видео от Youtube выглядит как бессмысленный набор фраз (так оно и есть), местами также неправильно распознанный. Нейросеть от Яндекса также не всегда отличается точной интерпретацией, но хотя бы выдает обстоятельный пересказ, удобный для прочтения. Кроме того, в поиске Яндекса по видео имеется функция видео текстом от Yandex GPT.
А теперь сложное испытание для Yandex GPT. Пусть нейронка расшифрует видео Константина Сёмина «Правильная катка». Кто в курсе, тот знает: Сёмин катается на мотоцикле, падает, большую часть видео выдает набор фраз. Посмотрим, как нейросеть интерпретирует нестройный для нее сюжет. Для начала, на скриншотах ниже сравнение расшифровки видео от Youtube и от Yandex GPT соответственно.
Что можно сказать? Расшифровка текста от Yandex GPT выигрывает по сравнению с Youtube. Возможно, причина в том, что русский язык для Youtube «неродной». Тем не менее, яндексовская нейросеть расшифровывает видео фразами и предложениями, а не наборами слов, как Ютуб.
Теперь перехожу к краткому пересказу видео от Yandex GPT.
И снова обстоятельно, наглядно и удобный для прочтения. Кстати, нейросеть не наврала, расшифровка правильная. Первые двадцать две минуту (это хорошо видно на скриншоте выше) автор критикует любителей компьютерных игр, общается с козлами, ругается, падает с мотоцикла и поднимается. Короче, старательно критикует.
Остается восхититься нейросетью Yandex GPT, что она смогла обобщить набор слов из ролика в удобочитаемый текст. В данном случае нейронка оказалась на высоте.
Вывод. Расшифровка видео от Yandex GPT может стать хорошим помощником, если нет времени или возможности посмотреть видео. Но из пересказа роликов не всегда поймешь содержание фильма или мультфильма, хотя поверхностное представление о них получишь.
Надеюсь, на сайте 300.ya.ru со временем появится возможность анализировать видеоролики с других сервисов.
Если вы интересуетесь, как обустроить дачу, вам сюда https://pro-dachnikov.com/. На сайте Pro-dachnikov.com советы обо всем: какой забор поставить, лучшие растения для сада, грядок и клумб, как обустроить дом и зону отдыха, советы по ландшафтному дизайну и многое другое.