Вы когда-нибудь хотели отредактировать видео, чтобы удалить или добавить кого-то, изменить фон, сделать его немного дольше или изменить разрешение, чтобы оно соответствовало определенному соотношению сторон, не сжимая или растягивая его? Те из вас, кто уже проводил рекламные кампании, наверняка хотели бы иметь варианты своих видеороликов для тестирования AB и посмотреть, что работает лучше всего. Что ж, это новое исследование Niv Haim et al. может помочь вам сделать все в одном видео в формате HD! Действительно, используя простое видео, вы можете выполнить любые задачи, которые я только что упомянул, за секунды или несколько минут для высококачественного видео. Вы можете в основном использовать его для любого приложения для обработки видео или создания видео, которое вы задумали. Он даже превосходит GAN по всем параметрам и не использует никаких фантастических исследований глубокого обучения и не требует огромного и непрактичного набора данных! И самое лучшее, что этот метод масштабируется до видео с высоким разрешением.
Вы когда-нибудь хотели отредактировать видео, чтобы удалить или добавить кого-то, изменить фон, сделать его немного дольше или изменить разрешение, чтобы оно соответствовало определенному соотношению сторон, не сжимая или растягивая его? Те из вас, кто уже проводил рекламные кампании, наверняка хотели бы иметь варианты своих видеороликов для тестирования AB и посмотреть, что работает лучше всего.
Что ж, это новое исследование Niv Haim et al. может помочь вам сделать все в одном видео в формате HD!
Действительно, используя простое видео, вы можете выполнить любые задачи, которые я только что упомянул, за секунды или несколько минут для высококачественного видео. Вы можете в основном использовать его для любого приложения для обработки видео или создания видео, которое вы имеете в виду. Он даже превосходит GAN по всем параметрам и не использует никаких фантастических исследований глубокого обучения и не требует огромного и непрактичного набора данных!
И самое лучшее, что этот метод масштабируется до видео высокого разрешения ...
Просмотреть видео
Рекомендации
►Прочитайте статью полностью: https://www.louisbouchard.ai/vgpnn-ge…
► Обложка: Хаим, Н., Файнштейн, Б., Гранот, Н., Шохер, А., Багон, С., Декель, Т., и Ирани, М. (2021). Разнообразное создание из одного видео стало возможным. ArXiv, абс / 2109.08591.
►Техника, адаптированная из изображений в видео: Нив Гранот, Бен Файнштейн, Ассаф Шохер, Шай Багон и Михал Ирани. Drop the gan: В защиту ближайших соседей патчей как моделей генерации единого изображения. Препринт arXiv arXiv: 2103.15545, 2021.
►Код (скоро будет доступен): https://nivha.github.io/vgpnn/
►Мой информационный бюллетень (новое приложение AI еженедельно объясняется в ваших электронных письмах!): https://www.louisbouchard.ai/newsletter/
Стенограмма видео
00:00
Вы когда-нибудь хотели отредактировать видео?
00:02
удалить или добавить кого-то изменить
00:04
фон продлится немного дольше или
00:06
изменить разрешение, чтобы оно соответствовало определенному
00:08
соотношение сторон без сжатия или
00:10
растягивая это для тех из вас, кто
00:12
уже проводили рекламные кампании вы
00:14
конечно хотел иметь вариации
00:16
ваши видео для тестирования пресса и посмотрите, что
00:19
Лучше всего работает это новое исследование, проведенное niv
00:22
Хаим Итал может помочь вам сделать все это
00:24
из одного видео и в высоком
00:27
определение действительно с помощью простого видео
00:29
Вы можете выполнять любые задачи, я просто
00:32
упоминается в секундах или через несколько минут
00:34
для видео высокого качества вы можете
00:36
в основном используйте его для любого видео
00:38
манипуляции или создание видео
00:40
приложение вы имеете в виду даже
00:42
превосходит оружие во всех отношениях и не
00:45
использовать какие-либо причудливые исследования глубокого обучения или
00:48
требует огромного и непрактичного набора данных
00:51
и самое лучшее, что это
00:52
техника масштабируется до высокого разрешения
00:55
видео это не только для исследования
00:57
цели с видео 256 на 256 пикселей ой
01:01
и, конечно, вы можете использовать его с изображениями
01:04
посмотрим как работает модель
01:06
называется генеративным патчем на основе видео
01:08
ближайшие соседи vgpnn вместо использования
01:11
сложные алгоритмы и модели, такие как ганы
01:14
или трансформирует исследователей, которые
01:16
развитый vgpn выбирает гораздо более простой
01:19
подход, но пересмотрел ближайший
01:22
алгоритм соседа сначала они уменьшают масштаб
01:24
изображение в виде пирамиды, где каждый
01:26
уровень - это разрешение цветка, чем
01:28
один выше, затем они добавляют случайный шум к
01:31
самый грубый уровень для создания
01:33
другое изображение, похожее на то, что делают пистолеты
01:36
в сжатом пространстве после кодирования
01:38
Обратите внимание на изображение, что здесь я скажу
01:40
изображение для простоты, но в этом случае
01:42
поскольку он применяется к видео, процесс
01:45
производится на трех кадрах одновременно
01:48
добавление измерения времени, но
01:49
объяснение остается прежним с дополнительным
01:52
шаг в конце изображение в
01:54
самая грубая шкала с добавленным шумом
01:56
разделен на несколько маленьких квадратов
01:59
исправляет все участки изображения с помощью
02:01
добавленный шум заменяется на самый
02:04
аналогичный патч из начального масштабированного
02:06
вниз изображение без шума это самое
02:09
подобный патч измеряется
02:11
алгоритм ближайшего соседа, как мы будем
02:13
увидеть, что большинство этих патчей останутся
02:15
то же, но в зависимости от добавленного шума
02:17
некоторые патчи будут изменены достаточно, чтобы
02:19
сделать их более похожими на других
02:21
патч на исходном изображении это
02:24
vpn output вы видите здесь эти изменения
02:27
достаточно для создания нового
02:29
версия изображения, затем эта первая
02:31
вывод масштабируется и используется для сравнения
02:34
с входным изображением следующего масштаба
02:36
действовать как шумная версия этого и
02:38
те же шаги повторяются в следующем
02:41
итерации мы разбиваем эти изображения на
02:43
небольшие заплатки и заменить ранее
02:45
сгенерированные с наиболее похожими
02:48
те, что на текущем шаге, давайте перейдем к
02:50
этот модуль vpn, который мы только что рассмотрели, как вы
02:53
здесь можно увидеть единственное отличие от
02:55
начальный шаг с добавлением шума
02:58
что мы сравниваем сгенерированные высококлассные
03:00
изображение здесь обозначено как q с увеличенным масштабом
03:03
версия предыдущего изображения просто так
03:06
имеет тот же уровень детализации, обозначенный как
03:09
k в основном используя уровень ниже как
03:12
сравнения мы сравниваем q и k, а затем
03:15
выберите соответствующие патчи в
03:17
изображение с текущего уровня v на
03:20
сгенерируйте новое изображение для этого шага
03:22
который будет использован в следующем
03:24
итерация, как вы видите здесь, с маленьким
03:26
стрелки k - это просто высококлассная версия
03:28
изображение, которое мы создали с уменьшением размера v в
03:31
начальный шаг этого алгоритма, где
03:33
мы создали пирамидальное масштабирование
03:35
версии нашего изображения это сделано для
03:38
сравните тот же уровень резкости в
03:40
оба изображения сгенерированы как высококлассные
03:42
изображение с предыдущего слоя q будет
03:45
гораздо более размытым, чем изображение на
03:48
текущий шаг v, и это будет очень сложно
03:50
чтобы найти похожие патчи, это повторяется
03:53
пока мы не вернемся к вершине
03:54
пирамида с результатами высокого разрешения
03:57
тогда все эти сгенерированные патчи
03:59
свернул в видео и вуаля можно
04:02
повторить это с разными шумами или
04:04
модификации для создания любых вариаций
04:06
вы хотите в своих видео, давайте быстро
04:09
Напомним, изображение уменьшено в масштабе
04:11
к
04:13
изображение шкалы корсы, которое разделено на
04:16
маленькие квадратные пятна, каждый шумный участок
04:18
затем заменил на самый похожий
04:20
патчи из одного и того же сжатого изображения
04:23
без шума, вызывающего несколько случайных изменений
04:26
в изображении, сохраняя при этом реализм
04:28
вновь созданное изображение и изображение
04:31
без шума этого шага масштабируются
04:33
и сравнил, чтобы найти наиболее похожие
04:36
патчи с ближайшим соседом снова
04:38
эти самые похожие патчи затем
04:40
выбрано из изображения на текущем
04:42
разрешение для создания нового изображения для
04:45
шаг снова и мы повторяем это
04:47
масштабирование и сравнение шагов, пока мы
04:49
вернуться на вершину пирамиды с
04:52
результаты высокого разрешения, конечно
04:54
результаты не идеальны, вы все еще можете
04:56
увидеть некоторые артефакты, такие как появление людей
04:58
и исчезая в странных местах или
05:00
просто скопировать кого-то в какой-то
05:02
случаи, делающие это очень очевидным, если вы
05:05
сосредоточьтесь на нем, но это только первый
05:07
бумага атакует видео манипуляции с
05:09
алгоритм ближайшего соседа и
05:11
делая его масштабируемым до высокого разрешения
05:13
видео всегда здорово смотреть
05:15
разные подходы, я очень взволнован
05:18
чтобы увидеть следующую статью, улучшающую
05:20
этот тоже результаты все еще
05:22
довольно впечатляюще, и их можно было использовать
05:24
как инструмент увеличения данных для моделей
05:26
работают над видео из-за их очень низкого
05:29
время работы, позволяющее тренироваться другим моделям
05:31
на больших и разнообразных наборах данных
05:33
без особых затрат, если вам интересно
05:35
в изучении этой техники я
05:37
настоятельно рекомендую прочитать их
05:38
бумага это первая ссылка в
05:40
описание спасибо за просмотр и
05:42
всем, кто поддерживает мою работу над
05:44
patreon или комментируя и ставя лайк
05:46
видео здесь, на YouTube
05:54
являетесь
Английский (сгенерированный автоматически)
Все
Недавно загружено
Просмотров
Теги
Создайте бесплатную учетную запись, чтобы разблокировать свой собственный опыт чтения.
PlatoAi. Web3 в новом свете. Расширенный анализ данных.
Щелкните здесь, чтобы получить доступ.
