Наверняка у каждого имеется фотография, и не одна, которую хотелось бы превратить в видео. В целом ряде случаев обычная фотография является лишь жалким подобием реальности и нисколько не отражает характер того, что на ней изображено. К сожалению, не всегда есть возможность снять видео и потом можно лишь вспоминать упущенную возможность. Теперь же с новой технологией можно будет оживить двухмерную фотографию.

Фотография против видео

Имея в своём распоряжении только мобильный телефон или же базовый самый обычный компьютер, можно легко получить кадр из любого видеоряда. Для этого даже не нужно спецоборудование или программы. Вот с обратным процессом всё гораздо сложнее, имея красивую фотографию реки или моря, нельзя создать видеоролик, чтобы полюбоваться прибоем или мирно текущей рекой. Вовремя не сделанная видеозапись заставляет потом сожалеть об упущенной возможности. Видимо, с этой же проблемой столкнулись исследователи из Университета Вашингтона, когда хотели полюбоваться красивым водопадом, а обнаружили, что есть только его фотография. Задавшись целью исправить такую несправедливость, они создали новый алгоритм, позволяющий преобразовать фотографию с изображением текущего объекта в видеозапись.

Из картинки в видео

Причина, по которой они остановились на текущих объектах и их отображении в разных вариантах, состоит в приемлемой сложности задачи: преобразовать картинку, которая содержит движущиеся объекты, такие как человек, различные предметы обстановки, животные или машины, гораздо сложнее. Воссоздать воду или небо с облаками куда проще, поэтому исследователи сосредоточились на разработке нужного алгоритма. Их идея была крайне проста – создать циклическую запись, максимально сгладив момент перехода. Это позволило бы получить непрерывную видеозапись, в которой невозможно было бы определить момент её окончания. Преобразование для пользователя должно быть совершено прозрачным, в этом процессе ему не нужно принимать никакого участия, только «скормить» программе фотографию.

Для облегчения и ускорения процесса исследователи решили использовать нейронную сеть. С целью её обучения был создан массив, состоящий из нескольких тысяч видеозаписей с водой и небом в самых разных их проявлениях: реки, озёра, водопады, облака и многое другое. Многократно прогнав этот массив данных через нейронную сеть, учёные научили её предсказывать местоположение каждого пикселя на картинке в любой момент времени. Для отрисовки нового изображения исследователи создали метод «симметричного сплаттинга». Суть его заключается в построении изображения из пикселей с предсказуемым их взаимным передвижением с течением времени. Этим они решили возникшую проблему – как только все пиксели сдвигались, на их месте оставалось пустое место. «Симметричный сплаттинг» предсказывает движение в оба конца временного отрезка, поэтому оставшееся пустым место безболезненно заполняется новыми пикселями.

По словам разработчиков метода, наибольшую эффективность он показал с фотографиями, на которых изображена предсказуемая среда, к примеру, вода, огонь или дым. Тем не менее они со временем надеются модернизировать алгоритм таким образом, чтобы его можно было применять и в более сложных случаях. Свою разработку исследователи собираются представить во второй половине июля на конференции, посвящённой проблемам компьютерного зрения.

Понравилась эта новость? Подпишись на нас в соцсетях!