Компания Adobe разработала экспериментальный инструмент масштабирования на базе искусственного интеллекта под названием Project Res-Up, который потенциально может значительно улучшить качество видео и GIF-файлов с низким разрешением. Хотя инструмент еще не доступен для бета-тестирования, презентация этого инструмента продемонстрировала его способность увеличивать разрешение видео, улучшать резкость и добавлять новые детали.
Project Res-Up использует технологию повышающей дискретизации на основе диффузии — тип генеративного искусственного интеллекта, который генерирует новые данные на основе данных, на которых он был обучен.
В качестве наглядного примера, демонстрирующего возможности повышения разрешения видео, Adobe взяла отрывок из фильма «Красный дом» (1947г.) и повысила его разрешение с 480×360 до 1280×960, увеличив общее количество пикселей на 675%. Полученные кадры стали намного четче. Искусственный интеллект убрал большую часть размытости и даже добавил новые детали, такие как пряди волос и блики. Результаты все еще выглядят несколько неестественно (как и многие видео и изображения, созданные искусственным интеллектом), но, учитывая низкое исходное качество, это все равно впечатляющий скачок по сравнению с повышением разрешения в TV Shield от Nvidia или Video Super Resolution от Microsoft.
Приведенные ниже кадры, предоставленные компанией Adobe, полностью соответствуют тому, о чем описано выше
В другой демонстрации было показано видео, обрезанное для фокусировки на детеныше слона, а инструмент повышения разрешения аналогичным образом увеличил кадр с низким разрешением и устранил большую часть размытости, добавив при этом мелкие детали, например морщины на коже.
Это действительно выглядит так, как будто инструмент повышает резкость низкоконтрастных деталей, которые не видны на исходном материале. Впечатляет то, что искусственные морщины естественно перемещаются вместе с животным и не выглядят слишком искусственными. Adobe также продемонстрировала проект Project Res-Up, позволяющий масштабировать GIF-файлы и вдохнуть новую жизнь в мемы, которые вы не использовали со времен MySpace.