Исследователи из Университета штата Северная Каролина разработали новый современный метод управления тем, как системы искусственного интеллекта (ИИ) создают изображения. Работа имеет приложения для областей от автономной робототехники до обучения искусственному интеллекту.
Речь идет о типе задачи ИИ, называемой условной генерацией изображений, в которой системы ИИ создают изображения, отвечающие определенному набору условий. Например, систему можно обучить создавать оригинальные изображения кошек или собак, в зависимости от того, какое животное запрашивает пользователь. Более современные методы основаны на этом, чтобы включить условия, касающиеся макета изображения. Это позволяет пользователям указать, какие типы объектов они хотят отображать в определенных местах экрана. Например, небо может быть в одном ящике, дерево - в другом, поток - в отдельном ящике и так далее.
Новая работа основывается на этих методах, чтобы дать пользователям больше контроля над результирующими изображениями и сохранить определенные характеристики в серии изображений.
«Наш подход можно легко изменить», - говорит Тианфу Ву, соавтор статьи о работе и доцент кафедры компьютерной инженерии в NC State. «Как и предыдущие подходы, наш позволяет пользователям создавать изображение в системе на основе определенного набора условий. Но наш также позволяет вам сохранить этот образ и добавить к нему. Например, пользователи могут заставить ИИ создать горный пейзаж. После этого пользователи могли бы добавить лыжников к этой сцене ».
Кроме того, новый подход позволяет пользователям управлять определенными элементами с помощью ИИ, чтобы они были идентифицируемыми, но были перемещены или изменены каким-то образом. Например, ИИ может создать серию изображений, показывающих, как лыжники поворачиваются к зрителю, когда они перемещаются по ландшафту.
«Одно из приложений для этого - помочь автономным роботам« представить », как может выглядеть конечный результат, прежде чем они приступят к выполнению данной задачи», - говорит Ву. «Вы также можете использовать систему для создания изображений для обучения искусственному интеллекту. Таким образом, вместо компиляции изображений из внешних источников вы можете использовать эту систему для создания изображений для обучения других систем искусственного интеллекта ».
Исследователи протестировали свой новый подход, используя набор данных COCO-Stuff и набор данных Visual Genome. Основанный на стандартных показателях качества изображения, новый подход превзошел предыдущие современные методы создания изображений.
«Наш следующий шаг - посмотреть, сможем ли мы распространить эту работу на видео и трехмерные изображения», - говорит Ву.
Обучение новому подходу требует значительных вычислительных мощностей; исследователи использовали рабочую станцию с 4 GPU. Однако развертывание системы требует меньших вычислительных затрат.
«Мы нашли это GPU / ГРАФИЧЕСКИЙ ПРОЦЕССОР обеспечивает скорость почти в реальном времени », - говорит Ву.