Para peneliti dari North Carolina State University telah mengembangkan metode mutakhir baru untuk mengendalikan bagaimana sistem kecerdasan buatan (AI) membuat gambar. Pekerjaan ini memiliki aplikasi untuk bidang dari robotika otonom hingga pelatihan AI.
Yang dipermasalahkan adalah jenis tugas AI yang disebut pembuatan gambar bersyarat, di mana sistem AI membuat gambar yang memenuhi serangkaian kondisi tertentu. Misalnya, sebuah sistem dapat dilatih untuk membuat gambar asli kucing atau anjing, tergantung pada hewan yang diminta pengguna. Teknik yang lebih baru telah dibangun di atas ini untuk memasukkan kondisi mengenai tata letak gambar. Ini memungkinkan pengguna untuk menentukan jenis objek yang ingin mereka tampilkan di tempat tertentu di layar. Misalnya, langit mungkin masuk dalam satu kotak, pohon mungkin berada di kotak lain, sungai mungkin berada di kotak terpisah, dan seterusnya.
Karya baru ini dibangun di atas teknik-teknik tersebut untuk memberi pengguna lebih banyak kontrol atas gambar yang dihasilkan, dan untuk mempertahankan karakteristik tertentu di serangkaian gambar.
“Pendekatan kami sangat dapat dikonfigurasi ulang,” kata Tianfu Wu, salah satu penulis makalah dan asisten profesor teknik komputer di NC State. “Seperti pendekatan sebelumnya, pendekatan kami memungkinkan pengguna untuk membuat sistem menghasilkan gambar berdasarkan serangkaian kondisi tertentu. Tetapi milik kami juga memungkinkan Anda untuk mempertahankan gambar itu dan menambahkannya. Misalnya, pengguna dapat meminta AI membuat pemandangan gunung. Pengguna kemudian dapat meminta sistem menambahkan pemain ski ke adegan itu. ”
Selain itu, pendekatan baru memungkinkan pengguna untuk membuat AI memanipulasi elemen tertentu sehingga mereka dapat diidentifikasi sama, tetapi telah dipindahkan atau diubah dalam beberapa cara. Misalnya, AI dapat membuat serangkaian gambar yang menunjukkan pemain ski menoleh ke arah penonton saat mereka bergerak melintasi lanskap.
“Salah satu aplikasi untuk ini adalah membantu robot otonom 'membayangkan' seperti apa hasil akhirnya sebelum mereka memulai tugas yang diberikan,” kata Wu. “Anda juga dapat menggunakan sistem untuk menghasilkan gambar untuk pelatihan AI. Jadi, alih-alih mengkompilasi gambar dari sumber eksternal, Anda dapat menggunakan sistem ini untuk membuat gambar untuk melatih sistem AI lainnya.”
Para peneliti menguji pendekatan baru mereka menggunakan dataset COCO-Stuff dan dataset Visual Genome. Berdasarkan ukuran standar kualitas gambar, pendekatan baru ini mengungguli teknik pembuatan gambar canggih sebelumnya.
“Langkah kami selanjutnya adalah melihat apakah kami dapat memperluas pekerjaan ini ke video dan gambar tiga dimensi,” kata Wu.
Pelatihan untuk pendekatan baru membutuhkan cukup banyak daya komputasi; para peneliti menggunakan workstation 4-GPU. Namun, penggelaran sistem lebih murah secara komputasi.
“Kami menemukan yang itu GPU memberi Anda kecepatan yang hampir real-time, ”kata Wu