Sebuah grup di DeepMind yang disebut Open-Ended Learning Team telah mengembangkan cara baru untuk melatih sistem AI untuk bermain game. Alih-alih mengeksposnya ke jutaan game sebelumnya, seperti yang dilakukan dengan sistem AI bermain game lainnya, grup di DeepMind telah memberi agen sistem AI barunya seperangkat keterampilan minimal yang mereka gunakan untuk mencapai tujuan sederhana (seperti melihat pemain lain di dunia virtual) dan kemudian membangunnya. Para peneliti menciptakan dunia virtual yang disebut XLand—dunia virtual penuh warna yang memiliki tampilan video game umum. Di dalamnya, pemain AI, yang disebut para peneliti sebagai agen, berangkat untuk mencapai tujuan umum, dan saat mereka melakukannya, mereka memperoleh keterampilan yang dapat mereka gunakan untuk mencapai tujuan lain. Para peneliti kemudian mengubah permainan, memberi agen tujuan baru tetapi memungkinkan mereka untuk mempertahankan keterampilan yang telah mereka pelajari di game sebelumnya.
Salah satu contoh teknik ini melibatkan agen yang mencoba masuk ke bagian dunianya yang terlalu tinggi untuk didaki secara langsung dan yang tidak memiliki titik akses seperti tangga atau landai. Dalam kikuk di sekitar, agen menemukan bahwa ia dapat memindahkan benda datar yang ditemukannya berfungsi sebagai jalan dan dengan demikian membuat jalan ke tempat yang harus dituju. Untuk memungkinkan agen mereka mempelajari lebih banyak keterampilan, para peneliti menciptakan 700,000 skenario atau permainan di mana para agen menghadapi sekitar 3.4 juta tugas unik. Dengan mengambil pendekatan ini, para agen dapat mengajari diri mereka sendiri cara memainkan banyak permainan, seperti menandai, menangkap bendera, dan petak umpet. Para peneliti menyebut pendekatan mereka tanpa henti menantang. Aspek lain yang menarik dari XLand adalah bahwa ada semacam penguasa, entitas yang mengawasi agen dan mencatat keterampilan mana yang mereka pelajari dan kemudian menghasilkan permainan baru untuk memperkuat keterampilan mereka. Dengan pendekatan ini, agen akan terus belajar selama diberikan tugas baru.
Dalam menjalankan dunia maya mereka, para peneliti menemukan bahwa agen mempelajari keterampilan baru, umumnya secara tidak sengaja, yang mereka temukan berguna dan kemudian dibangun di atasnya, yang mengarah ke keterampilan yang lebih maju seperti beralih ke eksperimen ketika kehabisan pilihan, bekerja sama dengan agen lain dan belajar bagaimana menggunakan objek sebagai alat. Mereka menyarankan pendekatan mereka adalah langkah menuju pembuatan algoritme yang secara umum mampu yang mempelajari cara memainkan game baru sendiri—keterampilan yang suatu hari nanti mungkin digunakan oleh sistem otonom. robot.
