Dünya çapında robot bilimciler, arama ve kurtarma görevleri sırasında kullanılabilecek veya coğrafi alanların haritasını çıkarmak ve kaynak aramak için kullanılabilecek otonom insansız hava araçları (İHA'lar) geliştirmeye çalışıyor. Ancak otonom olarak çalışabilmeleri için dronların bulundukları ortamda güvenli ve verimli bir şekilde hareket edebilmeleri gerekiyor.
Son yıllarda takviyeli öğrenme (RL) algoritmaları, robotlarda daha fazla özerklik sağlama konusunda oldukça umut verici sonuçlar elde etti. Bununla birlikte, mevcut RL tekniklerinin çoğu, gerçek sonuçlarını dikkate almadan öncelikle algoritmanın tasarımına odaklanır. Sonuç olarak algoritmalar gerçek İHA'lara uygulandığında performansları farklı veya hayal kırıklığı yaratabiliyor.
Örneğin, birçok dronun yerleşik bilgi işlem yetenekleri sınırlı olduğundan, simülasyonlarla eğitilmiş RL algoritmalarının, gerçek robotlara uygulandığında tahminlerde bulunması daha uzun sürebilir. Bu daha uzun hesaplama süreleri İHA'yı daha yavaş ve daha az duyarlı hale getirebilir, bu da görevin sonucunu etkileyebilir veya kazalara ve çarpışmalara neden olabilir.
Harvard Üniversitesi ve Google Research'teki araştırmacılar yakın zamanda araştırmacıların İHA navigasyonu için RL algoritmalarını eğitebilecekleri açık kaynaklı bir simülatör ve spor salonu ortamı olan Air Learning'i geliştirdi. Bu, otonom İHA'ların gerçek dünya ortamlarındaki performansını artırmaya yardımcı olabilir.
Araştırmayı yürüten araştırmacılardan biri olan Srivatsan Krishnan, "İHA'larda gerçek özerkliğe ulaşmak için, yerleşik bilgisayarın seçimi gibi sistem düzeyindeki hususlara bakmaya ihtiyaç var" dedi. "Bu nedenle çalışmamızın temel amacı, araştırmacıların bu özerklik algoritmalarını bütünsel olarak değerlendirmelerine olanak sağlayacak temel blokları sağlamaktı."
Air Learning'de İHA ajanları zorlu navigasyon senaryolarına maruz kalabilir ve bu senaryolar üzerinde eğitim alabilir. Daha spesifik olarak, derin Q ağları (DQN) ve yakınsal politika optimizasyonu (PPO) algoritmaları adı verilen iki eğitim tekniği kullanılarak üç temel ortamda noktadan noktaya engellerden kaçınma görevleri konusunda eğitilebilirler.
Krishnan, "Air Learning, özerklik algoritmalarını bütünsel bir şekilde tasarlamak ve değerlendirmek için temel yapı taşları sağlıyor" dedi. "Araştırmacıların çeşitli takviyeli öğrenme algoritmalarını ve sinir ağı tabanlı politikaları eğitmesine olanak tanıyacak OpenAI spor salonu uyumlu ortam oluşturucuları sağlıyor."
Krishnan ve meslektaşları tarafından geliştirilen platformda araştırmacılar, geliştirdikleri algoritmaların performansını çeşitli uçuş kalitesi (QoF) ölçümleri altında değerlendirebiliyor. Örneğin, algoritmalarını kullanırken dronlar tarafından tüketilen enerjinin yanı sıra, Raspberry Pi gibi kaynak kısıtlı donanımları kullanırken dayanıklılıklarını ve ortalama yörünge uzunluklarını değerlendirebilirler.
Krishnan, "Algoritmalar tasarlandıktan sonra, araştırmacılar döngüdeki donanımı kullanarak gömülü bir bilgisayarı bağlayabilir ve özerklik algoritmasının sanki yerleşik bilgisayarla gerçek bir İHA üzerinde çalışıyormuş gibi nasıl performans gösterdiğini değerlendirebilir" dedi. "Bu teknikleri kullanarak, sistem düzeyindeki çeşitli performans darboğazları tasarım sürecinin erken aşamalarında tespit edilebilir."
Air Learning üzerinde testler yaparken araştırmacılar, genellikle yerleşik bilgisayarların öngörülen performansları ile gerçek işleyişi arasında bir tutarsızlık olduğunu buldular. Bu tutarsızlık, İHA'ların genel performansını etkileyebilir ve potansiyel olarak bunların konuşlandırılmasını, görev sonuçlarını ve güvenliğini etkileyebilir.
Krishnan, "Özellikle İHA'lara odaklanmış olsak da, kullandığımız metodolojilerin sürücüsüz arabalar gibi diğer otonom sistemlere de uygulanabileceğine inanıyoruz" dedi. "Bu yerleşik bilgisayarların otonom sistemlerin beyni olduğu göz önüne alındığında, bunların nasıl tasarlanacağına dair sistematik bir metodoloji eksikliği var. Yerleşik bilgisayarları verimli bir şekilde tasarlamak için öncelikle performans darboğazlarını anlamamız gerekiyor ve Air Learning, performans darboğazlarının ne olduğunu anlamak için temel blokları sağlıyor."
Gelecekte Air Learning, İHA'ların ve diğer robotik sistemlerin otonom çalışmasını sağlamak için tasarlanan RL algoritmalarının değerlendirilmesi için değerli bir platform olabileceğini kanıtlayabilir. Krishnan ve meslektaşları artık oluşturdukları platformu, belirli görevleri tamamlamak için tasarlanan dronların geliştirilmesinden, özel yerleşik bilgisayarların oluşturulmasına kadar çeşitli araştırma sorunlarının üstesinden gelmek için kullanıyor.
Krishnan, "Pekiştirmeli öğrenmenin eğitilmesinin oldukça yavaş olduğu biliniyor" dedi. "İnsanlar genellikle daha fazla bilgi işlem kaynağı atarak RL eğitimini hızlandırır; bu da birçok araştırmacı için pahalı olabilir ve giriş engellerini azaltabilir. QuaRL (Kuantize takviyeli öğrenme) çalışmamız, RL eğitimini ve çıkarımı hızlandırmak için nicelemeyi kullanır. Belleği kısıtlı İHA'larda daha büyük RL politikalarının uygulanmasında QuaRL'ın gerçek dünyadaki uygulamasını göstermek için Air Learning'i kullandık."
Yerleşik bilgisayarlar, otonom sistemlerin "beyni" görevi görür, dolayısıyla çeşitli algoritmaları verimli bir şekilde çalıştırabilmelidirler. Ancak bu bilgisayarların tasarlanması oldukça pahalı olabilir ve sistematik bir tasarım metodolojisinden yoksundur. Bu nedenle Krishnan ve meslektaşları sonraki çalışmalarında, otonom İHA'lar için yerleşik bilgisayarların tasarımını nasıl otomatikleştirebileceklerini, maliyetlerini düşürüp İHA performansını en üst düzeye çıkarabileceklerini keşfetmeyi planlıyor.
Krishnan, "Farklı dağıtım senaryolarına yönelik çeşitli navigasyon politikalarını eğitmek ve test etmek için Air Learning'i zaten kullandık" dedi. “Ayrıca otonom araştırmalarımız kapsamında uygulamalarıışık kaynaklarını aramak için tamamen otonom bir İHA oluşturduk. Çalışmada, mikrodenetleyiciyle çalışan küçük bir İHA üzerinde çalışacak ışık arama politikasını eğitmek ve dağıtmak için Air Learning kullanıldı."
ELE Zamanları
-
ELE Zamanlarıhttps://www.eletimes.com/author/eletimes-newsIEEE 802.11ax 6 GHz Bandında OTA Ölçümünü Destekleyen Bluetest ve Anritsu (Wi-Fi 6E) Cihazlar
-
ELE Zamanlarıhttps://www.eletimes.com/author/eletimes-newsMühendisler Kuantum Bilgisayar Tasarımında Kritik İlerleme Sağlıyor
-
ELE Zamanlarıhttps://www.eletimes.com/author/eletimes-newsInfineon CEO'su: Küresel Çip Çöküşü 2023'e Kadar Devam Edebilir
-
ELE Zamanlarıhttps://www.eletimes.com/author/eletimes-newsBisikletlilere Trafik Sinyallerinde 'Yeşil Dalga' Vermek İçin Derin Öğrenme Algoritmalarını Kullanmak