Ayak bileği stratejisi kullanarak Robotis-OP2 için itme kurtarma kontrol yöntemlerinin karşılaştırılması

The main purpose of this study is to develop push-recovery controllers for bipedal humanoid robots. In bipedal humanoid robots, occur balance problems against external pushes. In this article, control methods that will be the solution to the balance problems in humanoid robots are proposed. We aim to ensure that bipedal robots that behave like humans can come to a position of balance against external pushes. When people encounter balance problems as a result of outside pushes, they respond quite successfully. This ability is limited in bipedal humanoid robots. The main reason for this is the complex structures and limited capacities of humanoid robots. In the real world, there are push-recovery strategies created by considering the reactions of people in case of balance disorder. These strategies; are ankle, hip, and step strategies. In this study, the ankle strategy, from the push-recovery strategies, was used. Different control methods have been tried with the ankle strategy. Three different techniques of control were utilized in the applications. These methods are as follows; Classical control method is PD, Model Predictive Control (MPC) based on prediction, and Deep Q Network (DQN) as deep reinforcement learning algorithm. The applications were carried out on the Robotis-OP2 robot. Simulation tests were done in 3D in the Webots simulator. The humanoid robot was tested with three methods and the results were compared. It has been determined that the Deep Q Network algorithm gives the best results among these methods.

Bu çalışmanın ana hedefi, iki ayaklı insansı robotlar için itme-kurtarma kontrolörleri geliştirmektir. İki ayaklı insansı robotlarda dışardan gelen itmelere karşı denge problemi oluşmaktadır. Bu makalede insansı robotlardaki denge problemlerine çözüm olacak kontrol yöntemleri önerilmiştir. Amacımız, insan gibi davranan iki ayaklı robotların dışardan gelen itmelere karşı denge pozisyonuna gelebilmesini sağlamaktır. İnsanlar dışarda gelen itmeler sonucunda denge problemleri ile karşılaştıklarında oldukça başarılı bir şekilde tepki vermektedirler. İki ayaklı insansı robotlarda ise bu yetenek sınırlıdır. Bunun başlıca sebebi insansı robotların karmaşık yapıları ve kapasitelerinin sınırlı olmasıdır. Gerçek dünyada insanların denge bozukluğu durumunda gösterdikleri tepkiler ele alınarak oluşturulan itme-kurtarma stratejileri bulunmaktadır. Bu stratejiler; ayak bileği, kalça ve adım stratejileridir. Bu çalışmada itme-kurtarma stratejilerinden ayak bileği stratejisini kullanılmıştır. Ayak bileği stratejisini kullanarak, farklı kontrol yöntemleri denenmiştir. Yapılan uygulamalarda üç farklı kontrol yöntemi kullanılmıştır. Bunlar; klasik kontrol yöntemi PD, tahmine dayalı olarak Model Öngörülü Kontrol (MÖK) ve derin pekiştirmeli öğrenme algoritmalarından Derin Q Ağı (DQA) yöntemleridir. Uygulamalar Robotis-OP2 insansı robotu üzerinde gerçekleştirilmiştir. Simülasyon testleri ise Webots ortamında 3 boyutlu olarak yapılmıştır. Her bir yöntem ile insansı robot test edilmiş ve sonuçları karşılaştırılmıştır. Bu yöntemlerden derin pekiştirmeli öğrenme algoritması olan Derin Q Ağı (DQA) en iyi sonuç verdiği gözlemlenmiştir.