• Vezető: Dr. Zsedrovits Tamás
  • Tagok: Dr. Nawar Al-Hemeary, Daubner Lóránt, Lengyel Balázs Ádám, Mészáros Gergő
  • Kapcsolat: zsedrovits.tamas@itk.ppke.hu
  • A UAV Vision Labor célja a pilóta nélküli repülőgépek és a gépi látás területének kutatása. A kutatás során az egyik fő kérdés, hogy hogyan lehet az adott feladatokhoz szükséges számításokat a lehető legkisebb fogyasztással és kisméretű, elérhető árú eszközökkel megoldani. Az egyik fő téma a kamera alapú ütközés elkerülés, ahol egy vagy több kamera felvételén szeretnénk detektálni és követni távoli repülőgépeket. A cél a minél jobb detekció és követés mellett az, hogy az ütközés elkerülő rendszer minél kisebb fogyasztású és méretű legyen, hiszen a számításokat valós időben a repülő fedélzetén kell végezni. Egy másik kutatott terület a repülők ergonomikus irányítása, ahol olyan irányítási módszereket fejlesztünk, melyekkel természetesebben és gyorsabban tanulható módon lehet vezetni a repülőket. A harmadik nagy tématerület a beltéri alkalmazások. Itt a gépi látásra támaszkodva vizsgáljuk, hogy milyen feladatok oldhatók meg külső referencia rendszerek nélkül, csak a repülőn lévő szenzorokat (kamera, IMU, LiDAR, távolságmérő stb.) használva. Például a 3D barlang térképezés során a kamera, IMU és LiDAR segítségével pontosabb 3D térképeket készítünk barlangjáratokról, megkönnyítve új járatok feltárását és segítve a barlangászokat. Ezek mellett a hallgatók az alábbi területeken dolgoznak: szimulátor fejlesztése az ütközés elkerüléshez, 3D épületmodell alkotása fotogrammetriai eszközökkel, arcfelismerés és követés drón rajjal, neuromorf ütközés elkerülés, vizuális beltéri navigáció, és videó annotációs adatbázis létrehozása.

Drónok autonóm akadályelkerülésére fejlesztett biológiailag motivált látórendszer kísérlet. A képen látható, amint a drón a paravánok közötti szabad útvonalon repül át egy összetett környezetben. A rendszer egy emlősök retinamodelljén alapuló előfeldolgozásból és egy U-Net-ből áll a látási feladathoz. A videót a DJI Tello drón veszi fel, és továbbítja a laptopra, amin fut a kommunikációt és a drón vezérlését végző ROS Ubuntu alapú program, valamint a laptop dedikált GPU-ján a neurális hálózat Pytorch implementációja.