“SonicSense”: Teknologjia që u jep robotëve ndjesinë e prekjes njësoj si njeriu

Studiuesit kanë pajisur robotët me një ndjesi prekëse përmes “dëgjimit” të vibrimeve, duke u mundësuar të identifikojnë materialet, të kuptojnë format dhe të njohin objektet njësoj si duart e njeriut.

Imagjinoni të jeni ulur në një kinema të errët duke menduar se sa pije ka mbetur në gotën tuaj të madhe. Në vend që të hiqni kapakun dhe të shihni, e ngrini dhe e tundni pak për të dëgjuar se sa akull ka brenda, duke ju dhënë një ide të mirë nëse do t’ju duhet një rimbushje falas. Duke e vendosur gotën përsëri poshtë, mendoni me hutim nëse mbështetësja e krahut është bërë nga druri i vërtetë. Pas disa trokitjeve që japin një tingull të zbrazët, vendosni që duhet të jetë prej plastike.

Kjo aftësi për të interpretuar botën përmes vibrimeve akustike që burojnë nga një objekt është diçka që ne e bëjmë pa menduar. Dhe është një aftësi që studiuesit janë pranë ta sjellin te robotët për të shtuar grupin e tyre në rritje të aftësive ndijore. Një kërkim i ri nga Universiteti Duke, i cili do të prezantohet në Conference on Robot Learning (CoRL 2024) detajon një sistem të quajtur SonicSense që u mundëson robotëve të ndërveprojnë me ambientet e tyre në mënyra të kufizuara më parë vetëm për njerëzit.

SonicSense përfshin një dorë robotike me katër gishta, secili i pajisur me një mikrofon kontakti të integruar në majë të gishtit. Këta sensorë zbulojnë dhe regjistrojnë vibrimet e krijuara kur roboti troket, kap ose tund një objekt. Dhe, pasi mikrofonët janë në kontakt me objektin, i mundëson robotit të izolojë zhurmat e ambientit. Bazuar në ndërveprimet dhe sinjalet e zbuluara, SonicSense nxjerr karakteristikat e frekuencave dhe përdor njohuritë e mëparshme, të kombinuara me përparimet e fundit në AI, për të përcaktuar materialin e objektit dhe formën e tij 3D. Nëse është një objekt që sistemi nuk e ka parë më parë, mund të duhen 20 ndërveprime për të arritur në një përfundim. Por nëse është një objekt që tashmë ndodhet në bazën e të dhënave të tij, mund ta identifikojë saktësisht me vetëm katër ndërveprime.

Lexo edhe:Ndryshe nga X, Bluesky thotë se nuk do të trajnojë AI në postimet e përdoruesve

“SonicSense i jep robotëve një mënyrë të re për të dëgjuar dhe ndjerë, ashtu si njerëzit, gjë që mund të transformojë mënyrën se si robotët e sotëm perceptojnë dhe ndërveprojnë me objektet,” thotë Chen, i cili gjithashtu ka pozicione dhe studentë nga inxhinieria elektrike dhe kompjuterike dhe shkenca kompjuterike. “Ndërsa shikimi është thelbësor, zëri shton shtresa informacioni që mund të zbulojnë gjëra që syri mund të mos i dallojë.” Në punimin dhe demonstrimet e tij, Chen dhe laboratori i tij tregojnë një sërë aftësish të mundësuara nga SonicSense. Duke rrotulluar ose tundur një kuti të mbushur me zare, mund të numërojë sa zare ka brenda, si dhe formën e tyre. Duke bërë të njëjtën gjë me një shishe uji, mund të tregojë sa lëng ka brenda. Dhe duke trokitur rreth jashtë një objekti, ashtu si njerëzit eksplorojnë objektet në errësirë, mund të krijojë një rikonstruksion 3D të formës së objektit dhe të përcaktojë materialin e tij. Ndërsa SonicSense nuk është përpjekja e parë për të përdorur këtë qasje, ajo shkon më tej dhe performon më mirë se punët e mëparshme duke përdorur katër gishta në vend të një, mikrofonë me prekje që izolojnë zhurmat e ambientit dhe teknika të përparuara të AI. Ky konfigurim i mundëson sistemit të identifikojë objekte të përbëra nga më shumë se një material me gjeometri komplekse, sipërfaqe transparente ose reflektuese dhe materiale që janë sfiduese për sistemet e bazuara në shikim.

“Ndërsa shumica e bazave të të dhënave mblidhen në kushte të kontrolluara laboratorike ose me ndërhyrje njerëzore, ne kishim nevojë që roboti ynë të ndërvepronte me objektet në mënyrë të pavarur në një ambient laboratorik të hapur,” thotë Liu. “Është e vështirë të replikohet ai nivel kompleksiteti në simulime. Ky hendek midis të dhënave të kontrolluara dhe atyre reale është kritike, dhe SonicSense e tejkalon këtë duke mundësuar që robotët të ndërveprojnë drejtpërdrejt me realitetet e ndryshme dhe të çrregullta të botës fizike.” Këto aftësi e bëjnë SonicSense një bazë të fuqishme për trajnimin e robotëve për të perceptuar objekte në mjedise dinamike dhe të pastrukturuara. Po ashtu ndihmon edhe kostoja; duke përdorur të njëjtët mikrofonë kontakti që muzikantët përdorin për të regjistruar tingullin e kitarave, printimin 3D dhe përbërës të tjerë komercialë të disponueshëm, kostot e ndërtimit mbeten pak mbi 200 dollarë. Në të ardhmen, grupi po punon për të përmirësuar aftësinë e sistemit për të ndërvepruar me objekte të shumta. Duke integruar algoritme të ndjekjes së objekteve, robotët do të jenë në gjendje të përballojnë mjedise dinamike dhe të ngarkuara, duke i afruar më shumë me përshtatshmërinë njerëzore në detyrat reale.

Një tjetër zhvillim kyç qëndron në dizajnin e dorës së robotit vetë. “Kjo është vetëm fillimi. Në të ardhmen, ne e shohim SonicSense të përdoret në duar robotike më të avancuara me aftësi manipulimi të zgjuara, duke i lejuar robotët të kryejnë detyra që kërkojnë një ndjesi delikate prekëse,” thotë Chen. “Ne jemi të emocionuar të eksplorojmë se si kjo teknologji mund të zhvillohet më tej për të integruar modalitete të shumta ndijore, si presioni dhe temperatura, për ndërveprime edhe më komplekse.”