Cloudflare, ofruesi i shërbimit cloud i tregtuar publikisht, ka lançuar një mjet të ri, falas për të parandaluar që robotët të skanojnë faqet e internetit të vendosura në platformën e tij për të dhëna për të trajnuar modelet e AI.
Disa ofrues të AI, duke përfshirë Google, OpenAI dhe Apple, lejojnë pronarët e faqeve të internetit të bllokojnë robotët që përdorin për grumbullimin e të dhënave dhe trajnimin e modeleve duke ndryshuar robots.txt të faqes së tyre, skedarin e tekstit që u tregon robotëve se cilat faqe mund të kenë qasje në një faqe interneti. Por, siç thekson Cloudflare në një postim, jo të gjithë grumbulluesit e AI e respektojnë këtë.
Pra, në një përpjekje për të adresuar problemin, Cloudflare analizoi trafikun e robotëve dhe grumbulluesve të AI për të përshtatur më mirë modelet e zbulimit automatik të robotëve. Modelet marrin parasysh, ndër faktorët e tjerë, nëse një robot i AI mund të përpiqet të shmangë zbulimin duke imituar pamjen dhe sjelljen e dikujt që përdor një shfletues web.
“Kur aktorë të këqij përpiqen të skanojnë faqet e internetit në shkallë të gjerë, ata përgjithësisht përdorin mjete dhe struktura që ne jemi në gjendje t’i identifikojmë. Bazuar në këto sinjale, modelet tona janë në gjendje të identifikojnë siç duhet trafikun nga robotët e AI që përpiqen të shmangin zbulimin”, shkruan Cloudflare.
Cloudflare ka krijuar një formular për host-ët që të raportojnë robotët dhe grumbulluesit e dyshuar të AI dhe do të vazhdojë të përfshijë manualisht në listën e zezë robotët e AI me kalimin e kohës. Shumë faqe, të shqetësuara se ofruesit e AI po trajnojnë modelet me përmbajtjen e tyre pa i njoftuar ose kompensuar, kanë vendosur të bllokojnë grumbulluesit e AI. Sipas një studimi, rreth 26% e 1000 faqeve më të mira në internet kanë bllokuar robotin e OpenAI.
Bllokimi nuk është një mbrojtje e sigurt, megjithatë. Siç u përmend më parë, disa ofrues duket se injorojnë rregullat standarde të përjashtimit të robotëve për të fituar një avantazh konkurrues në garën e AI. Mjetet si ato të Cloudflare mund të ndihmojnë, por vetëm nëse tregohen të sakta në zbulimin e robotëve të fshehtë të AI. Dhe ato nuk do të zgjidhin problemin më të vështirë të botuesve që rrezikojnë të humbasin trafikun e referimeve nga mjetet e AI, si Google’s AI Overviews, të cilat përjashtojnë faqet nga përfshirja, nëse ato bllokojnë grumbulluesit specifikë të AI.
Që nga viti 2015 nxisim shpirtin sipërmarrës, inovacionin dhe rritjen personale duke ndikuar në zhvillimin e një mjedisi motivues dhe pozitiv tek lexuesit tanë. Mbështetja juaj na ndihmon ta vazhdojmë këtë mision.
Na Suporto
