Një nga teknikat më të përdorura për t’i bërë modelet e AI më efikase, kuantizimi, ka kufij dhe industria mund t’i afrohet me shpejtësi.
Në kontekstin e AI, kuantizimi i referohet uljes së numrit të biteve, njësitë më të vogla që një kompjuter mund të përpunojë, të nevojshme për të përfaqësuar informacionin. Merrni parasysh këtë analogji: Kur dikush pyet për orën, ju ndoshta do të thoni “mesditë” – jo “ora dymbëdhjetë e një sekondë dhe katër milisekonda”. Kjo është kuantizimi, të dyja përgjigjet janë të sakta, por njëra është pak më e saktë. Sa saktësi ju nevojitet në të vërtetë varet nga konteksti.
Modelet e AI përbëhen nga disa komponentë që mund të kuantizohen, në parametra të veçantë, modelet e variablave të brendshëm përdorin për të bërë parashikime ose vendime. Kjo është e përshtatshme, duke pasur parasysh se modelet kryejnë miliona llogaritje kur ekzekutohen. Modelet e kuantizuara me më pak bit që përfaqësojnë parametrat e tyre janë më pak kërkues matematikisht dhe për këtë arsye llogaritëse. Por, kuantizimi mund të ketë më shumë kompromise, sesa supozohej më parë.
Modeli gjithnjë në tkurrje
Sipas një studimi nga hulumtuesit në Harvard, Stanford, MIT, Databricks dhe Carnegie Mellon, modelet e kuantizuara performojnë më keq nëse versioni origjinal, i pakuantizuar i modelit është trajnuar për një periudhë të gjatë me shumë të dhëna. Me fjalë të tjera, në një moment të caktuar, në fakt mund të jetë më mirë të stërvitni një model më të vogël, sesa të përgatisni një model të madh.
Ky mund të jetë një lajm i keq për kompanitë e AI që trajnojnë modele jashtëzakonisht të mëdha (të njohura për përmirësimin e cilësisë së përgjigjeve) dhe më pas i kuantizojnë ato në një përpjekje për t’i bërë ato më pak të kushtueshme për t’u shërbyer.
Efektet tashmë po shfaqen. Disa muaj më parë, zhvilluesit dhe akademikët raportuan se kuantizimi i modelit Llama 3 të Metës priret të ishte “më i dëmshëm” në krahasim me modelet e tjera, potencialisht për shkak të mënyrës se si ishte trajnuar.
“Për mendimin tim, kostoja numër një për të gjithë në AI është dhe do të vazhdojë të jetë konkluzion dhe puna jonë tregon se një mënyrë e rëndësishme për ta ulur atë nuk do të funksionojë përgjithmonë”, tha Tanishq Kumar, student i matematikës në Harvard.
Në kundërshtim me besimin popullor, konkludimi i modelit të AI, drejtimi i një modeli, si kur ChatGPT i përgjigjet një pyetjeje, shpesh është më i shtrenjtë në total sesa trajnimi i modelit. Konsideroni, për shembull, që Google shpenzoi rreth 191 milionë dollarë për të trajnuar një nga modelet e tij kryesore Gemini. Por, nëse kompania do të përdorte një model për të gjeneruar përgjigje me vetëm 50 fjalë për gjysmën e të gjitha pyetjeve të Kërkimit në Google, ajo do të shpenzonte afërsisht 6 miliardë dollarë në vit. Laboratorët kryesorë të AI-së kanë përqafuar modele trajnimi në grupe të dhënash masive nën supozimin se “shkallëzimi”, rritja e sasisë së të dhënave dhe llogaritja e përdorur në trajnim, do të çojë në AI gjithnjë e më të aftë.
Dëshmitë sugjerojnë se rritja përfundimisht siguron kthime në rënie; Anthropic dhe Google thuhet se kanë trajnuar së fundmi modele të mëdha që nuk i përmbushnin pritshmëritë e standardeve të brendshme. Por, ka pak shenja që industria është gati të largohet në mënyrë domethënëse nga këto qasje të rrënjosura të shkallëzimit.
Sa saktë, saktësisht?
Pra, nëse laboratorët hezitojnë të trajnojnë modelet në grupe të dhënash më të vogla, a ka ndonjë mënyrë që modelet të bëhen më pak të ndjeshme ndaj degradimit? Mundësisht. Kumar thotë se ai dhe bashkëautorët zbuluan se modelet e trajnimit me “precizion të ulët” mund t’i bëjnë ato më të fuqishme.
“Saktësia” këtu i referohet numrit të shifrave që një lloj i të dhënave numerike mund të përfaqësojë me saktësi. Llojet e të dhënave janë koleksione të vlerave të të dhënave, zakonisht të specifikuara nga një grup vlerash të mundshme dhe operacione të lejuara, tipi i të dhënave FP8, për shembull, përdor vetëm 8 bit për të përfaqësuar një numër me pikë lundruese.
Shumica e modeleve sot janë të trajnuar me saktësi 16-bit ose “gjysmë precizion” dhe “post-train quantized” në saktësi 8-bit. Disa komponentë të modelit (p.sh. parametrat e tij) konvertohen në një format me precizion më të ulët me koston e njëfarë saktësie.
Por saktësia jashtëzakonisht e ulët e kuantizimit mund të mos jetë e dëshirueshme. Sipas Kumar, nëse modeli origjinal nuk është tepër i madh për sa i përket numrit të parametrave të tij, saktësitë më të ulëta se 7, ose 8 bit mund të shohin një rënie të dukshme në cilësi.
Lexo edhe: Shell sjell tregtimin e karburanteve në Shqipëri përmes Coral Albania Sh.a
Nëse e gjithë kjo duket pak teknike, mos u shqetësoni, është. Por, gjëja kryesore është thjesht se modelet e AI nuk kuptohen plotësisht dhe shkurtoret e njohura që funksionojnë në shumë lloje llogaritjeje nuk funksionojnë këtu. Sigurisht, nuk është aq e qartë, por ideja është e njëjtë:
“Pika kryesore e punës sonë është se ka kufizime që nuk mund t’i kapërceni në mënyrë naive. Shpresojmë që puna jonë t’i shtojë nuancë diskutimit që shpesh kërkon standarde gjithnjë e më të ulëta të saktësisë për trajnime dhe konkluzion”, përfundoi Kumar.
Kumar pranon se studimi i tij dhe i kolegëve ishte në shkallë relativisht të vogël, ata planifikojnë ta testojnë atë me më shumë modele në të ardhmen. Por, ai beson se të paktën një pasqyrë do të qëndrojë: Nuk ka drekë falas kur bëhet fjalë për reduktimin e kostove të përfundimit.
“Pak saktësi ka rëndësi dhe nuk është falas,” tha ai. “Nuk mund ta reduktosh atë përgjithmonë pa vuajtur modelet. Modelet kanë kapacitet të kufizuar, kështu që në vend që të përpiqen të vendosin një kuadrilion argumente në një model të vogël, për mendimin tim do të bëhen shumë më tepër përpjekje për kurimin dhe filtrimin e përpiktë të të dhënave, në mënyrë që vetëm të dhënat e cilësisë më të lartë të vendosen në modele më të vogla. Unë jam optimist se arkitekturat e reja që synojnë qëllimisht ta bëjnë të qëndrueshme trajnimin me saktësi të ulët do të jenë të rëndësishme në të ardhmen”, shtoi Kumar.
Që nga viti 2015 nxisim shpirtin sipërmarrës, inovacionin dhe rritjen personale duke ndikuar në zhvillimin e një mjedisi motivues dhe pozitiv tek lexuesit tanë. Kjo punë që e bëjmë me shumë dashuri nuk ka të paguar. Ne jemi platforma e vetme e cila promovon modelin pozitiv të sipërmarrjes së lirë. Përmes kësaj platforme mbështesim edukimin gjatë gjithë jetës si mjet për zhvillimin personal dhe profesional të brezave. Kontributi juaj do të na ndihmojë në vazhdimin e këtij misioni në gjithë trevat shqipfolëse.
Mund të kontribuoni KETU. Falemnderit.
