OpenAI njoftoi një sërë përditësimesh në shërbimet e saj API gjatë një eventi për programuesit të mbajtur në San Francisko. Këto përditësime do t’u mundësojnë programuesve të personalizojnë më tej modelet, të zhvillojnë aplikacione të reja të bazuara në zë, të ulin kostot për kërkesat e përsëritura dhe të marrin performancë më të mirë nga modelet më të vogla. OpenAI prezantoi katër përditësime kryesore të API-së gjatë eventit: Model Distillation, Prompt Caching, Vision Fine-Tuning dhe prezantimi i një shërbimi të ri API të quajtur RealTime. Për të pa iniciuarit, një API (interface për aplikime) u mundëson programuesve të integrojnë funksionalitete nga një aplikacion i jashtëm në produktin e tyre.
Model Distillation
Kompania prezantoi një mënyrë të re për të përmirësuar aftësitë e modeleve më të vogla si GPT-4o mini duke i rregulluar ato me rezultatet e modeleve më të mëdha, proces i quajtur Model Distillation. Në një postim në blog, kompania theksoi se “deri tani, distilimi ka qenë një proces me disa hapa, i prirur për gabime, që kërkonte zhvilluesve të koordinonin manualisht operacione të shumta përmes mjeteve të ndryshme, nga gjenerimi i të dhënave deri te rregullimi i saktë i modeleve dhe matja e përmirësimeve të performancës.”
Për të bërë procesin më efikas, OpenAI ndërtoi një site të Model Distillation brenda platformës së saj API. Platforma u mundëson programuesve të krijojnë datasetet e tyre duke përdorur modele të avancuara si GPT-4o dhe o1-preview për të gjeneruar përgjigje me cilësi të lartë, të rregullojnë një model më të vogël që t’i ndjekë këto përgjigje dhe më pas të krijojnë dhe ekzekutojnë vlerësime të personalizuara për të matur se si performon modeli në detyra të caktuara. OpenAI thotë se do të ofrojë dy milionë tokene trajnimi falas në ditë në GPT-4o mini dhe një milion tokene trajnimi falas në ditë në GPT-4o deri më 31 tetor për të ndihmuar programuesit të fillojnë me distilimin. (Tokenet janë blloqe të dhënash që modelet AI i përpunojnë për të kuptuar kërkesat.) Kostoja e trajnimit dhe funksionimit të një modeli të distiluar është e njëjtë me çmimet standarde të rregullimit të saktë të OpenAI.
Prompt Caching
OpenAI ka qenë e përqendruar në uljen e çmimit të shërbimeve të saj API, dhe ka ndërmarrë një hap tjetër në këtë drejtim me Prompt Caching, një veçori e re që u mundëson programuesve të ripërdorin promptet që ndodhin shpesh pa paguar çmimin e plotë çdo herë. Shumë aplikacione që përdorin modelet e OpenAI përfshijnë parashtesa të gjata para prompeve që detajojnë se si duhet të sillet modeli kur plotëson një detyrë të caktuar, si për shembull t’i udhëzojnë modelit të përgjigjet në një ton të qetë ose të formatizojë gjithmonë përgjigjet në pika. Parashtesat më të gjata zakonisht përmirësojnë modelin dhe ndihmojnë në ruajtjen e konsistencës së përgjigjeve, por gjithashtu rrisin koston për thirrje API. Tani, OpenAI thotë se API do të ruajë automatikisht ose “cache” parashtesat e gjata deri në një orë. Nëse API zbulon një prompt të ri me të njëjtën parashtesë, ajo automatikisht do të aplikojë një zbritje prej 50% të kostos së hyrjes. Për zhvilluesit e aplikacioneve të AI me raste përdorimi shumë të përqendruara, veçoria e re mund të kursejë një shumë të konsiderueshme parash. Rival i OpenAI, Anthropic, prezantoi ruajtjen e prompeve në familjen e modeleve të tij në gusht.
Lexo edhe:Bëhuni pjesë e React Bootcamp nga TeamSystem Tirana & TUMO!
Vision Fine-Tuning
Tani programuesit do të jenë në gjendje të rregullojnë GPT-4o me imazhe përveç tekstit, gjë që OpenAI thotë se do të përmirësojë aftësinë e modelit për të kuptuar dhe njohur imazhet, duke mundësuar “aplikacione si funksionalitete të përmirësuara të kërkimit vizual, përmirësim të zbulimit të objekteve për automjetet autonome ose qytetet inteligjente, dhe analiza më të sakta të imazheve mjekësore.” Duke ngarkuar një dataset me imazhe të etiketuar në platformën e OpenAI, programuesit mund të përmirësojnë performancën e modelit kur bëhet fjalë për të kuptuar imazhet. OpenAI thotë se Coframe, një startup që ndërton një asistent inxhinierie të rritjes të fuqizuar nga AI, ka përdorur Vision Fine-Tuning për të përmirësuar aftësinë e asistentit për të gjeneruar kod për faqet e internetit. Duke dhënë GPT-4 qindra imazhe të faqeve të internetit dhe kodin e përdorur për t’i krijuar ato, “ata përmirësuan aftësinë e modelit për të gjeneruar faqe interneti me stil vizual të konsistent dhe layout të saktë me 26% krahasuar me GPT-4o bazë.” Për të ndihmuar programuesit të fillojnë, OpenAI do të japë një milion tokene trajnimi falas çdo ditë gjatë muajit tetor. Nga nëntori e tutje, rregullimi i saktë i GPT-4o me imazhe do të kushtojë 25 dollarë për një milion tokene.
Realtime
Javën e kaluar, OpenAI bëri të disponueshëm për të gjithë abonentët e ChatGPT modalitetin e tij të avancuar të zërit që tingëllon si njerëzor. Tani, kompania po u mundëson programuesve të ndërtojnë aplikacione që bazohen në biseda zë-për-zë duke përdorur teknologjinë e saj. Nëse një zhvillues kishte dashur më parë të krijonte një aplikacion të fuqizuar nga AI që mund të fliste me përdoruesit, ai duhej fillimisht të transkriptonte audion, t’ia dërgonte tekstin një modeli të gjuhës si GPT-4 për t’u përpunuar dhe më pas të dërgonte rezultatin në një model tekst-për-zë. OpenAI thotë se ky qasje “shpesh rezultonte në humbje të emocioneve, theksimit dhe dialekteve, plus vonesë të dukshme.” Me API-në Realtime, audio përpunohet menjëherë nga API pa pasur nevojë të lidhni disa aplikacione së bashku, duke e bërë atë shumë më të shpejtë, më të lirë dhe më të përgjegjshme. API gjithashtu mbështet thirrjen e funksioneve, që do të thotë se aplikacionet e fuqizuara prej saj do të jenë në gjendje të marrin veprime, si të porosisin një picë ose të bëjnë një takim. Realtime do të përditësohet eventualisht për të menaxhuar eksperienca multimodale të çdo lloji, përfshirë video. Për të përpunuar tekst, API do të kushtojë 5 dollarë për një milion tokene hyrëse dhe 20 dollarë për një milion tokene dalëse. Kur përpunoni audio, API do të tarifojë 100 dollarë për një milion tokene hyrëse dhe 200 dollarë për një milion tokene dalëse. OpenAI thotë se kjo është e barabartë me “afërsisht 0.06 dollarë për minutë të hyrjes së audios dhe 0.24 dollarë për minutë të daljes së audios.”
Që nga viti 2015 nxisim shpirtin sipërmarrës, inovacionin dhe rritjen personale duke ndikuar në zhvillimin e një mjedisi motivues dhe pozitiv tek lexuesit tanë. Kjo punë që e bëjmë me shumë dashuri nuk ka të paguar. Ne jemi platforma e vetme e cila promovon modelin pozitiv të sipërmarrjes së lirë. Përmes kësaj platforme mbështesim edukimin gjatë gjithë jetës si mjet për zhvillimin personal dhe profesional të brezave. Kontributi juaj do të na ndihmojë në vazhdimin e këtij misioni në gjithë trevat shqipfolëse.
Mund të kontribuoni KETU. Falemnderit.
