Companiile încep să reducă utilizarea ChatGPT și Claude din cauza costurilor ridicate

Adaugă-ne ca sursă preferată

Urmărește-ne in Discover

După luni în care companiile și-au încurajat angajații să folosească cât mai intens inteligența artificială, tot mai multe organizații își schimbă strategia, anunță agenția de știri AP, citată de MEDIAFAX.

Fenomenul, cunoscut în industria tehnologiei sub numele de „tokenmaxxing”, începe să piardă teren, iar marile companii caută soluții prin care să folosească inteligența artificială mai eficient și cu costuri mai mici, mai scrie AP.

Ce este „tokenmaxxing”

Modelele generative precum ChatGPT, Claude sau Gemini procesează informațiile folosind „tokeni”, unități de text care reprezintă fragmente de cuvinte sau propoziții. Cu cât sunt folosiți mai mulți tokeni, cu atât costurile cresc. În ultimele luni, în Silicon Valley s-a răspândit ideea că un angajat performant este unul care utilizează intens instrumentele AI și consumă cât mai multe resurse pentru automatizarea muncii.

Directorul general al OpenAI, Sam Altman, declara în primăvară că este curios să vadă cum vor evolua companiile construite în jurul acestui concept. La rândul său, șeful Nvidia, Jensen Huang, sugera că dacă un inginer foarte bine plătit nu consumă sute de mii de dolari în resurse AI, există o problemă. Inclusiv Meta a organizat competiții interne care recompensau utilizarea intensivă a inteligenței artificiale.

Facturile au început să schimbe strategia

Pe măsură ce utilizarea AI s-a extins, multe companii au descoperit că nota de plată crește mult mai repede decât beneficiile. Vincent Gusdorf, specialist în analiză AI la Moody’s Ratings, spune că entuziasmul inițial a dus la folosirea inteligenței artificiale inclusiv pentru activități care nu justificau costurile. „Este foarte ușor să creezi cu AI ceva de care, de fapt, nu ai nevoie”, explică acesta.

Și consultanții Bain & Company observă aceeași tendință. În cazul unor mari companii, costurile cu serviciile AI aproape că se dublează la fiecare două luni. Pentru organizațiile care au zeci de mii de dezvoltatori software, chiar și un abonament de câteva sute de dolari pe lună pentru fiecare angajat poate însemna cheltuieli de milioane de dolari anual.

Nu toate sarcinile au nevoie de cele mai puternice modele AI

Una dintre concluziile la care au ajuns companiile este că folosirea celui mai avansat model AI pentru orice activitate reprezintă o risipă. Generarea unui e-mail sau rezumarea unui document nu necesită aceeași putere de procesare ca dezvoltarea unui program software complex sau analiza unor volume mari de date.

Din acest motiv, tot mai multe organizații implementează sisteme de „model routing”, care aleg automat modelul AI potrivit în funcție de complexitatea fiecărei solicitări. Sarcinile simple sunt trimise către modele mai ieftine, iar cele dificile către cele mai performante.

Modelele open-source câștigă teren

În paralel, tot mai multe firme analizează alternative mai ieftine la produsele dezvoltate de OpenAI sau Anthropic. Modelele open-source, inclusiv cele dezvoltate de companii chineze precum Moonshot sau Zhipu, oferă performanțe apropiate de cele ale liderilor pieței, dar la costuri semnificativ mai reduse.

Acest lucru pune presiune asupra furnizorilor americani, într-un moment în care tot mai multe companii încearcă să își optimizeze bugetele dedicate inteligenței artificiale.

Urmează o utilizare mai inteligentă a AI

Experții cred că tendința nu înseamnă renunțarea la inteligența artificială, ci maturizarea modului în care aceasta este utilizată. Raffi Krikorian, director de tehnologie la Mozilla, compară fenomenul cu perioada în care programatorii erau evaluați după numărul de linii de cod scrise, o practică abandonată ulterior deoarece nu reflecta productivitatea reală.

În opinia sa, și „tokenmaxxing” va rămâne doar o etapă de început în evoluția inteligenței artificiale. Pe măsură ce companiile înțeleg mai bine costurile și beneficiile AI, accentul se mută de la consumul cât mai mare de resurse către folosirea lor acolo unde aduc cu adevărat valoare.