Conform Go4IT: ByteDance pregătește un gigant al inteligenței artificiale
ByteDance, compania-mamă a TikTok, dezvoltă un model de inteligență artificială care ar putea concura cu cele mai avansate creații ale companiilor americane. Potrivit informațiilor publicate de Financial Times, compania chineză a început pre-antrenarea unui nou model AI cu un număr impresionant de 10 trilioane de parametri.
Această cifră plasează modelul ByteDance mult înaintea altor jucători de pe piața chineză. Modelul Kimi K3 al Moonshot AI, de exemplu, are 2,8 trilioane de parametri, fiind considerat până acum cel mai mare model AI din China. Parametrii sunt valorile numerice interne ale unui model AI, esențiale pentru procesarea și transformarea datelor în rezultate. Un număr mai mare de parametri permite, în general, o gândire artificială mai complexă.
Procesul de pre-antrenare a unui astfel de model durează, de regulă, între trei și șase luni, urmat de o perioadă de ajustare fină înainte de lansare. Deși ByteDance nu a dezvăluit dimensiunea finală a modelului, se estimează că acesta va fi printre cele mai mari la nivel global.
Ambiții globale în cursa AI
Comparația cu modelele de vârf ale Anthropic, o altă companie de referință în domeniu, arată amploarea ambițiilor ByteDance. Estimările din industrie plasează cel mai avansat model al Anthropic, Mythos 5, la aproximativ 8 trilioane de parametri, iar Fable 5 la circa 5 trilioane. Chiar dacă numărul de parametri este un indicator important al capacității unui model, calitatea datelor și metodele de antrenare joacă, de asemenea, un rol crucial.
Competiția pe piața inteligenței artificiale este acerbă, iar eforturile ByteDance indică dorința Chinei de a nu doar ajunge, ci și de a depăși liderii din Statele Unite în acest domeniu strategic. În ultimele săptămâni, modelele chinezești de la Moonshot și Alibaba au demonstrat performanțe notabile în diverse teste, apropiindu-se de performanța modelelor occidentale.
Spre deosebire de multe alte companii chineze care optează pentru modele open-source, ByteDance a mers pe dezvoltarea unor modele închise și pe extinderea agresivă a infrastructurii sale de inteligență artificială. Modele precum „Seedance”, specializat pe generarea video, și „Doubao”, destinat publicului larg, au înregistrat deja succese notabile.
Strategii de dezvoltare independentă
ByteDance a impus recent o regulă internă ce interzice utilizarea metodelor de „distilare” bazate pe modele dezvoltate de alte companii. Această decizie subliniază angajamentul companiei de a se baza exclusiv pe dezvoltarea proprie, fără a se raporta la modelele occidentale de ultimă generație. Distilarea modelelor implică comprimarea unui model mare într-unul mai mic și mai rapid, prin transferul cunoștințelor de la un model „profesor” la unul „elev”.
Analiza indică faptul că această strategie de independență, aplicată de ByteDance de peste un an, ar fi putut încetini într-o oarecare măsură dezvoltarea modelelor sale, în comparație cu concurența. Echipa Seed, responsabilă de dezvoltarea modelelor AI la ByteDance și condusă de Wu Yonghui, un fost cercetător la Google DeepMind, numără aproximativ 2.000 de specialiști în întreaga lume.
Fondatorul ByteDance, Zhang Yiming, a încurajat angajații să se concentreze pe obținerea unor „capacități de model de clasă mondială” pe termen lung, minimizând importanța eventualelor eșecuri pe termen scurt. Această viziune subliniază orientarea strategică a companiei către inovație și leadership în domeniul inteligenței artificiale.
Sursa: Go4IT
