Google a anunțat Coral NPU — o nouă platformă open-source care permite rularea inteligenței artificiale direct pe dispozitive, fără să depindă de conexiune la internet (edge AI). Co-proiectat de Google Research împreună cu Google DeepMind, Coral este gândită pentru scenarii în care AI trebuie să funcționeze în timp real, cu consum redus de energie și fără a trimite date sensibile în cloud.
La bază, Coral este o arhitectură hardware complet nouă, dedicată exclusiv procesării neurale locale. Include un nucleu scalar (bazat pe RISC-V), un co-procesor vectorial și un motor matrix specializat în operațiuni esențiale pentru rețele neuronale. Acest motor poate executa până la 512 giga-operații pe secundă (GOPS), consumând doar câțiva miliwați — suficient pentru dispozitive care trebuie să funcționeze toată ziua cu baterii mici, cum ar fi ceasuri inteligente, ochelari AR sau senzori portabili.
Coral nu e doar hardware. Vine cu un ecosistem software complet — lanț de compilare, runtime, suport pentru framework-uri cunoscute ca TensorFlow Lite Micro, IREE sau MLIR. Modelele AI pot fi scrise în JAX sau PyTorch și apoi optimizate pentru a rula pe Coral cu latență minimă. Google și DeepMind testează deja rularea locală a unor modele de tip transformator redus, ceea ce deschide calea pentru aplicații generative AI fără conexiune la rețea.
Primul partener hardware care adoptă Coral este Synaptics, care a integrat platforma în procesorul Astra SL2610, destinat dispozitivelor IoT. Acesta folosește Coral ca subsistem AI numit Torq™ NPU și este compatibil cu toolchain-ul open-source pus la dispoziție de Google.
Un alt punct-cheie al platformei este accentul pe confidențialitate și securitate. Coral este proiectat să suporte tehnologii precum CHERI, care oferă izolare de memorie și compartimentare securizată la nivel hardware — o componentă crucială pentru aplicații sensibile, precum recunoaștere vocală sau gesturi.
Google intenționează să publice pe GitHub atât designul arhitecturii Coral, cât și componentele hardware (inclusiv motorul matrix), pentru a încuraja adoptarea și contribuția din partea comunității.
Într-un moment în care tot mai multe aplicații AI se bazează pe cloud, Coral propune o abordare opusă: modele care rulează local, rapid, eficient și mai sigur pentru utilizator. Dacă va fi adoptat pe scară largă, Coral ar putea deveni un standard pentru AI pe dispozitive — concurând cu soluții deja existente, precum Apple Neural Engine sau Qualcomm AI Engine.
Surse:
