Google a introdus o metodă prin care modelul multimodal Gemini 2.5 poate interpreta imagini multispectrale – un tip de date folosit până acum mai ales în teledetecție și cercetare, dificil de procesat fără expertiză specializată sau modele ML dedicate.

Ce sunt imaginile și de ce contează

Imaginile obișnuite surprind doar spectrul vizibil (roșu, verde, albastru). Senzorii multispectrali captează și alte lungimi de undă – infraroșu apropiat (NIR), infraroșu cu undă scurtă (SWIR), sau alte benzi folosite pentru a detecta vegetație, apă, zone arse, tipuri de sol sau materiale. Aceste date stau la baza agriculturii de precizie, monitorizării pădurilor, detecției inundațiilor, analizelor urbane sau climatice.

Până acum, folosirea lor necesita pipeline-uri complexe: date satelitare brute, conversie în indicatori precum NDVI (pentru vegetație) sau NDWI (pentru apă), apoi antrenarea unor modele ML specializate.

Cum funcționează metoda propusă de Google

Noua abordare nu cere antrenarea unui model nou. În schimb:

Se aleg trei benzi spectrale relevante pentru aplicația respectivă (ex: NIR pentru vegetație, SWIR pentru apă sau incendii).

Benzile sunt normalizate într-o scală 0–255 și sunt mapate artificial pe canalele roșu, verde și albastru ale unei imagini RGB.

Rezultatul este o „imagine fals-culoare”. Imaginea este introdusă în Gemini, împreună cu un prompt care explică modelului ce înseamnă fiecare canal – de exemplu „roșu reprezintă reflectanța în infraroșu apropiat”.

Practic, modelului i se „traduce” cum trebuie interpretată culoarea, iar Gemini folosește apoi capacitatea sa de înțelegere multimodală pentru a analiza și explica aceste date.

Ce rezultate s-au obținut

Testele au folosit setul de date EuroSAT, imagini multispectrale din satelitul Sentinel-2. Fără date suplimentare, Gemini confunda, de exemplu, o zonă de râu cu o pădure.

După introducerea benzii NIR și a promptului care explică semnificația canalelor, modelul a identificat corect că este apă, folosindu-se implicit de indici precum NDWI.

Exemple similare au arătat corecții în clasarea terenurilor agricole, identificarea zonelor arse sau diferențierea între lacuri și umbră.

Ce aplicații devin posibile

Agricultură – evaluarea sănătății culturilor și detectarea timpurie a secetei sau bolilor. Gestionarea resurselor de apă – identificarea apelor de suprafață, monitorizarea inundațiilor. Incendii de vegetație – benzile SWIR pot detecta zone recente arse și focare active chiar prin fum. Urbanism și infrastructură – analiză a extinderii urbane, solului expus sau a zonelor industriale. Mediu și climă – monitorizarea defrișărilor, secetei sau a zonelor umede.

Toate acestea devin accesibile fără construirea de modele ML personalizate – doar prin selecția corectă a benzilor și promptare.

Limitări

Metoda nu elimină complet complexitatea: e nevoie de alegerea corectă a benzilor, normalizarea lor și înțelegerea contextului. Promptul trebuie să descrie clar ce reprezintă fiecare canal, iar rezultatele pot varia în funcție de calitatea datelor sau condițiile de captare (nori, rezoluție joasă, senzori diferiți).

Nu este încă evaluată performanța pe scară largă sau în condiții operaționale continue, iar pentru aplicații critice este necesară validarea prin specialiști.

Surse: