A gépi tanulás kihívásai és a benchmark problémák a meteorológiában

P.D. Düben, M.G. Schultz, M. Chantry, D.J. Cagne, D.M. Hall, A. McGovern (2022): Challenges and Benchmark Datasets for Machine Learning in the Atmospheric Sciences: Definition, Status, and Outlook. (Artificial Intelligence for the Earth Systems 1(3):e210002, pp11, DOI:10.1175/AIES-D-21-0002.1)

Salavec Péter

Bevezetés

A természettudományokban utóbbi időkben elszaporodó, mesterséges intelligenciát alkalmazó módszerek sikerességéhez kulcsfontosságúak az ún. benchmark problémák és adatbázisok, melyekről aktív vita indult a tudósok körében. Ezek egyrészt segítik az egyes módszerek számszerű összehasonlítását, másrészt elválaszthatóvá teszik egymástól az adott tudományterület és a mesterséges intelligencia tudósaiban felmerülő problémákat. A meteorológiában azonban egyelőre hiányzik a benchmark adatbázis definíciója. A cikk ezért egy receptet kínál a megfelelő benchmark adatbázisok építéséhez, közzétesz egy listát a tudományterület mesterséges intelligenciával kapcsolatos aktuális kihívásairól, és vizsgálja, milyen adatbázisokra lesz szükség e kihívások kezeléséhez. A szerzők reménye, hogy a benchmark adatbázisok által a mesterséges intelligencia módszerek koherens módon fejlődhetnek, miközben a téma tudósainak figyelmét is kissé ráirányítják a légkörtudományok legfontosabb problémáira. Bár a cikk elsősorban időjárási, éghajlati és levegőminőségi problémákra fókuszál, a szerzők szerint a problémakör sok aspektusa átültethető a légkörtudományok más területeire is.

A cikk fontosságát jelzi, hogy a benchmark adatbázisokra javasolt definíció szerint ezek olyan nyílt adat- és algoritmusforrások lennének, amelyek használatával jelentősen lerövidül az adatfeldolgozással töltött idő, szoros együttműködések alakulnak ki a különböző kutatócsoportok között, az eszközök összehasonlíthatóvá, fejlődésük pedig még célzottabbá válik.

Sok tudományterület számára példátlan fejlődést hoznak a gépi tanulási módszerek. Az „adatgazdag” légkörtudományban ezek a nemlineáris, kaotikus viselkedést pusztán adatokból megtanuló algoritmusok különösen ígéretesek. A módszerek tudományterületre való berobbanását az informatika párhuzamosan zajló fejlődése – a nagy szabadsági fokú algoritmusok és a rájuk optimalizált hardware eszközök együtt – segítette. Ugyanakkor a fizikai egyenletekhez szokott meteorológusok és a statisztikai módszerekben jártas adattudományi szakemberek között eddig meglehetősen nehézkes volt a kommunikáció.

Bár a gépi tanulási módszerek alkalmazhatósága valóban ígéretes a légkörtudományokban, nem biztos, hogy minden módszer közvetlenül alkalmazható. Ilyen például a legelterjedtebb gépi tanulási probléma, a képfelismerés. Bár a numerikus modellek kimenete elvben hasonló adatstruktúraként fogható fel, mint egy kép, a modellkimenetek bizonyos dimenziói eltérnek az egyszerű digitális fényképekétől (pl. a pixelek egy gömbfelületen vannak sík helyett, nem egyforma „alakúak”, a meteorológiában jövőbeli – még nem létező – adatokat kell előállítani stb.), amelyek miatt bonyolultabb adatfeldolgozási stratégiára lehet szükség. Egy benchmark adatbázis abban segít, hogy megtaláljuk az adott problémára optimális gépi tanulási módszert. Az adatbázist az adott tudományterület szakértői definiálják, sikeréhez azonban az adattudománynak is fel kell azt karolnia. Ezekkel aztán a különböző csoportok számára megspórolható a teszt adatbázis legyártása, hiszen az már adott, másrészt az adatok mellé fejlesztik a módszereket („code to data approach”), amellyel megspórolható az adatok sokszori letöltésével járó internetforgalom is.

A benchmark adatbázis definíciója

Kétféle benchmark adatbázis létezik: tudományos és verseny adatbázis. Előbbi egy adott tudományterület valamely problémáira jön létre, a különböző kutatócsoportok közösen használják hosszabb időn át, és standardizált módon építik bele az újabb módszereket. Utóbbi jóval szélesebb közönséget szólít meg, szűkebb (gyakran egyetlen) feladatot szolgál ki, melyet rövid idő alatt kell megoldani, és – az eredményhirdetés objektivitásának megőrzése érdekében – az adatok egy része a fejlesztők számára nem elérhető. Ilyen versenyeket szervezett korábban például az Amerikai Meteorológiai Társaság Mesterséges Intelligencia Bizottsága is, legutóbb pedig a Meteorológiai Világszervezet (WMO) Szezonális-Szubszezonális Mesterséges Intelligencia Kihívása (S2S AI Challenge) zajlott 2021-ben. Ezek a versenyek segítik a tudományos benchmark adatbázisok fejlesztőit is új módszerek, vagy akár tehetséges fiatal munkaerő felkutatásában, a tudományos benchmark adatbázisokon alkalmazott módszerek teljesítményét pedig általában szakcikkekben publikálják.

E cikk a tudományos benchmark adatbázis definíciójához szükséges első- és másodrendű követelményeket fogalmaz meg. Az elsőrendű követelmények betartása elengedhetetlen, nélkülük nem biztosítható az alkalmazott módszerek számszerű összehasonlítása. A másodrendű követelmények e szempontból nem feltétlenül szükségesek, de fontosak a benchmark adatbázis egyszerű használhatóságának biztosítása érdekében.

Elsőrendű követelmények:
1. Online korlátlanul hozzáférhető adat – adatleírással együtt, közös standard fájlformátumban (pl. netCDF); a teszt, tréning és validációs adatok elkülönítve; közös változónév-konvenció.
2. Egyértelmű probléma megfogalmazás az értelmes légkörtudományi feladat felállításához – a tudományterület által elfogadott kiértékelési metrika; az eredmények extrapolálhatóságának tesztje és az elfogadható legnagyobb hiba megadása.
3. Nyílt forráskódú, magas szintű nyelven írt adatbetöltési algoritmus – lehetőleg nyílt „repository”-n közzétéve; az alkalmazott programnyelvnek a mesterséges intelligencia kutatói körében elfogadottnak kell lennie.
4. Analitikusan és programkóddal is definiált kiértékelési metrikák definíciója – hogy a különböző kutatócsoportok ugyanúgy számolják őket.

Másodrendű követelmények:
5. Egyszerű gépi tanulási algoritmus, mint példa, programkóddal – főként a már publikált eredmények reprodukálhatóságáért, hogy a munkafolyamat konzisztens legyen.
6. Vizualizáció és diagnosztika programkódja – az adathalmaz használatának megkönnyítésére.
7. Fizikai konzisztencia és „megmagyarázhatóság” – a tudományterület szakértői számára is szükséges az adatbázis használhatóságának biztosítása.
8. Számítási teljesítmény összehasonlítása – nehéz közvetlenül mérni, mert erősen függ az architektúrától, de az adatbázist tároló hardware-en elvégezhető és az egyes módszerek egymáshoz képesti teljesítményéről ad információt.

Különböző kihívások és benchmark adatbázisok

A szerzők listázzák a légkörtudományok azon kihívásait, ahol valamilyen benchmark adatbázisra van szükség. Felállítottak egy szubjektív fontossági sorrendet, ami alapján három szintbe sorolták az egyes problémaköröket. Az első szint problémáinak megoldása alapvető fontosságú a gépi tanulási módszerek sikeres alkalmazásában a következő években, ide tartozik például maga az időjárás és az éghajlat előrejelzése, a megbízhatóság és fizikai konzisztencia kérdése vagy a bizonytalanságok számszerűsítése. A második szinten lévő problémák szintén fontosak, de kevésbé általánosak a légkörtudományon belül, ilyenek az adatminőségi kérdések, skálakölcsönhatások, a különféle adatforrások együttes kezelése stb. A harmadik szint kihívásainak megoldása várhatóan csak hosszabb időtávon hoz hasznot, például az autokorreláció és a periodikus jelek kezelése az idősorokban, a különböző elemek együttes eloszlásainak becslése, vagy kategorizált elemek (pl. a napi aktuális makroszinoptikus helyzet kódolása) esetében felmerülő szubjektitás torzító hatása.

Ezen kívül az egyes problémakörök jellemzőit két kategóriába sorolták, ahol három-három jellemzőt jelenítettek meg, minden kihívást mindkét kategóriában egy-egy elemhez soroltak be. Az első kategóriában az adatbázisokat aszerint különböztették meg, hogy a kihívásot a jelenségek fizikai magyarázhatósága, az észlelések pontatlansága, hiányosságai, vagy pedig a numerikus modellezés nehézségei jelenti. A második kategória elemeit a kihívások általánossága határozza meg: a légkörtudományra specifikusak (de azon belül több területen jelentkeznek), teljesen általános, adatfeldolgozási problémákból adódó technikai kihívások, vagy pedig egy-egy alkalmazási területről származnak és nem általánosíthatók a teljes légkörtudományra. A lista a légkörtudományok 25 különböző problémakörét tartalmazza fontos megjegyzésekkel arra vonatkozóan, milyen funkciókkal kell rendelkeznie az ahhoz definiált benchmark adatbázisoknak. A lista a szerzők szerint sem teljes, a közeljövőben bűvülni fog. Rövid hírünk terjedelme miatt ezek részletes ismertetésétől itt eltekintünk, a részletek a bevezető végén hivatkozott cikk 3. fejezetében és 1. táblázatában találhatók. Fontos azonban megjegyezni, hogy több itt felsorolt problémára már létezik jól működő megoldás, vagy éppen zajlanak a fejlesztések, kutatások a témában. A EUMETNET Postprocessing Module által fejlesztett benchmark adatbázis éppen az időjárás előrejelzések fejlesztését célzó törekvések európai szintű összefogását célozza. Ezzel az első szinthez tartozó hét kihívás akár mindegyike megoldódhat a jövőben, ami nagy előrelépést jelentene az időjárás előrejelzések beválásának javulásában.

Összegzés

A benchmark adatbázisok feladata a mesterséges intelligencia célzott alkalmazásának segítése a légkörtudomány fejlődésének felgyorsítása érdekében, célja pedig a légkörtudományok és az adattudományok szakértői közötti együttműködés erősítése is. Az adatbázisok fenntartása (benchmark maintenance) nem csak az infrastruktúra működtetését jelenti, de ide tartozik például az adatok minőségének folyamatos ellenőrzése, a benchmark által elért tudományos fejlődés követése (pl. új metrikák bevezetése), a dokumentáció karbantartása, vagy akár a konferenciákon való részvétel is. Ez pedig egy összetartó közösség építését teszi szükségessé, ahol mind a légkörtudomány, mind a mesterséges intelligencia szakértői képvlseltetik magukat. Ez azonban további problémák megoldását teszi szükségessé. Az egyik, hogy a benchmark adatbázisok fejlesztőinek folyamatosan szem előtt kell tartaniuk annak hasznosságát (a benchmark létrehozásának eredeti célja tekintetében), ami a kutatócsoport bizonyos szintű irányításával, koordinációval valósítható meg. A másik, hogy az adatokat egy szélesebb körű kutatócsoport (vagy ideálisabb esetben bárki) használhatja, ami miatt hátrányos, ha azok csak korlátozottan férhetők hozzá, ezért a cikk egyfajta kérés is a aziránt, hogy légkörtudomány a nyílt tudomány irányába folytassa az útját.

A szerzők egy folyamatosan frissülő, bővülő listát is közzétettek az mldata.pangeo.io weboldalon az elérhető benchmark adatbázisokról, melyekre bárki beregisztrálhatja saját benchmark adatbázisát a róla kiadott (szakfolyóiratban elfogadott) publikáció alapján.