Sundar Pichai, a Google vezérigazgatója először kilenc évvel ezelőtt ígérte meg, hogy a mesterséges intelligencia nyelvtől függetlenül „egyetemes hozzáférést” biztosít majd az információkhoz.

Ezt az ígéretet azóta is rendszeresen hangoztatja, ezzel világszerte táplálva a reményeket, hogy a technológia végre áthidalja a nyelvi szakadékokat, és mindenki számára egyenlő hozzáférést biztosítson a tudáshoz.

Azonban egy kérdés továbbra is fennáll: Vajon az úgynevezett „univerzális” mesterséges intelligencia rendszerek kizárják-e egy egész kontinens nyelvi örökségét a digitális jövőből?

Afrikában több mint 2 000 különböző nyelvet beszélnek.

Ezen nyelvek beszélői számára ez az ígéret még mindig távolinak tűnik. A kontinensen élők milliói azt tapasztalják, hogy a mezőgazdaságot, oktatást és mindennapi életet átalakító fejlett MI-eszközök nem értik vagy nem tudnak kommunikálni az ő nyelvükön.

Kutatások szerint a világszerte heti 800 millió aktív felhasználóval rendelkező ChatGPT a hausa nyelven írt mondatok csupán 10-20 százalékát ismeri fel, pedig ezt a nyelvet több mint 94 millió nigériai beszéli.

Hasonló a helyzet más, széles körben beszélt afrikai nyelvekkel is, mint például a joruba, az igbo, a szuahéli vagy a szomáli nyelvekkel, amelyek mind alulreprezentáltak a mainstream MI-modellekben, annak ellenére, hogy több tízmillió ember beszéli őket.

Vajon miért maradt ki ennyi afrikai nyelv a legerősebb MI-eszközökből, és mit árul el ez arról, hogy ki alakítja a digitális jövőt?

„Alacsony erőforrású” nyelvek

Az afrikai nyelvek MI-ből való kizárásának egyik legfőbb oka az, amit a kutatók „alacsony erőforrású” problémának neveznek. Ebben az összefüggésben az „alacsony erőforrás” azt jelenti, hogy kevés online anyag – például weboldalak, könyvek, átiratok – érhető el ezeken a nyelveken.

A legtöbb nagy nyelvi modell (LLM) a tanuláshoz és szöveggeneráláshoz hatalmas mennyiségű ilyen típusú digitális adatra támaszkodik, ebből kifolyólag az adatok túlnyomó többsége angol (tehát magas erőforrású) vagy néhány más, Nyugaton széles körben beszélt globális nyelv.

„A fejlődés mércéje és a kutatási napirendünk azon alapul, hogy mi működik a nyugati nyelvek esetében” – mondta el Hellina Hailu Nigatu, a Berkeley Egyetem alacsony erőforrású nyelvekre specializálódott NLP-kutatója.

Az adatok hiánya miatt az olyan MI-modellek, mint a ChatGPT vagy a Gemini, nehezen ismerik fel, generálják vagy akár „látják” az afrikai nyelveket, függetlenül attól, hányan beszélik azokat.

„Az afrikai nyelveket alacsony erőforrásúként kategorizálják, és általában kizárják őket, vagy ha mégis bekerülnek, a rendszerek rosszul teljesítenek“ – mondta el Nigatu a TRT Worldnek.

Ez az osztályozási rendszer, amely a világ nyelveit „magas erőforrású” és „alacsony erőforrású” kategóriákra osztja, az iparág kedvelt keretrendszerévé vált a különbségek megvitatására.

Kapcsolódó

Kereskedelmi ösztönzők, rendszerszintű elfogultság és költségkérdés

Az alulreprezentáltság másik oka a globális MI-kutatás és fejlesztés prioritásai. Kutatások szerint a nagy nyelvi modellek (LLM) kimenetei a „nyugati sztereotípiák” felé hajlanak.

A szabványokat többnyire nyugati technológiai vállalatok, valamint akadémiai intézmények határozzák meg, amelyek a legnagyobb online jelenléttel rendelkező és a legtöbb finanszírozáshoz jutó „magas erőforrású” nyelvekre összpontosítanak.

Ennek eredményeként az afrikai nyelvek ritkán kerülnek a befektetések vagy innovációk középpontjába.

A kereskedelmi ösztönzők szintén jelentős szerepet játszanak. Mivel az afrikai nyelvi piacokból származó közvetlen gazdasági haszon korlátozott, a vállalatoknak kevés motivációjuk van arra, hogy időt és erőforrásokat fordítsanak az MI-támogatás javítására ezeknél a nyelveknél.

Ez a strukturális elfogultság az MI-modellek képzéséhez használt adathalmazokban is tükröződik. Ha az afrikai nyelvek szerepelnek is, a rendszerek gyakran nyugati kulturális feltételezéseket vesznek át, néha félreértelmezve a helyi kontextusokat vagy megerősítve a sztereotípiákat.

A megállapítások pedig összhangban állnak az algoritmikus elfogultságról szóló szélesebb körű kutatásokkal.

„A kutatásokban azt látjuk, hogy az LLM-ek több nyelvre történő alkalmazása körültekintő megfontolás nélkül kockázatot jelent az angol nyelv elfogultságainak átvitelére ezekbe a többnyelvű kontextusokba, vagy figyelmen kívül hagyja azokat a kontextuális elfogultságokat, amelyek angolul nem léteznek” – mondta el Nigatu.

Emellett technikai kihívás is rejlik abban, ahogy az MI-modellek feldolgozzák a szövegeket, amely pedig további hátrányt jelent több afrikai nyelv számára.

A kutatások kimutatták, hogy a nem latin betűs írásrendszerek használata a népszerű MI-eszközökben valójában drágább, mint például az angol vagy a francia nyelv használata.

Ez azért van, mert a szoftverek a mondatokat kisebb részekre, úgynevezett „tokenekre” bontják. Azonban ugyanazon mondat megírásához olyan nyelveken, amelyek nem használják a latin ábécét több tokenre van szükség.

Ez azt jelenti, hogy azok a felhasználók, akik a legkevésbé engedhetik meg maguknak, végül többet fizetnek ugyanannyi szöveg feldolgozásáért, és gyakran kevésbé megbízható eredményeket kapnak.

Nigatu emellett kihangsúlyozta, hogy ezek az akadályok azokat a mélyen gyökerező egyenlőtlenségeket tükrözik, amelyek meghatározzák, ki alakítja ezeket a rendszereket.

Ahogy rámutat, nagy jelentősége van annak, hogy „ki végzi a kutatást, azaz mennyire vesznek részt ezeknek a nyelveknek a beszélői abban, ami a nyelvükért történik.”

Afrika digitális önrendelkezése

Ezekkel a rendszerszintű kizárásokkal szemben úttörő kezdeményezés indult az afrikai nyelvek mesterséges intelligenciában való előnyös kihasználáshoz.

Az African Next Voices projekt, amelyet a Gates Alapítvány 2,2 millió dolláros támogatása finanszíroz, az eddigi legnagyobb MI-re kész nyelvi adatgyűjtési kezdeményezés több afrikai nyelv számára.

Ahelyett, hogy a Szilícium-völgy figyelmére várnának, a kontinens kutatói saját kezükbe vették az irányítást.

Nyelvi szakértők 18 nyelven Nigériában, Kenyában és Dél-Afrikában már 9 000 órányi beszédet rögzítettek. Ezeket a felvételeket digitalizált adathalmazokká alakítják át, amelyeket a fejlesztők beépíthetnek a nagy nyelvi modellekbe.

Az első adathalmaz, amelyet ebben a hónapban adtak ki, mérföldkőnek számít az MI-fejlesztés demokratizálásában.

„Nagyon izgalmas látni, milyen javulásokat hoz ez ezeknek a nyelveknek a modellezésében, és hogyan segíti az egész közösséget, amely az afrikai nyelvi technológiákon dolgozik” – mondta el Ife Adebara, a Data Science Nigeria nonprofit szervezet technológiai igazgatója, aki egyben a projekt nigériai ágát vezeti.

Csapata olyan nyelvekre összpontosít, mint a hausa, joruba, igbo és naija, amelyek gyakorlatilag hiányoznak a mainstream MI-rendszerekből, annak ellenére, hogy összesen több százmillióan beszélik azokat.

Az African Next Voices módszertana alapvetően eltérő megközelítést mutat a nyelvi adatgyűjtésben. Ahelyett, hogy a nyugati technológiai vállalatokhoz hasonlóan meglévő digitális tartalmakat gyűjtenének, a kutatók közvetlenül a különböző közösségekkel dolgoznak együtt.

Lilian Wanzare, a kenyai Maseno Egyetem számítógépes nyelvésze, aki egyben a projekt kenyai részét vezeti, elmagyarázta, hogyan mutatnak képeket az embereknek, és kérik meg őket arra, hogy írják le, mit látnak az anyanyelvükön, mint például dholuo, kikuyu, kalenjins, maszáj és szomáli nyelveken.

Megközelítésük az autentikus, mindennapi nyelvhasználatot helyezi előtérbe a formális vagy irodalmi szövegek helyett.

„Hatalmas az igény a lokalizált adathalmazokra, hiszen a hatás abban rejlik, hogy az embereket a helyi környezetükben ragadjuk meg” – mondta el Wanzare.

Dél-Afrikában Vukosi Marivate, a Pretoriai Egyetem számítógépes tudósa hét nyelven végez gyűjtéseket – köztük setswana, isizulu, isixhosa, sesotho, sepedi, isindebele és tshivenda nyelveken.

Csapata szervezetek konzorciumával dolgozik együtt, hogy olyan MI-nyelvi modelleket hozzanak létre, amelyeket a technológiai vállalkozások továbbfejleszthetnek.

A technikai eredményeken túl az African Next Voices egy filozófiai változást is képvisel abban, hogyan kellene az MI-fejlesztésnek zajlania.

Míg több technológiai vállalat az afrikai nyelveket utólagos gondolatként kezeli, amelyeket csak akkor vesznek figyelembe, ha a nyereséges piacok már telítettek, ez a kezdeményezés elsődleges tárgyként kezeli őket, amelyek megérdemlik a dedikált erőforrásokat és szakértelmet.

A projekt módszertani dokumentációját az adatokkal együtt közzéteszik, ezzel lehetővé téve más kutatók számára, hogy ezt a munkát más marginalizált nyelvek esetében is megismételjék világszerte.

Olyan szervezetek, mint például a Masakhane, már erős hálózatokat építettek a természetes nyelvfeldolgozásra összpontosítva, megmutatva, mi lehetséges, ha az afrikai nyelveket afrikaiak fejlesztik, afrikaiak számára.

Azáltal, hogy maguk veszik kézbe a kezdeményezést, ezek a közösségek megmutatják, hogy a mesterséges intelligencia jövőjét saját feltételeik szerint alakíthatják, ahelyett, hogy a Szilícium-völgyre várnának, hogy eldöntse, ki kap szót.