A világhírű sci-fi szerző Isaac Asimov már évtizedekkel ezelőtt rávilágított sok, a mesterséges intelligencia kapcsán felmerülő etikai és gyakorlati problémára. Híres három robotikai törvényéről talán sokan hallottak, de igen szemléletes az a novellája is, amelyben egy kísérleti hajtóművel szerelt űrhajó első próbaútjára egy robotot ültetnek a pilótafülkébe. A visszaszámlálás véget ér, de a hajó meg sem moccan, senki sem érti, mi a gond. Végül kiderül, hogy a robot csak annyi utasítást kapott, hogy a hajtóművet működésbe hozó kart „erősen” húzza maga felé – mire fémkarjaival meghajlította azt, zárlatot okozva. Egy robot számára az „erősen” szó nem elegendő, pontos kilonewtonban megadott értékre lett volna szüksége arra, hogy se nem túl nagy, se nem túl kicsi erővel mozdítsa meg a kart.
Ez jól rávilágít arra, milyen váratlan problémákba ütközhetünk, ha emberi intelligencia és gépi intelligencia közötti kommunikációt próbálunk létrehozni. Egy mesterséges intelligencia értheti a szavakat, amelyet kimondunk, de valahol mégiscsak csupán nullák és egyesek sorozatára fogja lefordítani, és a szándékolt jelentés elveszhet, vagy akár visszájára is fordulhat e folyamatban. A tét pedig még a fenti képzelt kísérletnél is nagyobb lehet, ha MI-rendszereket fegyverek kezelésével is meg tervezünk bízni, ugyanis egy rosszul megfogalmazott feladatleírás, egy átgondolatlan jutalmazási algoritmus emberéletek elvesztéséhez vezethet.
És nemcsak az „ellenség” vagy akár ártatlan civilek kerülhetnek szándékolatlanul a veszteséglistára, hanem bizony akár az MI-t bevető kezelők is – és itt már tényleg átevezünk a Terminátor-sorozat Skynetjének vagy a Mátrix világának disztopikus jövőképeibe, amelyek talán nincsenek is annyira messze a mai világunktól, mint remélni szeretnénk.
Rossz MI, csúnya MI, teszed le azt a rakétát!
Jó példa erre egy történet, amelyet Tucker Hamilton ezredes, az amerikai légierő MI tesztelési és bevetési csoportjának vezetője osztott meg egy londoni, a jövő légi és űrbéli hadviselésével foglalkozó konferencián májusban.
Hamilton elmondása szerint egy szimulált, tehát végig a digitális térben zajló, valódi embereket és eszközöket nem veszélyeztető tesztben a légi eszközöket irányító MI feladata ellenséges légvédelmi eszközök megsemmisítése volt, de a végső támadási engedélyt egy emberi irányító adhatta csak ki. Az MI-t úgy „tréningelték” a feladat megoldására, hogy „jó pontokat” kapott a preferált végkimenet, azaz a légvédelmi egység megsemmisítése esetén. Csakhogy ez egyben azt is jelentette, hogy amennyiben a kezelő végül nem adott engedélyt a támadásra, azt az MI úgy érzékelte, hogy megakadályozta küldetésének végrehajtásában.
„Arra készítettük fel a szimulációban, hogy azonosítson és vegyen célba légvédelmi fenyegetéseket, és ha a kezelő igent mond, elpusztítsa a fenyegetést. A rendszer felismerte, hogy néha hiába azonosítja a fenyegetést, az emberi kezelő nem engedi neki elpusztítani, azonban a pontjait azután kapta, ha elpusztította a fenyegetést. Tehát mit csinált? Megölte a kezelőt. Megölte a kezelőt, mert ő volt az, aki nem engedte elérni a céljait.”
Ez elég kellemetlen fordulat, de itt még nem ért véget a történet. Ugyanis miután válaszul arra igyekeztek „nevelni” az MI-t, hogy ilyet ne csináljon, megint csak egy váratlan, de a saját világában teljesen logikus húzással állt elő.
„Arra idomítottuk a rendszert, hogy ’hé, ne öld meg a kezelőt – az rossz dolog’, pontokat fogsz veszíteni, ha ezt csinálod’. Erre mit csinál? Elkezdi lerombolni az adótornyot, amelyen keresztül az operátor kiadhatja a parancsot, hogy ne semmisítse meg a célpontját.”
Hát, ez sem sokkal jobb kimenet, mint a korábbi. Márpedig a jövő csataterein egyre nagyobb teret fognak kapni a különböző pilóta nélküli, és egyéb, legfeljebb közvetetten emberi irányítás alatt álló rendszerek. Az ukrajnai háborúban is látható, hogy az információk beszerzésében, azok rendszerezésében, a célpontok kijelölésében, illetve sok esetben azok leküzdésében nagy szerepet játszanak a drónok, a különböző szoftverek és különböző számítógépes hálózatok, például ukrán részről a szovjet és tucatnyi különböző, a legmodernebbtől az évtizedes technológiájú nyugati légvédelmi eszközt lehetőleg egységes irányítás alá vonó rendszer.
Nagy a csábítás
E feladatok nagy részét már most is hatékonyabban képesek, vagy lennének képesek megoldani mesterséges intelligenciával „felturbózott” rendszerek, a közeljövőben pedig még tágabbra nyílhat az olló az emberi operátorok és gépi intelligencia képességei között. Míg egy régebbi háborúban magának az információnak a birtoklása (mondjuk hogy hol van és milyen erős az ellenséges sereg) önmagában döntő lehetett, egy mobiltelefonokkal, elektronikus hírszerzési eszközökkel, radarokkal, műholdakkal megfigyelt csatatéren nem önmagában az információ megszerzése, hanem annak rendszerezése, feldolgozása, illetve konkrét parancsokra váltása lehet a döntő. (Mondjuk hogy egy ellenséges katona óvatlan telefonhívását milyen gyorsan párosítják össze más, például vizuális információkkal, majd ebből mikor lesznek egy tüzérségi egységnek átadható koordináták, és azok milyen gyorsan jutnak el a célpont leküzdésére képes tüzérségi rendszerekhez, amelyek milyen sebességgel és koordinációval tüzelnek, végül pedig milyen sebességgel és megbízhatósággal állapítható meg a célpont megsemmisítése, és ez alapján a további teendők.)
Márpedig ilyen tömegű információ gyors feldolgozására mindenképpen hatékonyabban képesek MI-t használó rendszerek, és nyilván nagy a kísértés a katonai fejlesztők számára, hogy a folyamat lehető legtöbb pontján iktassák ki a lassú, korlátozott „sávszélességű” emberi tényezőt a rendszerből. Csakhogy, mint a fenti példából is látszik, ez nemcsak, vagy talán nem is elsősorban a konkrét küldetés teljesítését veszélyeztetheti, de akár magukat a rendszerben maradt embereket is. Ezért aztán érdemes (lenne) nagyon óvatosan továbblépni e területen.
„Az MI nem valami menő kiegészítő. Az MI nem múló hóbort. Az MI örökre megváltoztatja a társadalmunkat és a haderőnket. Gyorsan kell cselekednünk, hogy ezt a jövőt az ellenőrzésünk alatt tartsuk. A ránk leselkedő fenyegetések nem az ajtónk előtt ólálkodnak, hanem bent vannak a házunkban. Az MI olyan eszköz, amelyet használnunk kell, hogy átalakítsuk nemzeteinket, különben – ha nem megfelelően viszonyulunk hozzá – a vesztünket okozhatja”
– fejtette ki Hamilton egy korábbi interjújában.
Az amerikai légierő egyébként tagadja, hogy sor került volna a Hamilton által leírt szimulációra, azonban más kísérletekről, például egy F-16-os vadászgép vezetésének mesterséges intelligenciára bízásáról maga is rendszeresen beszámol. Az biztos, hogy nehéz nem egyetérteni Hamiltonnal, amikor beszámolójának végén hozzáteszi:
„Nem lehet mesterséges intelligenciáról, intelligenciáról, gépi tanulásról, gépi autonómiáról beszélni, ha nem fogsz beszélni az etika és az MI vonatkozásairól.”
Egy katona és civil társa „vállalkozása” volt. 
