Pregledni naučni članak
UDK: 341.33
MEĐUNARODNOPRAVNO REGULISANJE AUTONOMNIH ORUŽANIH SISTEMA (AWS)**
Rad primljen: 17. 06. 2024.
Rad prihvaćen za objavljivanje: 27. 09. 2024.
Uzimajući u obzir rapidan tehnološki razvoj i potrebu za prilagođavanjem međunarodnog prava novim izazovima, autor ovim radom nastoji da osvetli ključne dileme i potencijalne pravce regulisanja autonomnih oružanih sistema (AWS, AOS). U savremenom svetu, AOS izazivaju sve veću pažnju zbog moralnih, pravnih, humanitarnih i drugih posledica koje mogu izazvati u kontekstu globalne bezbednosti. Ovi sistemi, sposobni da autonomno prepoznaju, odaberu i napadnu mete bez direktnog ljudskog uplitanja, predstavljaju tehnološki napredak koji donosi brojne izazove. U prvom delu rada autor se bavi pojmom AOS-a, gde je fokus stavljen na autonomiju kao njegov ključni element. Drugi deo rada posvećen je pronalaženju mesta AOS-a u postojećem međunarodnom normativnom okviru. U trećem delu, autor analizira rad Grupe vladinih stručnjaka (GGE) koja, pod okvirom Konvencije UN o konvencionalnom oružju (CCW), već godinama raspravlja o gorućim pitanjima u vezi sa novim tehnologijama u oblasti AOS-a. Na kraju, autor izlaže zaključke o ovoj temi, pružajući uvid u moguće pravce budućih aktivnosti i ističući značaj osnovnih pravila međunarodnog humanitarnog prava.
Ključne reči: autonomni oružani sistemi, međunarodno humanitarno pravo, De Martensova klauzula, Haške konvencije, Ženevske konvencije, član 36 Dopunskog protokola I uz Ženevske konvencije, Konvencija UN o konvencionalnom oružju, Grupa vladinih stručnjaka, Vodeća načela.
I UVOD
Law depends on violence and uses it as a counterpunch to the allegedly more lethal and destructive violence situated just beyond law’s boundaries. But the violence on which law depends always threatens the values for which law stands (A. Sarat).[1]
Poslednjih godina, u međunarodnoj zajednici se sve više raspravlja o etičkim, humanitarnim, pravnim i bezbednosnim implikacijama autonomnih oružanih sistema (Autonomous Weapon Systems[2]), posebne vrste oružja koje, kada se aktivira, može da otkrije, izabere i napadne određene ciljeve (mete) bez ljudske intervencije. Tvrdi se da je, u tom pogledu, veštačka inteligencija „dostigla tačku u kojoj je primena takvih sistema – praktično, ako ne i pravno – izvodljiva u roku od nekoliko godina”.[3] Iako je tehnologija oduvek imala presudan uticaj na oružane sukobe, u savremeno doba postoji opasnost da se čovečanstvo nađe na ivici egzistencijalno drugačijeg tehnološkog razvoja: gubitka ljudske kontrole u ratu.[4]
U eri ubrzanog tehnološkog napretka, AOS postaju sveprisutni u savremenim oružanim sukobima. Njihova sve veća sposobnost da deluju bez direktnog učešća ljudi postavlja izazove pred međunarodno pravo, a pogotovo međunarodno humanitarno pravo,[5] koje je i nastalo kao posebna grana međunarodnog prava kako bi regulisalo i ograničilo upotrebu oružja u cilju smanjenja patnje i zaštite civila tokom sukoba. Upotreba AOS-a otvara mnoga pitanja u primeni MHP-a počevši od preciznog razlikovanja između civilnih i vojnih meta, pa do izazova u obezbeđenju proporcionalne upotrebe sile i zaštite humanih vrednosti tokom oružanih sukoba. Tehnološke mogućnosti i etički aspekti AOS-a nužno zahtevaju dodatni napor međunarodne zajednice da preispita i prilagodi postojeći normativni okvir radi adekvatne zaštite učesnika u sukobima, a naročito civila.
II POJAM AUTONOMNIH ORUŽANIH SISTEMA
Iako još uvek ne postoji opšteprihvaćena definicija AOS-a, već desetak godina ukazuje se na njihove glavne karakteristike[6] i usklađenost sa međunarodnim pravom, što je predstavljeno u izveštajima Grupe vladinih stručnjaka koja se bavi ovom temom, pod okriljem Konvencije o konvencionalnom oružju (1980). Svakako, kada govorimo o AOS-ima, praktično mislimo na robote, tj. mašine koje „osećaju”, „razmišljaju” i „deluju” na osnovu načina na koji su programirane, uz određeni stepen autonomije.
Stoga nam deluje logično da se AOS najbolje mogu definisati preko pojma autonomije kao njihovog ključnog elementa: oružani sistem je autonoman ako je sposoban da nezavisno bira i pogađa ciljeve, na osnovu zaključaka izvedenih iz prikupljenih informacija in concreto i unapred programiranih ograničenja.[7] Kao široko prihvaćena definicija AOS-a navodi se ona oko koje su saglasni Departman za odbranu SAD[8] i organizacija Human Rights Watch:[9] u pitanju su oružani (robotski) sistemi koji, kada se aktiviraju, mogu da izaberu i angažuju ciljeve (mete) bez dalje intervencije ljudi, pri čemu sistem (robot) ima autonomni izbor u pogledu selekcije mete i upotrebe smrtonosne sile. Drugim rečima, u pitanju su oružani sistemi koji mogu da izaberu ciljeve bez uplitanja ljudskog faktora, naročito u kontekstu donošenja odluka.[10] Evropski parlament je u jednoj svojoj rezoluciji ukazao na to da su (S)AOS sistemi kod kojih nedostaje „značajna ljudska kontrola” nad kritičnim funkcijama odabira i napada pojedinačnih ciljeva.[11] Važno je napomenuti da su potpuno autonomni, „samosvesni sistemi smrtonosnog oružja”, zasad čisto hipotetički koncepti, iako bi razvoj tehnologije mogao dovesti do sve veće autonomije ovakvih sistema, što bi za posledicu imalo sve manji uticaj ljudskog faktora.[12]
Dakle, autonomija zauzima centralno mesto u pojmu AOS-a i ogleda se u tehnološkoj sposobnosti mašine da izvrši određene zadatke bez ljudskog uticaja, na krilima interakcije kompjuterskog programiranja i (neposrednog) okruženja, pri čemu je sistem zasnovan na verovatnoći, što podrazumeva svojevrsna „nagađanja” o najboljim mogućim pravcima delovanja na osnovu raspoloživih podataka koji su uneti putem odgovarajućih senzora.[13] Autonomiju ovde treba shvatiti kao sposobnost AOS-a (konkretno bespilotnih letelica – dronova) da integrisano detektuje, opaža, analizira, komunicira, planira, donosi odluke i deluje, tj. izvršava određene zadatke, kako bi se ostvario cilj koji opredeljuje čovek kao operater.[14]
Čini se da tehnologija danas ide u pravcu omogućavanja bespilotnim letelicama da potpuno slobodno izvršavaju zadatke, uz minimalno učešće ljudi, pa tako Nacionalni institut za standarde i tehnologiju SAD, u zavisnosti od složenosti konkretnog zadatka, razlikuje sledeće stepene autonomije:[15] Fully autonomous (potpuna autonomija – delegirani zadatak se izvršava bez ljudske interakcije, a odluke se donose na osnovu senzora koji se prilagođavaju operativnim promenama i promenama u okruženju); Semi-autonomous (neophodno je da čovek kao operater planira interakciju tokom kretanja i da donosi odluke koje dron nije u stanju da donese, pri čemu dron može da funkcioniše samostalno između interakcija – primer: operater planira tačke kretanja drona, a dron se bezbedno kreće samostalno izbegavajući prepreke); Teleoperated (daljinsko upravljanje – operater se oslanja na povratne informacije iz ugrađenih senzora kako bi pomerao dron, bilo direktnim slanjem kontrolnih komandi ili srednjih ciljeva, bez mogućnosti izbegavanja prepreka); i Remotely controlled (operater iz daljine ručno kontroliše dron bez povratne informacije senzora).[16] Kod AOS-a su posebno kontroverzne tzv. „kritične funkcije”, gde je u fokusu nivo autonomije koji je neophodan za izbor, praćenje i napad na određene mete, pa se upravo zbog toga postavljaju pitanja mogućnosti korišćenja AOS-a u skladu sa principima međunarodnog humanitarnog prava i moralnim nazorima u smislu omogućavanja mašinama da identifikuju i koriste silu protiv određenih ciljeva bez učešća ljudi.[17] Drugim rečima, uklanjanjem značajne ljudske kontrole u okviru kritičnih funkcija, oni koji upotrebljavaju autonomno oružje ne poštuju međunarodno humanitarno pravo, ali i pravo ljudskih prava.[18]
AOS mogu da se razlikuju po veličini, stepenu autonomije i funkcijama, a jedan od najčešćih primera jesu bespilotne borbene letelice ili „dronovi”.[19] Načelno, dron je svaka letelica koja se kreće, odnosno leti u vazduhu i koju kontroliše pilot na zemlji. U pitanju su letelice bilo koje veličine koje nose i lansiraju oružje, ili koje mogu da koriste tehnologiju kojom se oružje usmerava ka određenoj meti.[20] Zahvaljujući tehnološkom razvoju poslednjih godina, troškovi proizvodnje i nabavke ovog oružja su znatno opali, pa su mnoge države uključile dronove u svoje vojne formacije. Vojska SAD zvanično definiše dron kao kopneno, morsko ili vazdušno vozilo koje je kontrolisano na daljinu ili automatski, i uglavnom razlikuje nekoliko vrsta vojnih dronova: bespilotne letelice (Unmanned Aerial Vehicles – UAVs), borbene bespilotne letelice (Unmanned Combat Aerial Vehicles – UCAVs) i „lovce-ubice”, pri čemu treba znati da dron nije projektil, već „mašina za nošenje projektila”.[21] Na ratnim područjima širom sveta, poslednjih godina se sve više upotrebljava tzv. „lutajuća municija” (loitering munition). Reč je o preciznoj municiji koja se u određenom periodu može održavati u vazduhu i brzo napadati kopnene i morske ciljeve koje čak nisu u vidnom polju (non-line-of-sight targets), što kontroliše operater koji vidi sliku mete i njenog okruženja u realnom vremenu i može da kontroliše tačno vreme, položaj i pravac napada statičnih ili pokretnih meta, kao i da doprinosi procesu njihove formalne identifikacije i potvrde.[22]
Lutajuća municija pod nazivom Lancet, koju je Rusija upotrebila na ratnom području u Ukrajini (oktobar 2023. godine), odnedavno je u fokusu svetskog javnog mnjenja kao „novi primer tehnološkog prodora u savremenoj vojnoj opremi” i „važan korak u razvoju bespilotne tehnologije u Rusiji”.[23] Ipak, postoji mogućnost greške veštačke inteligencije, „uprkos visokom stepenu automatizacije”, pa se kontrolni ljudski faktor vidi kao ključan za funkcionisanje ovog oružja.[24] Kampanja za zaustavljanje robota-ubica (The Campaign to Stop Killer Robots), koalicija nevladinih organizacija[25] koje žele da preventivno zabrane smrtonosno autonomno oružje, je još tokom 2022. godine izrazila zabrinutost povodom korišćenja lutajuće municije u Ukrajini, istakavši humanitarne, pravne, bezbednosne, tehnološke i etičke aspekte, kao i potrebu da se hitno usvoje pravila o načinu upotrebe ovakvog oružja i povlačenju „crvenih linija”, gde se kao naredni korak sugeriše donošenje međunarodnog ugovora koji bi zaštitio ljudsko dostojanstvo i obezbedio značajnu ljudsku kontrolu.[26]
III PRIMENA POSTOJEĆEG MEĐUNARODNOG NORMATIVNOG OKVIRA NA AUTONOMNE ORUŽANE SISTEME
S obzirom na to da u ovom radu ispitujemo međunarodnopravno regulisanje AOS-a, dakle jedne vrste oružja koje se koristi u oružanim sukobima između država, nema sumnje da se nalazimo na terenu MHP-a. U teoriji je nesporno da bi upotreba AOS-a tokom oružanih sukoba, ma kako oni nastali, morala biti u saglasnosti sa MHP-om.[27] U tom smislu, treba sagledati ključne principe na kojima se moderno MHP zasniva, a koji regulišu upotrebu sredstava i metoda ratovanja, kao i glavne izvore MHP-a.
U ovom trenutku, nijedan važeći međunarodni ugovor ne reguliše direktno AOS, pa tako prima facie izgleda da postojeći međunarodnopravni okvir nije prilagođen za suočavanje sa specifičnostima i izazovima koje AOS predstavljaju. Međutim, skloni smo da tvrdimo da navedeno važi samo u kontekstu ugovornog prava. Naime, MHP počiva ne samo na međunarodnim ugovorima kao izvorima, već pre svega na običajnim pravnim pravilima. Štaviše, može se zastupati teza da su pojedini aspekti upotrebe AOS-a regulisani najmanje jednim međunarodnim ugovorom,[28] i to Konvencijom UN o konvencionalnom oružju (1980).[29] O ovome će biti više reči u poglavlju koje sledi.
Osnovna pravila MHP-a uzdignuta su na nivo imperativnih, peremptornih normi opšteg međunarodnog prava (ius cogens)[30] i treba ih posmatrati integralno. To su pravila koja su se najduže razvijala u međunarodnom pravu i koja su uglavnom izvirala iz običajnog prava koje je kasnije kodifikovano čuvenim Haškim i Ženevskim konvencijama (sa protokolima), ali i drugim konvencijama koje su se uglavnom ticale ograničavanja upotrebe konkretne vrste oružja.[31]
Da kodifikacija MHP-a nimalo nije umanjila ulogu običajnih pravila, potvrđeno je u De Martensovoj klauzuli,[32] u preambuli Haške konvencije o suvozemnom ratu (1899),[33] čija moderna verzija, u okviru Dopunskog protokola I uz Ženevske konvencije (1977), glasi: „U slučajevima koji nisu obuhvaćeni ovim Protokolom ili drugim međunarodnim sporazumima, civili i borci ostaju pod zaštitom i vlašću principa međunarodnog prava koji proističu iz ustanovljenog običaja, iz principa čovečnosti i iz diktata javne savesti.”[34]
Iako ne postoji opšteprihvaćeno tumačenje ove klauzule, čini se da je treba tumačiti široko, naročito imajući u vidu termine poput „zakona čovečnosti” i „zahteva javne savesti”, kao i da se, između ostalog, može tvrditi da je Klauzula zasnovana na stavu da ono što nije izričito zabranjeno [bilo kojim – prim. J. B.] ugovorom nije dozvoljeno ipso facto.[35] Štaviše, Komisija za međunarodno pravo podržava tvrdnju o Klauzuli kao odredbi koja se primenjuje u slučajevima koji nisu obuhvaćeni posebnim međunarodnim sporazumima.[36] Dakle, domašaj De Martensove klauzule je takav da ona prevazilazi Haške i Ženevske konvencije, kao i druge međunarodne sporazume, pa i samo ugovorno pravo, te tako postaje opšta običajnopravna norma. Zakoni čovečnosti tumače se tako da zabranjuju sredstva i metode ratovanja koji nisu neophodni za postizanje nedvosmislene vojne prednosti, što se ogleda u „doktrini vojne potrebe”, prema kojoj „ne bi smelo da se primenjuje više sile nego što je neophodno za postizanje legitimnih vojnih ciljeva”.[37]
Sa druge strane, zahteve javne savesti treba tražiti u „pravnoj komunikaciji”, odnosno u nacrtima pravila, deklaracijama, rezolucijama i drugim aktima kao autoritetnim izvorima. Primera radi, mnoge rezolucije koje je usvojila Generalna skupština UN osudile su upotrebu, skladištenje, raspoređivanje, širenje i proizvodnju nuklearnog oružja, pa iako nemaju pravno obavezujuće dejstvo per se, „one svakako predstavljaju ‘diktat javne savesti’ u 20. veku”.[38] De Martensova klauzula zahteva od država da usklade svoje ponašanje sa diktatom javne savesti, što znači da su države te koje treba da zaustave razvoj AOS-a ukoliko smatraju da je ubijanje ljudi od strane autonomnih mašina suprotno opšteprihvaćenim pravilima.[39]
Šo (Shaw) ističe da pravo izbora sredstava i metoda ratovanja u oružanom sukobu nije neograničeno,[40] pri čemu se mora uspostaviti ravnoteža između vojne potrebe i zahteva čovečnosti, što sve odslikavaju brojna konvencijska pravila poput ovih: „jedini legitimni cilj koji države treba da nastoje da ostvare tokom rata je da oslabe vojne snage neprijatelja” (Petrogradska deklaracija, 1968); „u svakom trenutku se mora praviti razlika između civila i boraca” (Dopunski protokol I Ženevskih konvencija, 1977); „posebno je zabranjeno korišćenje oružja, projektila ili materijala za koje se računa da će izazvati nepotrebnu patnju” (pravila IV Haške konvencije, 1907).[41] Kada se sve to uzme u obzir, sasvim je opravdano što se De Martensova klauzula smatra „sigurnosnom mrežom čovečanstva” (a safety net for humanity).[42]
Međunarodni sud pravde se u Savetodavnom mišljenju o zakonitosti pretnje ili upotrebe nuklearnog oružja (1996) osvrnuo na osnovne principe koji čine „tkivo humanitarnog prava”, pa zaključio sledeće: države nikada ne smeju učiniti civile objektom napada, niti smeju da koriste oružje koje nije u stanju da vrši razlikovanje između civilnih i vojnih ciljeva; zabranjeno je nanošenje nepotrebnih patnji borcima, kao i upotreba oružja koje takvu štetu nanosi ili beskorisno pogoršava njihovu patnju; postojanje i primena De Martensove klauzule je „nesumnjivo” i ona predstavlja „efektivno sredstvo” u svetlu brze evolucije vojne tehnologije; ukoliko predviđena upotreba oružja ne bi bila u skladu sa humanitarnim pravom, i pretnja takvom upotrebom bi bila suprotna tom pravu.[43] Sud je napomenuo i da Haške i Ženevske konvencije uživaju široko pristupanje, ali i da pravila koja one sadrže moraju poštovati sve države bez obzira na ratifikaciju, jer su ona fundamentalna za poštovanje ljudske ličnosti i elementarnih obzira čovečnosti, te zaključio da je reč o „neprevaziđenim načelima međunarodnog običajnog prava” (intransgressible principles of international customary law).[44]
Mislimo, dakle, da se može uspostaviti svojevrsna paralela između AOS-a i nuklearnog oružja, makar samo zbog toga što je ovo drugo u jednom periodu bilo isto tako „novo”, tj. nastalo je nakon usvajanja mnogih pravila MHP-a, kao i zato što oba ne predstavljaju konvencionalno oružje. U tom smislu, ne čudi stav Međunarodnog suda pravde da se principi i pravila MHP-a primenjuju na sve oblike ratovanja i sve vrste oružja, „ono iz prošlosti, sadašnjosti i ono u budućnosti”.[45] Sa druge strane, ako nuklearno oružje, kao jedno od najsmrtonosnijih oružja, po mišljenju Suda nije označeno kao protivpravno per se, postoji sumnja da bi AOS bili tretirani drugačije.[46]
U literaturi se za AOS tvrdi da ne mogu biti (u potpunosti) usklađeni sa ključnim principima MHP-a kao što su, kako se najčešće navodi, princip razlikovanja (distinkcije) i princip proporcionalnosti, čija primena postaje prirodno otežana u slučaju da ljudi ne učestvuju u donošenju odluka.[47] Oba principa inkorporirana su u Dopunski protokol I uz Ženevske konvencije (čl. 48 i 51), pri čemu se princip razlikovanja svodi na to da strane u oružanom sukobu u svakom trenutku moraju da prave razliku između civila i boraca, kao i između civilnih i vojnih objekata, te da svoje operacije treba da usmere isključivo ka vojnim ciljevima.[48] Za države koje nisu potpisnice navedenog protokola, ovaj princip se primenjuje kao običajna međunarodnopravna norma[49] i ovo je „kardinalno”[50] načelo MHP-a.
Princip proporcionalnosti nalaže da kolateralna šteta kod civila mora biti proporcionalna vojnoj prednosti,[51] tako da bi kršenje ovog principa predstavljalo napad za koji se moglo očekivati da će izazvati slučajne gubitke života civila, povrede civila, i/ili štetu civilnim objektima koji bi bili preterani u odnosu na konkretnu i direktnu predviđenu vojnu prednost.[52] Kod primene principa proporcionalnosti odmeravaju se mogućnost povrede civila i civilnih objekata, što je lakše utvrditi (pa i uz pomoć raznih simulatora), i potencijalna vojna prednost napada, koja se određuje u kontekstu: postavlja se pitanje da li bi „razuman komandant” došao do sličnog zaključka (ovakva procena dozvoljava operativnu diskreciju).
Upravo je kontekstualna i diskreciona priroda principa proporcionalnosti ono što izaziva zabrinutost u pogledu upotrebe AOS-a. Navedeni principi, iako se mogu posmatrati zasebno, tesno su povezani – borci prave razliku između neprijateljskih boraca i civila, nemaju nameru da povrede civile, ali izvršavaju napad znajući da će neki civili biti povređeni. Ovo znači da ukoliko AOS nije u stanju da se uskladi sa principom razlikovanja, to neće biti slučaj ni kod principa proporcionalnosti. Drugim rečima, primena principa razlikovanja je preduslov za primenu principa proporcionalnosti.[53]
U najkraćem, primena ovih principa podrazumeva sposobnost identifikovanja legitimnih ciljeva u oružanom sukobu, kao i lica i objekata koje treba zaštititi od napada (npr. civili), a ova operacija po svojoj prirodi više zahteva kvalitativnu analizu i prosuđivanje na osnovu vrednosti i procene konkretne situacije, nego rad sa brojevima i tehničkim indikatorima.[54] Gubitak života ili ranjavanje civila, šteta na civilnim objektima, očekivana vojna prednost i sl. predstavljaju kategorije koje se ne mogu lako kvantifikovati, niti se odnos između njih može izraziti numerički, već se u ovim slučajevima zahteva ljudsko rasuđivanje i vrednosne procene koje su deo obuke oružanih snaga i moraju da se donose u tačno određenom kontekstu.[55]
Tokom oružanih sukoba, od suštinskog je značaja doneti odluku o tome da li neko lice direktno učestvuje u sukobu, odnosno da li je ono lišeno zaštite kao civil. Smatra se da tu odluku ne bi trebalo stavljati na teret mašinama i njenim algoritmima bez značajne ljudske kontrole (primeri: dete koje uzima oružje koje je pre toga bilo položeno na ivici puta; lice koje ulazi i izlazi iz direktnog učešća u oružanom sukobu). Sa druge strane, postavlja se pitanje upotrebe AOS-a u kontekstu koji ne predstavlja oružani sukob (upotreba AOS-a u situacijama sprovođenja zakona, npr. kontrola nereda i borba protiv terorizma, gde postoji mogućnost proizvoljnih ubistava kojima se krši pravo na život, podriva ljudsko dostojanstvo i sl.).
Dakle, postoji velika zabrinutost za ljudska prava i humanitarna pitanja, posebno iz razloga što AOS mogu biti pod uticajem predrasuda svojih tvoraca – ljudi (rasa, religija, rod itd.).[56] Human Rights Watch navodi da bi potpuno autonomni oružani sistemi trebalo da poseduju ljudske kvalitete da bi bili u skladu sa MHP-om, te da oni jednostavno nemaju sposobnost da se povežu sa ljudima u smislu razumevanja njihovih namera (ljudsko rasuđivanje), što sve može ugroziti civile tokom oružanih sukoba, na osnovu čega se zaključuje da razvoj autonomne tehnologije treba zaustaviti pre nego što čovek „ispadne iz petlje” (out of the loop).[57]
IV RAD GRUPE VLADINIH STRUČNJAKA (GGE) NA REGULISANJU AUTONOMNIH SISTEMA POD OKRILJEM KONVENCIJE UN O KONVENCIONALNOM ORUŽJU (CCW)
Države su počele da se aktivno uključuju u razmatranje etičkih, pravnih i bezbednosnih izazova koje predstavlja sve veća autonomija u sistemima naoružanja, počev od 2013. godine pred Savetom za ljudska prava, a potom od 2014. godine na sastancima visokih strana ugovornica Konvencije UN o konvencionalnom oružju (CCW).[58] Značaj ove konvencije ogleda se u tome što ona ima regulatorni kapacitet za prevazilaženje problema koji mogu nastati pojavom novih vrsta oružja (što bi mogao biti slučaj sa AOS-ima).
Prema slovu Konvencije, moguće je da svaka visoka strana ugovornica, posle njenog stupanja na snagu, u svako doba predloži dodatne protokole koji se odnose na druge kategorije konvencionalnog oružja koje nisu obuhvaćene postojećim priloženim protokolima (ukoliko se sa određenim predlogom saglasi najmanje 18 ugovornica, saziva se konferencija država).[59] Visoke strane ugovornice Konvencije su najpre, na sastanku održanom 2013. godine, postigle saglasnost o poveravanju mandata o (S)AOS-ima i zadužile predsedavajućeg da sazove neformalni sastanak stručnjaka na kojem bi se raspravljalo o pitanjima u vezi sa tehnologijama u nastajanju u toj oblasti.
Od tada je održano više sastanaka na ovu temu, a na konferenciji Fifth CCW Review Conference održanoj 2016. godine strane su odlučile da osnuju otvorenu Grupu vladinih stručnjaka (Group of Governmental Experts – GGE),[60] sa zadatkom da se nadoveže na rad sa prethodnih sastanaka i razmotri donete izveštaje (GVS se od tada sastaje svake godine). GVS je nadležna za razmatranje tehnologija u oblasti AOS-a, u kontekstu ciljeva i svrhe Konvencije o konvencionalnom oružju i otvorena je za sve visoke strane ugovornice (uključujući i nedržavne strane) ove konvencije, kao i međunarodne organizacije i NVO.[61] Na sastanku održanom 2019. godine, imajući u vidu potencijalne izazove koje donose tehnologije u oblasti AOS-a, bez prejudiciranja ishoda budućih diskusija, GVS je usvojila Vodeća načela (Guiding principles) i tom prilikom izjavila da nastavak njenog rada treba da bude u okvirima međunarodnog prava, naročito Povelje UN i međunarodnog humanitarnog prava, uzimajući u obzir i etičku perspektivu.
Na osnovu teksta Načela, kojih ima ukupno jedanaest, mogu se izvući sledeći zaključci: od ključne je važnosti da se zadrži ljudska odgovornost tokom razvoja, raspoređivanja i korišćenja AOS-a; postoji dosledna potreba za punom primenom međunarodnog prava, posebno međunarodnog humanitarnog prava, na sve aspekte razvoja i korišćenja svih oružanih sistema (uključujući AOS); potrebno je obezbediti fizičku i nefizičku sigurnost u razvoju AOS-a kako bi se sprečila svaka zloupotreba; neophodno je obavljati kontinuiranu procenu rizika tokom svih faza razvoja i primene (životnog ciklusa) AOS-a radi smanjenja neželjenih posledica; nužno je koristiti postojeći međunarodnopravni okvir za bavljenje pitanjima tehnologije u nastajanju u oblasti AOS-a, gde se Konvencija UN o konvencionalnom oružju navodi kao eklatantan primer zbog toga što ona, ako se polazi od njenih ciljeva i svrhe, nastoji da uspostavi ravnotežu između vojne potrebe i humanitarnih razmatranja.[62]
GVS u svom Izveštaju od 2023. godine insistira na razmatranju budućeg razvoja tehnologija u oblasti AOS i ponovo potvrđuje obavezu država da poštuju međunarodno humanitarno pravo tokom životnog ciklusa takvih sistema naoružanja (ukoliko AOS ne može biti u skladu sa međunarodnim pravom, ne sme se koristiti), ukazujući na potrebu ograničavanja tipova ciljeva, trajanja i obima operacija AOS, kao i značaj adekvatne obuke operatera (ljudi). Eksplicitno se navode principi MHP-a sa kojima se AOS mora uskladiti (princip razlikovanja, princip proporcionalnosti i princip predostrožnosti u napadu), kao i zahtevi člana 36 Dopunskog protokola I uz Ženevske konvencije, na osnovu kojih se podržava razmena najboljih praksi između država.[63]
Posebno značajnim smatramo Izveštaj sa sastanka GVS-a od 2022. godine, i to iz nekoliko razloga. Prvo, ovom prilikom je potvrđeno da pravo strana u oružanom sukobu o izboru metoda ili sredstva ratovanja nije neograničeno. Drugo, istaknuto je da svaki međunarodni protivpravni akt države, uključujući i onaj koji potencijalno uključuje AOS, povlači međunarodnu odgovornost te države u skladu sa međunarodnim pravom (države moraju da poštuju međunarodno humanitarno pravo, kao i lica odgovorna za planiranje i izvođenje napada). Treće i možda najvažnije, delegacije su na sastanku 2022. godine predstavile i razmotrile niz predloga o mogućim merama u vezi sa AOS-ima: donošenje pravno obavezujućeg instrumenta, ali pod pravnim okvirom Konvencije UN o konvencionalnom oružju; donošenje pravno neobavezujućeg instrumenta; jasnije sprovođenje postojećih obaveza prema međunarodnom pravu, posebno MHP-u; zabranjivanje i regulisanje AOS-a na osnovu MHP-a; opcija da dalje pravne mere nisu potrebne.[64]
Koje od predloženih rešenja bi bilo najcelishodnije? Teško je dati odgovor na ovo pitanje, ali nam se čini da poslednju opciju treba odmah eliminisati, jer smatramo da ipak treba preduzeti konkretne pravne korake u smislu međunarodnopravnog regulisanja AOS-a i izbeći svaku pasivnost. Ukoliko bi AOS bili regulisani pravno obavezujućim instrumentom (recimo međunarodnim ugovorom), to bi bio prilično jasan i efikasan mehanizam i imao bi međunarodnopravnu snagu, jer bi obavezivao države članice da poštuju određene standarde i principe u vezi sa razvojem, raspoređivanjem i korišćenjem (drugim rečima, životnim ciklusom) AOS-a.
Međutim, postizanje konsenzusa među državama može biti vrlo izazovno imajući u vidu različite interese, prioritete i uopšte stavove država o AOS-ima, pa bi i proces pregovaranja i usvajanja ovakvog instrumenta mogao biti prilično dug i složen. Takođe, u međunarodnom pravu, pravno obavezujući instrumenti ne garantuju automatski poštovanje i sprovođenje obaveza koje iz njega proizlaze (države moraju biti spremne da primene određeni instrument u svom nacionalnom zakonodavstvu i praksi).
Situacija je drugačija kod donošenja pravno neobavezujućeg instrumenta: ovo bi podrazumevalo da države usvoje (neformalna) pravila ili smernice (standarde), odnosno političku deklaraciju, ali bez ikakve pravne obaveze njihovog poštovanja i primene. Mada fleksibilan (proces usvajanja je manje složen) i takav da se može prilagoditi prirodno promenljivim okolnostima na polju tehnoloških inovacija AOS-a, ovaj pristup ne bi pružao isti nivo pravne zaštite i sigurnosti kao međunarodni ugovor, pa bi države mogle da ignorišu (ili da ne poštuju u potpunosti) ovakav instrument, odnosno da ga selektivno primenjuju, u skladu sa sopstvenim interesima.
Treba imati u vidu da izvodljivost različitih rešenja u vezi sa regulisanjem AOS-a zavisi od političke volje država članica i trenutnog stanja međunarodnih odnosa. Neophodna je snažna podrška i saradnja država članica, a one, po pravilu, imaju različite interese (mahom političke, ekonomske i bezbednosne). Otežavajuću okolnost predstavljaju i sve češće napetosti i sukobi, odnosno geopolitička rivalstva, tako da je u ovom trenutku generalno otežano uspostavljanje dijaloga između država zbog nedostatka poverenja i nepovoljnih političkih okolnosti.
Mislimo da bi najrealnije rešenje bilo ono koje bi kombinovalo elemente pravno obavezujućih instrumenata sa jasnijim sprovođenjem postojećih obaveza prema međunarodnom humanitarnom pravu i šire, međunarodnom pravu. Pravno obavezujući instrument (međunarodni ugovor, ili npr. novi protokol uz Konvenciju UN o konvencionalnom oružju) imao bi preventivni karakter,[65] s obzirom na činjenicu da još uvek ne postoje potpuno autonomni oružani sistemi, tj. zabranjivao bi upotrebu AOS-a pro futuro, s tim što bi, i formalno i suštinski, morao biti postavljen na temelje duboko ukorenjenih principa MHP-a, o kojima je bilo reči u ovom radu.
Ukoliko bi bila usvojena nova međunarodna konvencija o regulisanju AOS-a, ona bi trebalo da predstavlja svojevrsnu kodifikaciju običajnih pravila MHP-a i sistematizaciju postojećih ugovornih odredaba (iz brojnih važećih konvencija) za koje se tvrdi da i sada imaju kapacitet da budu primenjivane na AOS (član 36 Dopunskog protokola I uz Ženevske konvencije, De Martensova klauzula, Konvencija UN o konvencionalnom oružju itd.). Na taj način bi se obezbedila veća pravna sigurnost i kontrolisano odgovorno ponašanje u vezi sa upotrebom AOS-a.
Sa druge strane, jasno je da u svetu postoji potreba za kontinuiranim razvojem vojnih tehnologija, pa bi se u tom smislu morala izbeći svaka rigidnost i osigurati fleksibilnost u pristupu novim tehnologijama, sve u cilju razvoja i podsticanja inovacija u oblasti vojne bezbednosti.[66] Dakle, treba insistirati na balansiranom pristupu između vojnih potreba i humanitarnih razmatranja, koji je presudan za postizanje efikasne regulative koja bi štitila sigurnost i dobrobit ljudi (civila) širom sveta. Sve ovo zahteva saradnju, angažovanje i podršku relevantnih zainteresovanih strana, uključujući države, međunarodne organizacije, civilno društvo i stručnjake iz oblasti prava, bezbednosti i tehnologije.
V ZAKLJUČAK
Machines with the power and discretion to take lives without human involvement are politically unacceptable, morally repugnant and should be prohibited by international law (A. Guterres).[67]
Evidentna je hitnost preduzimanja konkretnih koraka u cilju regulisanja AOS-a u narednom periodu i smatramo da treba što pre uspostaviti međunarodnopravni okvir, oličen u odgovarajućem instrumentu koji će nedvosmisleno i bez rezerve zabraniti upotrebu AOS-a u svim kontekstima, posebno imajući u vidu sve češće oružane sukobe u svetu unutar kojih se pribegava korišćenju dronova i drugih (zasad poluautonomnih) oružanih sistema. Ukoliko se to ne učini, uskoro bi takvi sistemi mogli da odlučuju o životu i smrti lica bez direktnog nadzora i procene ljudi.
Drugim rečima, bez adekvatne ljudske kontrole i procene situacije na terenu, postojao bi rizik od nekontrolisanog nasilja i prekomerne upotrebe sile, što bi ozbiljno narušilo principe međunarodnog humanitarnog prava (distinkcija, proporcionalnost, zaštita civila u oružanim sukobima i dr.), koji spadaju u red normi ius cogens, međunarodnog prava ljudskih prava, opštih pravila o međunarodnopravnoj odgovornosti i uopšte čitavog međunarodnopravnog poretka. Krajnji rezultat bi mogla biti eskalacija novih sukoba i destabilizacija čitavih regiona, što bi imalo dugoročne posledice po globalnu bezbednost i ulilo još veću nesigurnost i nepoverenje unutar međunarodne zajednice.
Iako je rad Grupe vladinih stručnjaka u okviru Konvencije UN o konvencionalnom oružju korak u pravom smeru, postoji realna prepreka u postizanju konsenzusa među državama članicama Konvencije, što ograničava mogućnost donošenja efikasnih rešenja unutar tog okvira. Zato bi trebalo razmotriti alternativne pravne mehanizme za regulisanje AOS-a, uključujući sporazume van okvira Konvencije ili pak, preventivnu zabranu razvoja, proizvodnje i upotrebe AOS-a.[68] Nema sumnje da postojeća osnovna pravila međunarodnog humanitarnog prava, kao što su De Martensova klauzula, odredba člana 36 Dopunskog protokola I uz Ženevske konvencije, principi distinkcije i proporcionalnosti, pružaju čvrstu osnovu za takve inicijative.
Tačno je da bi donošenje odgovarajućeg pravno obavezujućeg instrumenta predstavljalo suštinski napredak u regulisanju (zabrani) AOS-a, ali je vrlo verovatno da bi se države suočile sa izazovom njegove implementacije, jer u međunarodnom pravu inače postoji problem primene u praksi, što je najčešće posledica nedostatka sprovedbenih mehanizama ili nedovoljne političke volje država da poštuju preuzete obaveze. Stoga je važno uspostaviti jasne mehanizme nadzora i praćenja kako bi se obezbedilo poštovanje odredbi potencijalnog međunarodnog instrumenta o regulisanju AOS-a, kao i mehanizme sankcionisanja subjekata međunarodnog prava koji bi kršili odredbe tog instrumenta. Takođe, saradnja, podrška i angažovanje država po pitanju AOS-a, međunarodnih (nevladinih) organizacija, civilnog društva i stručnjaka iz oblasti prava, bezbednosti i tehnologije su od suštinskog i praktičnog značaja u ovom domenu.
Poštovanje prava na život, ljudskog dostojanstva i osnovnih principa međunarodnog humanitarnog prava treba da bude prioritet bez obzira na to koliko svako novo oružje ili tehnološki napredak mogu biti korisni ili efikasni u vojne svrhe. Ovde upravo dolazi do izražaja više puta spomenuta odredba člana 36 Dopunskog protokola I uz Ženevske konvencije koja obavezuje države da utvrde da li bi korišćenje novog oružja bilo zabranjeno nekim pravilom međunarodnog prava.
Shodno tome, zadatak je svake države da prvo pažljivo razmotri i oceni potencijalnu upotrebu AOS-a unutar svojih granica, a u svetlu uticaja AOS-a na ljudske živote, ljudska prava i bezbednost. Tek nakon pojedinačne evaluacije životnog ciklusa AOS-a, države će imati kapacitet da sarađuju i pokušaju doći do zajedničkog rešenja. Za to vreme, nužno je očuvati i obezbediti primenu osnovnih pravila međunarodnog humanitarnog prava, jer ovi principi, koji su utemeljeni na zaštiti ljudskog života, zabrani mučenja, poštovanju ljudskog dostojanstva i prava na humani tretman tokom oružanih sukoba, predstavljaju temelj civilizovanog društva i međunarodnih odnosa, tako da bi njihovo podrivanje putem (zlo)upotrebe autonomnih oružanih sistema predstavljalo ozbiljnu pretnju za čovečanstvo.
Janko Balšić *
INTERNATIONAL LAW REGULATION OF THE AUTONOMOUS WEAPON SYSTEM (AWS)**
Summary
Considering the rapid technological development and the need to adapt international law to new challenges, the author tries to shed light on the key dilemmas and potential development directions for the regulation of the autonomous weapon systems (AWS). In the modern world, AWS are attracting increasing attention due to the moral, legal, humanitarian and other consequences they can cause in the context of global security. These systems can recognise, select and attack targets autonomously, without direct human intervention, and so they represent a technological advancement that brings numerous challenges. In the first part of the paper, the author deals with the concept of AWS, where the focus is placed on autonomy as its crucial element. In the second part of the paper, the author tries to find the place of AWS in the existing international normative framework. In the third part, the author analyses the work of the Group of Governmental Experts (GGE), which has been discussing pressing issues related to new technologies in AWS for years under the framework of the UN Convention on Conventional Weapons (CCW). Finally, the author presents conclusions on this topic, providing insight into possible directions of future activities and emphasising the importance of the fundamental rules of international humanitarian law.
Key words: Autonomous Weapon Systems (AWS), International Humanitarian Law, Martens Clause, Hague Conventions, Geneva Conventions, Article 36 of Additional Protocol I to the Geneva Conventions, UN Convention on Conventional Weapons (CCW), Group of Governmental Experts (GGE), Guiding Principles.
* Master pravnik, Sekretar Nacionalnog tela za akreditaciju i obezbeđenje kvaliteta u visokom obrazovanju, janko.balsic@nat.rs
** Rad je osvojio drugu nagradu „Dr Stefan Andonović (1991-2021)“ 2024. godine, na nagradnom konkursu pod nazivom „Pravni okvir veštačke inteligencije – potencijal i rizik u budućnosti“.
[1] M. Brehm, Defending the Boundary Constraints and Requirements on the Use of Autonomous Weapon Systems Under International Humanitarian and Human Rights Law, The Geneva Academy of International Humanitarian Law and Human Rights, Geneva, 2017, 7.
[2] U literaturi se može naići na nazive poput Autonomous Weapon Systems (AWS), Lethal Autonomous Weapon Systems (LAWS), kao i Lethal Autonomous Robotics (LARs). Autor će u nastavku najviše koristiti skraćenicu (S)AOS (u množini) za (smrtonosne) autonomne oružane sisteme ((Lethal) Autonomous Weapon Systems).
[3] M. Brehm, op. cit., 7.
[4] B. Rosen Jacobson, Lethal Autonomous Weapons Systems: Mapping the GGE Debate, DiploFoundation Policy Papers and Briefs, 8, 2017, 2.
[5] U daljem tekstu: MHP.
[6] Vid. Non-exhaustive compilation of definitions and characterizations, Group of Governmental Experts on Emerging Technologies in the Area of Lethal Autonomous Weapons System Geneva, 6-10 March, and 15-19 May 2023, CCW/GGE.1/2023/CRP.1.
[7] T. C. Bächle, J. Bareis, “Autonomous weapons” as a geopolitical signifier in a national power play: analysing AI imaginaries in Chinese and US military policies, European Journal of Futures Research, 10 (1), 2022, 3.
[8] Report of the Special Rapporteur on extrajudicial, summary or arbitrary executions, Christof Heyns. A/HRC/23/47, New York: United Nations, 2013, 7.
[9] B. Docherty, Losing Humanity: The Case against Killer Robots, Human Rights Watch (November 2012), http://www.hrw.org/reports/2012/11/19/losing-humanity-0, datum posete: 22. 2. 2024.
[10] „In delegating the decision to kill to a machine, autonomous weapons systems cross ethical and moral lines. Machines programmed to make decisions according to the computations of algorithms lack moral agency to take decisions concerning human life and death.”, Y. Kumaraguru, A pre-emptive ban on lethal autonomous weapon systems, u: The Impact of Artificial Intelligence on Strategic Stability and Nuclear Risk: Volume III South Asian Perspectives (ur. P. Opychkanov), Stockholm International Peace Research Institute, Stockholm 2020, 55.
[11] European Parliament resolution of 12 September 2018 on autonomous weapon systems (2018/2752(RSP)), https://www.europarl.europa.eu/doceo/document/TA-8-2018-0341_EN.html, datum posete: 2. 3. 2024.
[12] A. Filipović, Lethal Autonomous Weapon Systems (LAWS) - towards global regulation or indiscriminate employment?, Politička revija, 31(1), 2023, 215.
[13] Ibid.
[14] H. M. Huang, Autonomy Levels for Unmanned Systems (ALFUS) Framework Volume I: Terminology Version 2.0, National Institute of Standards and Technology, Gaithersburg, USA, 2008, 15.
[15] E. Taha, A. V. Savkin, Towards Fully Autonomous UAVs: A Survey, Sensors, 21(18), 2021, 3-4.
[16] Ibid. Vid. i: H. M. Huang, op. cit., 22-23.
[17] Report of the International Committee of the Red Cross (ICRC), Autonomous weapon systems: Technical, military, legal and humanitarian aspects, Expert meeting, Geneva, Switzerland, 26-28 March 2014, 62, https://www.icrc.org/en/document/report-icrc-meeting-autonomous-weapon-systems-26-28-march-2014), datum posete: 23. 2. 2024.
[18] „Despite being subject to numerous groundbreaking technological developments, LAWS still lack the distinctly human qualities of empathy, reason, intellect and compassion that are necessary to exercise moral and prudential judgement on the battlefield. Weapons that select and engage targets without meaningful human involvement also undermine human dignity. Machines are unable to appreciate the value of human life and therefore cannot feel the gravity of its loss. They also lack the innate reluctance and internal struggle that humans are forced to confront in deciding to harm or kill another human being.” Y. Kumaraguru, op. cit., 55-56.
[19] A. Filipović, op. cit., 215.
[20] V. Sehrawat, Legal Status of Drones Under LOAC and International Law, Penn State Journal of Law & International Affairs, 5 (1), 2017, 171-172.
[21] Ibid.
[22] A. Filipović, op. cit., 216.
[23] ORUŽJE online, Lutajuća municija Lancet: Najkorisniji ruski dron dobio kontrolu sa veštačkom inteligencijom, https://oruzjeonline.com/2023/10/22/lutajuca-municija-lancet-najkorisniji-ruski-dron-dobio-kontrolu-sa-vestackom-inteligencijom/, datum posete: 2. 3. 2024.
[24] Ibid.
[25] Amnesty International, Human Rights Watch, Humanity & Inclusion samo su neke od nevladinih organizacija koje su deo ove kampanje (vid. Our Member Organisations, https://www.stopkillerrobots.org/a-global-push/member-organisations/, datum posete: 2. 3. 2024).
[26] C. Connolly, Loitering munitions with autonomous capabilities used in Ukraine, https://www.stopkillerrobots.org/news/loitering-munitions-with-autonomous-capabilities-used-in-ukraine/, datum posete: 2. 3. 2024. „A number of use incidents were reported, resulting in numerous civilian casualties; at least one drone hit a civilian residential building. The New York Times reports that 28 of the drones were seen in Kyiv, including one which appeared to carry out a ‘double-tap’ attack, a tactic that aims to kill emergency workers or firefighters responding to the first strike.” Ibid.
[27] Vid. V. Boulanin, N. Davison, N. Goussac, M. Peldán Carlsson, Limits on Autonomy in Weapon Systems, Stockholm International Peace Research Institute, Stockholm, 2020, 4. M. N. Schmitt, Unmanned Combat Aircraft Systems and International Humanitarian Law: Simplifying the Oft Benighted Debate, Boston University International Law Journal, 30, 2012, 601.
[28] Dopunski protokol I uz Ženevske konvencije reguliše pojedine aspekte AOS-a, naročito u članu 36: „Prilikom proučavanja, usavršavanja, nabavljanja ili prihvatanja novog oružja, sredstava ili metoda ratovanja, visoka strana ugovornica je u obavezi da utvrdi da li bi njegovo korišćenje, u nekim ili svim okolnostima, bilo zabranjeno ovim protokolom ili bilo kojim drugim pravilom međunarodnog prava koje se primenjuje na visoku stranu ugovornicu”, Protocol Additional to the Geneva Conventions of 12 August 1949, and Relating to the Protection of Victims of International Armed Conflicts (Protocol I), of 8 June 1977, https://ihl-databases.icrc.org/en/ihl-treaties/api-1977, datum posete: 19. 3. 2024.
[29] Convention on Prohibitions or Restrictions on the Use of Certain Conventional Weapons Which May be Deemed to be Excessively Injurious or to Have Indiscriminate Effects (CCW), Geneva, 10 October 1980, https://ihl-databases.icrc.org/en/ihl-treaties/ccw-1980?activeTab =default, datum posete: 20. 3. 2024.
[30] International Law Commission, Report on the work of the seventy-third session (2022), Chapter IV. Peremptory norms of general international law (jus cogens), https://legal.un.org/ilc/reports/2022/, datum posete: 11. 3. 2024. Ovo još ranije potvrđuje i Međunarodni sud pravde. Vid. International Court of Justice (ICJ), Legality of the Threat or Use of Nuclear Weapons, Advisory Opinion of July 8 1996, ICJ Reports, 1996, 226, par. 83.
[31] Hronološki prikaz relevantnih konvencija iz ove oblasti vid. kod: B. Milisavljević, Međunarodno humanitarno pravo, Univerzitet u Beogradu – Pravni fakultet, Beograd, 2024, 22-24.
[32] P. Malanczuk, Akehurst’s Modern Introduction to International Law. 7. ed, New York: Routledge, 1997, 345.
[33] Convention (II) with Respect to the Laws and Customs of War on Land and its annex: Regulations concerning the Laws and Customs of War on Land. The Hague, 29 July 1899, https://ihl-databases.icrc.org/en/ihl-treaties/hague-conv-ii-1899/preamble?activeTab=undefined, datum posete: 11. 3. 2024.
[34] Protocol I, https://ihl-databases.icrc.org/en/ihl-treaties/api-1977, datum posete: 19. 3. 2024.
[35] R. Ticehurst, The Martens Clause and the Laws of Armed Conflict, International Review of the Red Cross, 37 (317), 1997, 126-128.
[36] Ibid., 128.
[37] Ibid., 129.
[38] Ibid., 130., fn. 19.
[39] E. Chavannes, K. Klonowska, T. Sweijs, Governing autonomous weapon systems: Expanding the solution space, from scoping to applying, Hague Centre for Strategic Studies, 2020, 13.
[40] Ovo je, pre svega, izričito navedeno u članu 35 Dopunskog protokola I uz Ženevske konvencije: „In any armed conflict, the right of the Parties to the conflict to choose methods or means of warfare is not unlimited”, Protocol I, https://ihl-databases.icrc.org/en/ihl-treaties/api-1977, datum posete: 19. 3. 2024.
[41] M. N. Shaw, International Law, Ninth Edition, Cambridge University Press, Cambridge, 2021, 1050-1051.
[42] Ethics and autonomous weapon systems: An ethical basis for human control?, https://www.icrc.org/en/document/ethics-and-autonomous-weapon-systems-ethical-basis-human-control, datum posete: 19. 3. 2024.
[44] Ibid., par. 79.
[45] Ibid., par. 86.
[46] J. Foy, Autonomous Weapons Systems: Taking the Human out of International Humanitarian Law, Dalhousie Journal of Legal Studies, 23, 2014, 53.
[47] Ibid. 54.
[48] Protocol I, https://ihl-databases.icrc.org/en/ihl-treaties/api-1977, op. cit., datum posete: 19. 3. 2024.
[49] J. Foy, op. cit., 54.
[50] ICJ, Legality of the Threat or Use of Nuclear Weapons, op. cit., par. 78.
[51] J. Foy, op. cit., 55.
[52] Protocol I, https://ihl-databases.icrc.org/en/ihl-treaties/api-1977, op. cit., datum posete: 19. 3. 2024.
[53] J. Foy, op. cit., 56.
[54] V. Boulanin et al., op. cit., 5.
[55] Ibid.
[56] Y. Kumaraguru, op. cit., 56.
[57] B. Docherty, http://www.hrw.org/reports/2012/11/19/losing-humanity-0, op. cit., datum posete: 22. 2. 2024.
[58] Peace and Security Laws for LAWS, Towards a treaty to regulate lethal autonomous weapons, Elizabeth Minor February 2023, https://ny.fes.de/article/laws-for-laws, datum posete: 20. 3. 2024.
[59] CCW, https://ihl-databases.icrc.org/en/ihl-treaties/ccw-1980?activeTab=default, datum posete: 20. 3. 2024.
[60] U daljem tekstu: GVS.
[61] GGE on lethal autonomous weapons systems, https://dig.watch/processes/gge-laws, datum posete: 20. 3. 2024.
[62] Report of the 2019 session of the Group of Governmental Experts on Emerging Technologies in the Area of Lethal Autonomous Weapons Systems, Annex IV Guiding Principles, CCW/GGE.1/2019/3, 13.
[63] Report of the 2023 session of the Group of Governmental Experts on Emerging Technologies in the Area of Lethal Autonomous Weapons Systems, Geneva, 6-10 March, and 15-19 May 2023, CCW/GGE.1/2023/2, 4. Kampanja Stop Killer Robots uputila je određene kritike na rad stručnjaka u vezi sa spomenutim izveštajem, najpre izrazivši stav da je u radu izostao „suštinski napredak” i da Izveštaj ne pruža adekvatne smernice za regulisanje AOS-a, te pozvavši na hitnu akciju u smislu pregovora o novom pravno obavezujućem instrumentu, zaključivši sledeće: „Dok se upotreba oružanih sistema sa autonomnom funkcionalnošću trenutno primenjuje u savremenim sukobima, CCW forum kontinuirano ne uspeva da poveri mandat za pregovore o novom pravno obavezujućem instrumentu – što je svetu hitno potrebno da bi zaustavio robote-ubice.”, Convention on Conventional Weapons runs out of road as states adopt meaningless report, https://www.stopkillerrobots.org/news/states-adopt-meaningless-report-after-civil-society-excluded-from-un-discussions-on-autonomous-weapons-systems/, datum posete: 11. 3. 2024.
[64] Report of the 2022 session of the Group of Governmental Experts on Emerging Technologies in the Area of Lethal Autonomous Weapons Systems, Geneva, 7-11 March, and 25-29 July 2022, CCW/GGE.1/2022/2, 3.
[65] „Nuklearno, hemijsko i biološko oružje bilo je u potpunosti operativno kada su regulatorni režimi uspostavljeni pravno obavezujućim instrumentima. Nasuprot tome, SAOS i druge tehnologije u nastajanju su u brzom razvoju i nastaviće da se razvijaju, paralelno sa raspravom o potrebi donošenja posebnih međunarodnopravnih propisima. Dakle, besmisleno je čekati dalji razvoj SAOS-a da bi se počelo pregovarati o pravnom okviru.” Operationalizing the Guiding Principles: a roadmap for the GGE on LAWS Submitted by Brazil, Group of Governmental Experts on Emerging Technologies in the Area of Lethal Autonomous Weapons Systems Geneva, 21-25 September and 2-6 November 2020, CCW/GGE.1/2020/WP.3, 3.
[66] Uostalom, ovo je potvrdila GVS: „Ne uključiti se u upravljanje tehnologijama u nastajanju kako bi se izbegla ograničenja sposobnosti strateške prednosti je kontraproduktivno i pogrešno shvatanje. Ius in bello, u duhu Ženevskih konvencija, ne ometa stratešku konkurenciju i tehnološki razvoj. Njegova svrha je da ga uokviri na način kompatibilan sa vojnim potrebama, istovremeno štiteći civile i borce u skladu sa humanitarnim principima koje je međunarodna zajednica odavno usvojila. Unapređenje MHP-a u pogledu SAOS-a je u interesu kolektivne bezbednosti.”, Operationalizing the Guiding Principles: a roadmap for the GGE on LAWS Submitted by Brazil, 4. Eksperti su o ovoj temi diskutovali i ranije: „Priznajući dvostruku prirodu tehnologija u oblasti inteligentnih autonomnih sistema koji nastavljaju da se brzo razvijaju, napori Grupe u kontekstu njenog mandata ne bi trebalo da ometaju napredak ili pristup civilnom istraživanju i razvoju i upotrebi ovih tehnologija.” Report of the 2017 Group of Governmental Experts on Lethal Autonomous Weapons Systems (LAWS), Geneva, 13–17 November 2017, CCW/GGE.1/2017/3, 4.
[67] Machines Capable of Taking Lives without Human Involvement Are Unacceptable, Secretary-General Tells Experts on Autonomous Weapons Systems, https://press.un.org/en/ 2019/sgsm19512.doc.htm, datum posete: 31. 3. 2024.
[68] Y. Kumaraguru, op. cit., 57-58.
* Secretary-General at the National Entity for Accreditation and Quality Assurance in Higher Education (NEAQA).
** The paper won the second prize "Dr. Stefan Andonović (1991-2021)" in 2024, in the competition titled "The Legal Framework of Artificial Intelligence – Potential and Risk in the Future."