Јанко Балшић*
Прегледни научни чланак
УДК: 341.33
МЕЂУНАРОДНОПРАВНО РЕГУЛИСАЊЕ АУТОНОМНИХ ОРУЖАНИХ СИСТЕМА (AWS)**
Рад примљен: 17. 06. 2024.
Рад прихваћен за објављивање: 27. 09. 2024.
Узимајући у обзир рапидан технолошки развој и потребу за прилагођавањем међународног права новим изазовима, аутор овим радом настоји да осветли кључне дилеме и потенцијалне правце регулисања аутономних оружаних система (АWS, АОС). У савременом свету, АОС изазивају све већу пажњу због моралних, правних, хуманитарних и других последица које могу изазвати у контексту глобалне безбедности. Ови системи, способни да аутономно препознају, одаберу и нападну мете без директног људског уплитања, представљају технолошки напредак који доноси бројне изазове. У првом делу рада аутор се бави појмом АОС-а, где је фокус стављен на аутономију као његов кључни елемент. Други део рада посвећен је проналажењу места АОС-а у постојећем међународном нормативном оквиру. У трећем делу, аутор анализира рад Групе владиних стручњака (GGE) која, под оквиром Конвенције УН о конвенционалном оружју (CCW), већ годинама расправља о горућим питањима у вези са новим технологијама у области АОС-а. На крају, аутор излаже закључке о овој теми, пружајући увид у могуће правце будућих активности и истичући значај основних правила међународног хуманитарног права.
Кључне речи: аутономни оружани системи, међународно хуманитарно право, Де Мартенсова клаузула, Хашке конвенције, Женевске конвенције, члан 36 Допунског протокола I уз Женевске конвенције, Конвенција УН о конвенционалном оружју, Група владиних стручњака, Водећа начела.
I УВОД
Law depends on violence and uses it as a counterpunch to the allegedly more lethal and destructive violence situated just beyond law’s boundaries. But the violence on which law depends always threatens the values for which law stands (A. Sarat).[1]
Последњих година, у међународној заједници се све више расправља о етичким, хуманитарним, правним и безбедносним импликацијама аутономних оружаних система (Autonomous Weapon Systems[2]), посебне врсте оружја које, када се активира, може да открије, изабере и нападне одређене циљеве (мете) без људске интервенције. Тврди се да је, у том погледу, вештачка интелигенција „достигла тачку у којој је примена таквих система – практично, ако не и правно – изводљива у року од неколико година”.[3] Иако је технологија одувек имала пресудан утицај на оружане сукобе, у савремено доба постоји опасност да се човечанство нађе на ивици егзистенцијално другачијег технолошког развоја: губитка људске контроле у рату.[4]
У ери убрзаног технолошког напретка, АОС постају свеприсутни у савременим оружаним сукобима. Њихова све већа способност да делују без директног учешћа људи поставља изазове пред међународно право, а поготово међународно хуманитарно право,[5] које је и настало као посебна грана међународног права како би регулисало и ограничило употребу оружја у циљу смањења патње и заштите цивила током сукоба. Употреба АОС-а отвара многа питања у примени МХП-а почевши од прецизног разликовања између цивилних и војних мета, па до изазова у обезбеђењу пропорционалне употребе силе и заштите хуманих вредности током оружаних сукоба. Технолошке могућности и етички аспекти АОС-а нужно захтевају додатни напор међународне заједнице да преиспита и прилагоди постојећи нормативни оквир ради адекватне заштите учесника у сукобима, а нарочито цивила.
II ПОЈАМ АУТОНОМНИХ ОРУЖАНИХ СИСТЕМА
Иако још увек не постоји општеприхваћена дефиниција АОС-а, већ десетак година указује се на њихове главне карактеристике[6] и усклађеност са међународним правом, што је представљено у извештајима Групе владиних стручњака која се бави овом темом, под окриљем Конвенције о конвенционалном оружју (1980). Свакако, када говоримо о АОС-има, практично мислимо на роботе, тј. машине које „осећају”, „размишљају” и „делују” на основу начина на који су програмиране, уз одређени степен аутономије.
Стога нам делује логично да се АОС најбоље могу дефинисати преко појма аутономије као њиховог кључног елемента: оружани систем је аутономан ако је способан да независно бира и погађа циљеве, на основу закључака изведених из прикупљених информација in concreto и унапред програмираних ограничења.[7] Као широко прихваћена дефиниција АОС-а наводи се она око које су сагласни Департман за одбрану САД[8] и организација Human Rights Watch:[9] у питању су оружани (роботски) системи који, када се активирају, могу да изаберу и ангажују циљеве (мете) без даље интервенције људи, при чему систем (робот) има аутономни избор у погледу селекције мете и употребе смртоносне силе. Другим речима, у питању су оружани системи који могу да изаберу циљеве без уплитања људског фактора, нарочито у контексту доношења одлука.[10] Европски парламент је у једној својој резолуцији указао на то да су (С)АОС системи код којих недостаје „значајна људска контрола” над критичним функцијама одабира и напада појединачних циљева.[11] Важно је напоменути да су потпуно аутономни, „самосвесни системи смртоносног оружја”, засад чисто хипотетички концепти, иако би развој технологије могао довести до све веће аутономије оваквих система, што би за последицу имало све мањи утицај људског фактора.[12]
Дакле, аутономија заузима централно место у појму АОС-а и огледа се у технолошкој способности машине да изврши одређене задатке без људског утицаја, на крилима интеракције компјутерског програмирања и (непосредног) окружења, при чему је систем заснован на вероватноћи, што подразумева својеврсна „нагађања” о најбољим могућим правцима деловања на основу расположивих података који су унети путем одговарајућих сензора.[13] Аутономију овде треба схватити као способност АОС-а (конкретно беспилотних летелица – дронова) да интегрисано детектује, опажа, анализира, комуницира, планира, доноси одлуке и делује, тј. извршава одређене задатке, како би се остварио циљ који опредељује човек као оператер.[14]
Чини се да технологија данас иде у правцу омогућавања беспилотним летелицама да потпуно слободно извршавају задатке, уз минимално учешће људи, па тако Национални институт за стандарде и технологију САД, у зависности од сложености конкретног задатка, разликује следеће степене аутономије:[15] Fully autonomous (потпуна аутономија – делегирани задатак се извршава без људске интеракције, а одлуке се доносе на основу сензора који се прилагођавају оперативним променама и променама у окружењу); Semi-autonomous (неопходно је да човек као оператер планира интеракцију током кретања и да доноси одлуке које дрон није у стању да донесе, при чему дрон може да функционише самостално између интеракција – пример: оператер планира тачке кретања дрона, а дрон се безбедно креће самостално избегавајући препреке); Teleoperated (даљинско управљање – оператер се ослања на повратне информације из уграђених сензора како би померао дрон, било директним слањем контролних команди или средњих циљева, без могућности избегавања препрека); и Remotely controlled (оператер из даљине ручно контролише дрон без повратне информације сензора).[16] Код АОС-а су посебно контроверзне тзв. „критичне функције”, где је у фокусу ниво аутономије који је неопходан за избор, праћење и напад на одређене мете, па се управо због тога постављају питања могућности коришћења АОС-а у складу са принципима међународног хуманитарног права и моралним назорима у смислу омогућавања машинама да идентификују и користе силу против одређених циљева без учешћа људи.[17] Другим речима, уклањањем значајне људске контроле у оквиру критичних функција, они који употребљавају аутономно оружје не поштују међународно хуманитарно право, али и право људских права.[18]
АОС могу да се разликују по величини, степену аутономије и функцијама, а један од најчешћих примера јесу беспилотне борбене летелице или „дронови”.[19] Начелно, дрон је свака летелица која се креће, односно лети у ваздуху и коју контролише пилот на земљи. У питању су летелице било које величине које носе и лансирају оружје, или које могу да користе технологију којом се оружје усмерава ка одређеној мети.[20] Захваљујући технолошком развоју последњих година, трошкови производње и набавке овог оружја су знатно опали, па су многе државе укључиле дронове у своје војне формације. Војска САД званично дефинише дрон као копнено, морско или ваздушно возило које је контролисано на даљину или аутоматски, и углавном разликује неколико врста војних дронова: беспилотне летелице (Unmanned Aerial Vehicles – UAVs), борбене беспилотне летелице (Unmanned Combat Aerial Vehicles – UCAVs) и „ловце-убице”, при чему треба знати да дрон није пројектил, већ „машина за ношење пројектила”.[21] На ратним подручјима широм света, последњих година се све више употребљава тзв. „лутајућа муниција” (loitering munition). Реч је о прецизној муницији која се у одређеном периоду може одржавати у ваздуху и брзо нападати копнене и морске циљеве које чак нису у видном пољу (non-line-of-sight targets), што контролише оператер који види слику мете и њеног окружења у реалном времену и може да контролише тачно време, положај и правац напада статичних или покретних мета, као и да доприноси процесу њихове формалне идентификације и потврде.[22]
Лутајућа муниција под називом Lancet, коју је Русија употребила на ратном подручју у Украјини (октобар 2023. године), однедавно је у фокусу светског јавног мњења као „нови пример технолошког продора у савременој војној опреми” и „важан корак у развоју беспилотне технологије у Русији”.[23] Ипак, постоји могућност грешке вештачке интелигенције, „упркос високом степену аутоматизације”, па се контролни људски фактор види као кључан за функционисање овог оружја.[24] Кампања за заустављање робота-убица (The Campaign to Stop Killer Robots), коалиција невладиних организација[25] које желе да превентивно забране смртоносно аутономно оружје, је још током 2022. године изразила забринутост поводом коришћења лутајуће муниције у Украјини, истакавши хуманитарне, правне, безбедносне, технолошке и етичке аспекте, као и потребу да се хитно усвоје правила о начину употребе оваквог оружја и повлачењу „црвених линија”, где се као наредни корак сугерише доношење међународног уговора који би заштитио људско достојанство и обезбедио значајну људску контролу.[26]
III ПРИМЕНА ПОСТОЈЕЋЕГ МЕЂУНАРОДНОГ НОРМАТИВНОГ ОКВИРА НА АУТОНОМНЕ ОРУЖАНЕ СИСТЕМЕ
С обзиром на то да у овом раду испитујемо међународноправно регулисање АОС-а, дакле једне врсте оружја које се користи у оружаним сукобима између држава, нема сумње да се налазимо на терену МХП-а. У теорији је неспорно да би употреба АОС-а током оружаних сукоба, ма како они настали, морала бити у сагласности са МХП-ом.[27] У том смислу, треба сагледати кључне принципе на којима се модерно МХП заснива, а који регулишу употребу средстава и метода ратовања, као и главне изворе МХП-а.
У овом тренутку, ниједан важећи међународни уговор не регулише директно АОС, па тако prima facie изгледа да постојећи међународноправни оквир није прилагођен за суочавање са специфичностима и изазовима које АОС представљају. Међутим, склони смо да тврдимо да наведено важи само у контексту уговорног права. Наиме, МХП почива не само на међународним уговорима као изворима, већ пре свега на обичајним правним правилима. Штавише, може се заступати теза да су поједини аспекти употребе АОС-а регулисани најмање једним међународним уговором,[28] и то Конвенцијом УН о конвенционалном оружју (1980).[29] О овоме ће бити више речи у поглављу које следи.
Основна правила МХП-а уздигнута су на ниво императивних, перемпторних норми општег међународног права (ius cogens)[30] и треба их посматрати интегрално. То су правила која су се најдуже развијала у међународном праву и која су углавном извирала из обичајног права које је касније кодификовано чувеним Хашким и Женевским конвенцијама (са протоколима), али и другим конвенцијама које су се углавном тицале ограничавања употребе конкретне врсте оружја.[31]
Да кодификација МХП-а нимало није умањила улогу обичајних правила, потврђено је у Де Мартенсовој клаузули,[32] у преамбули Хашке конвенције о сувоземном рату (1899),[33] чија модерна верзија, у оквиру Допунског протокола I уз Женевске конвенције (1977), гласи: „У случајевима који нису обухваћени овим Протоколом или другим међународним споразумима, цивили и борци остају под заштитом и влашћу принципа међународног права који проистичу из установљеног обичаја, из принципа човечности и из диктата јавне савести.”[34]
Иако не постоји општеприхваћено тумачење ове клаузуле, чини се да је треба тумачити широко, нарочито имајући у виду термине попут „закона човечности” и „захтева јавне савести”, као и да се, између осталог, може тврдити да је Клаузула заснована на ставу да оно што није изричито забрањено [било којим – прим. Ј. Б.] уговором није дозвољено ipso facto.[35] Штавише, Комисија за међународно право подржава тврдњу о Клаузули као одредби која се примењује у случајевима који нису обухваћени посебним међународним споразумима.[36] Дакле, домашај Де Мартенсове клаузуле је такав да она превазилази Хашке и Женевске конвенције, као и друге међународне споразуме, па и само уговорно право, те тако постаје општа обичајноправна норма. Закони човечности тумаче се тако да забрањују средства и методе ратовања који нису неопходни за постизање недвосмислене војне предности, што се огледа у „доктрини војне потребе”, према којој „не би смело да се примењује више силе него што је неопходно за постизање легитимних војних циљева”.[37]
Са друге стране, захтеве јавне савести треба тражити у „правној комуникацији”, односно у нацртима правила, декларацијама, резолуцијама и другим актима као ауторитетним изворима. Примера ради, многе резолуције које је усвојила Генерална скупштина УН осудиле су употребу, складиштење, распоређивање, ширење и производњу нуклеарног оружја, па иако немају правно обавезујуће дејство per se, „оне свакако представљају ‘диктат јавне савести’ у 20. веку”.[38] Де Мартенсова клаузула захтева од држава да ускладе своје понашање са диктатом јавне савести, што значи да су државе те које треба да зауставе развој АОС-а уколико сматрају да је убијање људи од стране аутономних машина супротно општеприхваћеним правилима.[39]
Шо (Shaw) истиче да право избора средстава и метода ратовања у оружаном сукобу није неограничено,[40] при чему се мора успоставити равнотежа између војне потребе и захтева човечности, што све одсликавају бројна конвенцијска правила попут ових: „једини легитимни циљ који државе треба да настоје да остваре током рата је да ослабе војне снаге непријатеља” (Петроградска декларација, 1968); „у сваком тренутку се мора правити разлика између цивила и бораца” (Допунски протокол I Женевских конвенција, 1977); „посебно је забрањено коришћење оружја, пројектила или материјала за које се рачуна да ће изазвати непотребну патњу” (правила IV Хашке конвенције, 1907).[41] Када се све то узме у обзир, сасвим је оправдано што се Де Мартенсова клаузула сматра „сигурносном мрежом човечанства” (a safety net for humanity).[42]
Meђународни суд правде се у Саветодавном мишљењу о законитости претње или употребе нуклеарног оружја (1996) осврнуо на основне принципе који чине „ткиво хуманитарног права”, па закључио следеће: државе никада не смеју учинити цивиле објектом напада, нити смеју да користе оружје које није у стању да врши разликовање између цивилних и војних циљева; забрањено је наношење непотребних патњи борцима, као и употреба оружја које такву штету наноси или бескорисно погоршава њихову патњу; постојање и примена Де Мартенсове клаузуле је „несумњиво” и она представља „ефективно средство” у светлу брзе еволуције војне технологије; уколико предвиђена употреба оружја не би била у складу са хуманитарним правом, и претња таквом употребом би била супротна том праву.[43] Суд je напоменуо и да Хашке и Женевске конвенције уживају широко приступање, али и да правила која оне садрже морају поштовати све државе без обзира на ратификацију, јер су она фундаментална за поштовање људске личности и елементарних обзира човечности, те закључио да је реч о „непревазиђеним начелима међународног обичајног права” (intransgressible principles of international customary law).[44]
Мислимо, дакле, да се може успоставити својеврсна паралела између АОС-а и нуклеарног оружја, макар само због тога што је ово друго у једном периоду било исто тако „ново”, тј. настало је након усвајања многих правила МХП-а, као и зато што оба не представљају конвенционално оружје. У том смислу, не чуди став Међународног суда правде да се принципи и правила МХП-а примењују на све облике ратовања и све врсте оружја, „оно из прошлости, садашњости и оно у будућности”.[45] Са друге стране, ако нуклеарно оружје, као једно од најсмртоноснијих оружја, по мишљењу Суда није означено као противправно per se, постоји сумња да би АОС били третирани другачије.[46]
У литератури се за АОС тврди да не могу бити (у потпуности) усклађени са кључним принципима МХП-а као што су, како се најчешће наводи, принцип разликовања (дистинкције) и принцип пропорционалности, чија примена постаје природно отежана у случају да људи не учествују у доношењу одлука.[47] Оба принципа инкорпорирана су у Допунски протокол I уз Женевске конвенције (чл. 48 и 51), при чему се принцип разликовања своди на то да стране у оружаном сукобу у сваком тренутку морају да праве разлику између цивила и бораца, као и између цивилних и војних објеката, те да своје операције треба да усмере искључиво ка војним циљевима.[48] За државе које нису потписнице наведеног протокола, овај принцип се примењује као обичајна међунaродноправна норма[49] и ово је „кардинално”[50] начело МХП-а.
Принцип пропорционалности налаже да колатерална штета код цивила мора бити пропорционална војној предности,[51] тако да би кршење овог принципа представљало напад за који се могло очекивати да ће изазвати случајне губитке живота цивила, повреде цивила, и/или штету цивилним објектима који би били претерани у односу на конкретну и директну предвиђену војну предност.[52] Код примене принципа пропорционалности одмеравају се могућност повреде цивила и цивилних објеката, што је лакше утврдити (па и уз помоћ разних симулатора), и потенцијална војна предност напада, која се одређује у контексту: поставља се питање да ли би „разуман командант” дошао до сличног закључка (оваква процена дозвољава оперативну дискрецију).
Управо је контекстуална и дискрециона природа принципа пропорционалности оно што изазива забринутост у погледу употребе АОС-а. Наведени принципи, иако се могу посматрати засебно, тесно су повезани – борци праве разлику између непријатељских бораца и цивила, немају намеру да повреде цивиле, али извршавају напад знајући да ће неки цивили бити повређени. Ово значи да уколико АОС није у стању да се усклади са принципом разликовања, то неће бити случај ни код принципа пропорционалности. Другим речима, примена принципа разликовања је предуслов за примену принципа пропорционалности.[53]
У најкраћем, примена ових принципа подразумева способност идентификовања легитимних циљева у оружаном сукобу, као и лица и објеката које треба заштитити од напада (нпр. цивили), а ова операција по својој природи више захтева квалитативну анализу и просуђивање на основу вредности и процене конкретне ситуације, него рад са бројевима и техничким индикаторима.[54] Губитак живота или рањавање цивила, штета на цивилним објектима, очекивана војна предност и сл. представљају категорије које се не могу лако квантификовати, нити се однос између њих може изразити нумерички, већ се у овим случајевима захтева људско расуђивање и вредносне процене које су део обуке оружаних снага и морају да се доносе у тачно одређеном контексту.[55]
Током оружаних сукоба, од суштинског је значаја донети одлуку о томе да ли неко лице директно учествује у сукобу, односно да ли је оно лишено заштите као цивил. Сматра се да ту одлуку не би требало стављати на терет машинама и њеним алгоритмима без значајне људске контроле (примери: дете које узима оружје које је пре тога било положено на ивици пута; лице које улази и излази из директног учешћа у оружаном сукобу). Са друге стране, поставља се питање употребе АОС-а у контексту који не представља оружани сукоб (употреба АОС-а у ситуацијама спровођења закона, нпр. контрола нереда и борба против тероризма, где постоји могућност произвољних убистава којима се крши право на живот, подрива људско достојанство и сл.).
Дакле, постоји велика забринутост за људска права и хуманитарна питања, посебно из разлога што АОС могу бити под утицајем предрасуда својих твораца – људи (раса, религија, род итд.).[56] Human Rights Watch наводи да би потпуно аутономни оружани системи требало да поседују људске квалитете да би били у складу са МХП-ом, те да они једноставно немају способност да се повежу са људима у смислу разумевања њихових намера (људско расуђивање), што све може угрозити цивиле током оружаних сукоба, на основу чега се закључује да развој аутономне технологије треба зауставити пре него што човек „испадне из петље” (out of the loop).[57]
IV РАД ГРУПЕ ВЛАДИНИХ СТРУЧЊАКА (GGE) НА РЕГУЛИСАЊУ АУТОНОМНИХ СИСТЕМА ПОД ОКРИЉЕМ КОНВЕНЦИЈЕ УН О КОНВЕНЦИОНАЛНОМ ОРУЖЈУ (CCW)
Државе су почеле да се активно укључују у разматрање етичких, правних и безбедносних изазова које представља све већа аутономија у системима наоружања, почев од 2013. године пред Саветом за људска права, а потом од 2014. године на састанцима високих страна уговорница Конвенције УН о конвенционалном оружју (CCW).[58] Значај ове конвенције огледа се у томе што она има регулаторни капацитет за превазилажење проблема који могу настати појавом нових врста оружја (што би могао бити случај са АОС-има).
Према слову Конвенције, могуће је да свака висока страна уговорница, после њеног ступања на снагу, у свако доба предложи додатне протоколе који се односе на друге категорије конвенционалног оружја које нису обухваћене постојећим приложеним протоколима (уколико се са одређеним предлогом сагласи најмање 18 уговорница, сазива се конференција држава).[59] Високе стране уговорнице Конвенције су најпре, на састанку одржаном 2013. године, постигле сагласност о поверавању мандата о (С)АОС-има и задужиле председавајућег да сазове неформални састанак стручњака на којем би се расправљало о питањима у вези са технологијама у настајању у тој области.
Од тада је одржано више састанака на ову тему, а на конференцији Fifth CCW Review Conference одржаној 2016. године стране су одлучиле да оснују отворену Групу владиних стручњака (Group of Governmental Experts – GGE),[60] са задатком да се надовеже на рад са претходних састанака и размотри донете извештаје (ГВС се од тада састаје сваке године). ГВС је надлежна за разматрање технологија у области АОС-а, у контексту циљева и сврхе Конвенције о конвенционалном оружју и отворена је за све високе стране уговорнице (укључујући и недржавне стране) ове конвенције, као и међународне организације и НВО.[61] На састанку одржаном 2019. године, имајући у виду потенцијалне изазове које доносе технологије у области АОС-а, без прејудицирања исхода будућих дискусија, ГВС је усвојила Водећа начела (Guiding principles) и том приликом изјавила да наставак њеног рада треба да буде у оквирима међународног права, нарочито Повеље УН и међународног хуманитарног права, узимајући у обзир и етичку перспективу.
На основу текста Начела, којих има укупно једанаест, могу се извући следећи закључци: од кључне је важности да се задржи људска одговорност током развоја, распоређивања и коришћења АОС-а; постоји доследна потреба за пуном применом међународног права, посебно међународног хуманитарног права, на све аспекте развоја и коришћења свих оружаних система (укључујући АОС); потребно је обезбедити физичку и нефизичку сигурност у развоју АОС-а како би се спречила свака злоупотреба; неопходно је обављати континуирану процену ризика током свих фаза развоја и примене (животног циклуса) АОС-а ради смањења нежељених последица; нужно је користити постојећи међународноправни оквир за бављење питањима технологије у настајању у области АОС-а, где се Конвенција УН о конвенционалном оружју наводи као еклатантан пример због тога што она, ако се полази од њених циљева и сврхе, настоји да успостави равнотежу између војне потребе и хуманитарних разматрања.[62]
ГВС у свом Извештају од 2023. године инсистира на разматрању будућег развоја технологија у области АОС и поново потврђује обавезу држава да поштују међународно хуманитарно право током животног циклуса таквих система наоружања (уколико АОС не може бити у складу са међународним правом, не сме се користити), указујући на потребу ограничавања типова циљева, трајања и обима операција АОС, као и значај адекватне обуке оператера (људи). Експлицитно се наводе принципи МХП-а са којима се АОС мора ускладити (принцип разликовања, принцип пропорционалности и принцип предострожности у нападу), као и захтеви члана 36 Допунског протокола I уз Женевске конвенције, на основу којих се подржава размена најбољих пракси између држава.[63]
Посебно значајним сматрамо Извештај са састанка ГВС-а од 2022. године, и то из неколико разлога. Прво, овом приликом је потврђено да право страна у оружаном сукобу о избору метода или средства ратовања није неограничено. Друго, истакнуто је да сваки међународни противправни акт државе, укључујући и онај који потенцијално укључује АОС, повлачи међународну одговорност те државе у складу са међународним правом (државе морају да поштују међународно хуманитарно право, као и лица одговорна за планирање и извођење напада). Треће и можда најважније, делегације су на састанку 2022. године представиле и размотриле низ предлога о могућим мерама у вези са АОС-има: доношење правно обавезујућег инструмента, али под правним оквиром Конвенције УН о конвенционалном оружју; доношење правно необавезујућег инструмента; јасније спровођење постојећих обавеза према међународном праву, посебно МХП-у; забрањивање и регулисање АОС-а на основу МХП-а; опција да даље правне мере нису потребне.[64]
Које од предложених решења би било најцелисходније? Тешко је дати одговор на ово питање, али нам се чини да последњу опцију треба одмах елиминисати, јер сматрамо да ипак треба предузети конкретне правне кораке у смислу међународноправног регулисања АОС-а и избећи сваку пасивност. Уколико би АОС били регулисани правно обавезујућим инструментом (рецимо међународним уговором), то би био прилично јасан и ефикасан механизам и имао би међународноправну снагу, јер би обавезивао државе чланице да поштују одређене стандарде и принципе у вези са развојем, распоређивањем и коришћењем (другим речима, животним циклусом) АОС-а.
Међутим, постизање консензуса међу државама може бити врло изазовно имајући у виду различите интересе, приоритете и уопште ставове држава о АОС-има, па би и процес преговарања и усвајања оваквог инструмента могао бити прилично дуг и сложен. Такође, у међународном праву, правно обавезујући инструменти не гарантују аутоматски поштовање и спровођење обавеза које из њега произлазе (државе морају бити спремне да примене одређени инструмент у свом националном законодавству и пракси).
Ситуација је другачија код доношења правно необавезујућег инструмента: ово би подразумевало да државе усвоје (неформална) правила или смернице (стандарде), односно политичку декларацију, али без икакве правне обавезе њиховог поштовања и примене. Мада флексибилан (процес усвајања је мање сложен) и такав да се може прилагодити природно променљивим околностима на пољу технолошких иновација АОС-а, овај приступ не би пружао исти ниво правне заштите и сигурности као међународни уговор, па би државе могле да игноришу (или да не поштују у потпуности) овакав инструмент, односно да га селективно примењују, у складу са сопственим интересима.
Треба имати у виду да изводљивост различитих решења у вези са регулисањем АОС-а зависи од политичке воље држава чланица и тренутног стања међународних односа. Неопходна је снажна подршка и сарадња држава чланица, а оне, по правилу, имају различите интересе (махом политичке, економске и безбедносне). Отежавајућу околност представљају и све чешће напетости и сукоби, односно геополитичка ривалства, тако да је у овом тренутку генерално отежано успостављање дијалога између држава због недостатка поверења и неповољних политичких околности.
Мислимо да би најреалније решење било оно које би комбиновало елементе правно обавезујућих инструмената са јаснијим спровођењем постојећих обавеза према међународном хуманитарном праву и шире, међународном праву. Правно обавезујући инструмент (међународни уговор, или нпр. нови протокол уз Конвенцију УН о конвенционалном оружју) имао би превентивни карактер,[65] с обзиром на чињеницу да још увек не постоје потпуно аутономни оружани системи, тј. забрањивао би употребу АОС-а pro futuro, с тим што би, и формално и суштински, морао бити постављен на темеље дубоко укорењених принципа МХП-а, о којима је било речи у овом раду.
Уколико би била усвојена нова међународна конвенција о регулисању АОС-а, она би требало да представља својеврсну кодификацију обичајних правила МХП-а и систематизацију постојећих уговорних одредаба (из бројних важећих конвенција) за које се тврди да и сада имају капацитет да буду примењиване на АОС (члан 36 Допунског протокола I уз Женевске конвенције, Де Мартенсова клаузула, Конвенција УН о конвенционалном оружју итд.). На тај начин би се обезбедила већа правна сигурност и контролисано одговорно понашање у вези са употребом АОС-а.
Са друге стране, јасно је да у свету постоји потреба за континуираним развојем војних технологија, па би се у том смислу морала избећи свака ригидност и осигурати флексибилност у приступу новим технологијама, све у циљу развоја и подстицања иновација у области војне безбедности.[66] Дакле, треба инсистирати на балансираном приступу између војних потреба и хуманитарних разматрања, који је пресудан за постизање ефикасне регулативе која би штитила сигурност и добробит људи (цивила) широм света. Све ово захтева сарадњу, ангажовање и подршку релевантних заинтересованих страна, укључујући државе, међународне организације, цивилно друштво и стручњаке из области права, безбедности и технологије.
V ЗАКЉУЧАК
Machines with the power and discretion to take lives without human involvement are politically unacceptable, morally repugnant and should be prohibited by international law (A. Guterres).[67]
Евидентна је хитност предузимања конкретних корака у циљу регулисања АОС-а у наредном периоду и сматрамо да треба што пре успоставити међународноправни оквир, оличен у одговарајућем инструменту који ће недвосмислено и без резерве забранити употребу АОС-а у свим контекстима, посебно имајући у виду све чешће оружане сукобе у свету унутар којих се прибегава коришћењу дронова и других (засад полуаутономних) оружаних система. Уколико се то не учини, ускоро би такви системи могли да одлучују о животу и смрти лица без директног надзора и процене људи.
Другим речима, без адекватне људске контроле и процене ситуације на терену, постојао би ризик од неконтролисаног насиља и прекомерне употребе силе, што би озбиљно нарушило принципе међународног хуманитарног права (дистинкција, пропорционалност, заштита цивила у оружаним сукобима и др.), који спадају у ред норми ius cogens, међународног права људских права, општих правила о међународноправној одговорности и уопште читавог међународноправног поретка. Крајњи резултат би могла бити ескалација нових сукоба и дестабилизација читавих региона, што би имало дугорочне последице по глобалну безбедност и улило још већу несигурност и неповерење унутар међународне заједнице.
Иако је рад Групе владиних стручњака у оквиру Конвенције УН о конвенционалном оружју корак у правом смеру, постоји реална препрека у постизању консензуса међу државама чланицама Конвенције, што ограничава могућност доношења ефикасних решења унутар тог оквира. Зато би требало размотрити алтернативне правне механизме за регулисање АОС-а, укључујући споразуме ван оквира Конвенције или пак, превентивну забрану развоја, производње и употребе АОС-а.[68] Нема сумње да постојећа основна правила међународног хуманитарног права, као што су Де Мартенсова клаузула, одредба члана 36 Допунског протокола I уз Женевске конвенције, принципи дистинкције и пропорционалности, пружају чврсту основу за такве иницијативе.
Тачно је да би доношење одговарајућег правно обавезујућег инструмента представљало суштински напредак у регулисању (забрани) АОС-а, али је врло вероватно да би се државе суочиле са изазовом његове имплементације, јер у међународном праву иначе постоји проблем примене у пракси, што је најчешће последица недостатка спроведбених механизама или недовољне политичке воље држава да поштују преузете обавезе. Стога је важно успоставити јасне механизме надзора и праћења како би се обезбедило поштовање одредби потенцијалног међународног инструмента о регулисању АОС-а, као и механизме санкционисања субјеката међународног права који би кршили одредбе тог инструмента. Такође, сарадња, подршка и ангажовање држава по питању АОС-а, међународних (невладиних) организација, цивилног друштва и стручњака из области права, безбедности и технологије су од суштинског и практичног значаја у овом домену.
Поштовање права на живот, људског достојанства и основних принципа међународног хуманитарног права треба да буде приоритет без обзира на то колико свако ново оружје или технолошки напредак могу бити корисни или ефикасни у војне сврхе. Овде управо долази до изражаја више пута споменута одредба члана 36 Допунског протокола I уз Женевске конвенције која обавезује државе да утврде да ли би коришћење новог оружја било забрањено неким правилом међународног права.
Сходно томе, задатак је сваке државе да прво пажљиво размотри и оцени потенцијалну употребу АОС-а унутар својих граница, а у светлу утицаја АОС-а на људске животе, људска права и безбедност. Тек након појединачне евалуације животног циклуса АОС-а, државе ће имати капацитет да сарађују и покушају доћи до заједничког решења. За то време, нужно је очувати и обезбедити примену основних правила међународног хуманитарног права, јер ови принципи, који су утемељени на заштити људског живота, забрани мучења, поштовању људског достојанства и права на хумани третман током оружаних сукоба, представљају темељ цивилизованог друштва и међународних односа, тако да би њихово подривање путем (зло)употребе аутономних оружаних система представљало озбиљну претњу за човечанство.
Janko Balšić *
INTERNATIONAL LAW REGULATION OF THE AUTONOMOUS WEAPON SYSTEM (AWS)**
Summary
Considering the rapid technological development and the need to adapt international law to new challenges, the author tries to shed light on the key dilemmas and potential development directions for the regulation of the autonomous weapon systems (AWS). In the modern world, AWS are attracting increasing attention due to the moral, legal, humanitarian and other consequences they can cause in the context of global security. These systems can recognise, select and attack targets autonomously, without direct human intervention, and so they represent a technological advancement that brings numerous challenges. In the first part of the paper, the author deals with the concept of AWS, where the focus is placed on autonomy as its crucial element. In the second part of the paper, the author tries to find the place of AWS in the existing international normative framework. In the third part, the author analyses the work of the Group of Governmental Experts (GGE), which has been discussing pressing issues related to new technologies in AWS for years under the framework of the UN Convention on Conventional Weapons (CCW). Finally, the author presents conclusions on this topic, providing insight into possible directions of future activities and emphasising the importance of the fundamental rules of international humanitarian law.
Key words: Autonomous Weapon Systems (AWS), International Humanitarian Law, Martens Clause, Hague Conventions, Geneva Conventions, Article 36 of Additional Protocol I to the Geneva Conventions, UN Convention on Conventional Weapons (CCW), Group of Governmental Experts (GGE), Guiding Principles.
* Мастер правник, Секретар Националног тела за акредитацију и обезбеђење квалитета у високом образовању, janko.balsic@nat.rs
** Рад је освојио другу награду „Др Стефан Андоновић (1991-2021)“ 2024. године, на наградном конкурсу под називом „Правни оквир вештачке интелигенције – потенцијал и ризик у будућности“.
[1] M. Brehm, Defending the Boundary Constraints and Requirements on the Use of Autonomous Weapon Systems Under International Humanitarian and Human Rights Law, The Geneva Academy of International Humanitarian Law and Human Rights, Geneva, 2017, 7.
[2] У литератури се може наићи на називе попут Autonomous Weapon Systems (AWS), Lethal Autonomous Weapon Systems (LAWS), као и Lethal Аutonomous Robotics (LARs). Аутор ће у наставку највише користити скраћеницу (С)АОС (у множини) за (смртоносне) аутономне оружане системе ((Lethal) Аutonomous Weapon Systems).
[3] M. Brehm, op. cit., 7.
[4] B. Rosen Jacobson, Lethal Autonomous Weapons Systems: Mapping the GGE Debate, DiploFoundation Policy Papers and Briefs, 8, 2017, 2.
[5] У даљем тексту: МХП.
[6] Вид. Non-exhaustive compilation of definitions and characterizations, Group of Governmental Experts on Emerging Technologies in the Area of Lethal Autonomous Weapons System Geneva, 6-10 March, and 15-19 May 2023, CCW/GGE.1/2023/CRP.1.
[7] T. C. Bächle, J. Bareis, “Autonomous weapons” as a geopolitical signifier in a national power play: analysing AI imaginaries in Chinese and US military policies, European Journal of Futures Research, 10 (1), 2022, 3.
[8] Report of the Special Rapporteur on extrajudicial, summary or arbitrary executions, Christof Heyns. A/HRC/23/47, New York: United Nations, 2013, 7.
[9] B. Docherty, Losing Humanity: The Case against Killer Robots, Human Rights Watch (November 2012), http://www.hrw.org/reports/2012/11/19/losing-humanity-0, датум посете: 22. 2. 2024.
[10] „In delegating the decision to kill to a machine, autonomous weapons systems cross ethical and moral lines. Machines programmed to make decisions according to the computations of algorithms lack moral agency to take decisions concerning human life and death.”, Y. Kumaraguru, A pre-emptive ban on lethal autonomous weapon systems, у: The Impact of Artificial Intelligence on Strategic Stability and Nuclear Risk: Volume III South Asian Perspectives (ур. P. Opychkanov), Stockholm International Peace Research Institute, Stockholm 2020, 55.
[11] European Parliament resolution of 12 September 2018 on autonomous weapon systems (2018/2752(RSP)), https://www.europarl.europa.eu/doceo/document/TA-8-2018-0341_EN.html, датум посете: 2. 3. 2024.
[12] А. Филиповић, Lethal Autonomous Weapon Systems (LAWS) - towards global regulation or indiscriminate employment?, Политичка ревија, 31(1), 2023, 215.
[13] Ibid.
[14] H. M. Huang, Autonomy Levels for Unmanned Systems (ALFUS) Framework Volume I: Terminology Version 2.0, National Institute of Standards and Technology, Gaithersburg, USA, 2008, 15.
[15] E. Taha, A. V. Savkin, Towards Fully Autonomous UAVs: A Survey, Sensors, 21(18), 2021, 3-4.
[16] Ibid. Вид. и: H. M. Huang, op. cit., 22-23.
[17] Report of the International Committee of the Red Cross (ICRC), Autonomous weapon systems: Technical, military, legal and humanitarian aspects, Expert meeting, Geneva, Switzerland, 26-28 March 2014, 62, https://www.icrc.org/en/document/report-icrc-meeting-autonomous-weapon-systems-26-28-march-2014), датум посете: 23. 2. 2024.
[18] „Despite being subject to numerous groundbreaking technological developments, LAWS still lack the distinctly human qualities of empathy, reason, intellect and compassion that are necessary to exercise moral and prudential judgement on the battlefield. Weapons that select and engage targets without meaningful human involvement also undermine human dignity. Machines are unable to appreciate the value of human life and therefore cannot feel the gravity of its loss. They also lack the innate reluctance and internal struggle that humans are forced to confront in deciding to harm or kill another human being.” Y. Kumaraguru, оp. cit., 55-56.
[19] А. Филиповић, op. cit., 215.
[20] V. Sehrawat, Legal Status of Drones Under LOAC and International Law, Penn State Journal of Law & International Affairs, 5 (1), 2017, 171-172.
[21] Ibid.
[22] А. Филиповић, op. cit., 216.
[23] ORUŽJE online, Lutajuća municija Lancet: Najkorisniji ruski dron dobio kontrolu sa veštačkom inteligencijom, https://oruzjeonline.com/2023/10/22/lutajuca-municija-lancet-najkorisniji-ruski-dron-dobio-kontrolu-sa-vestackom-inteligencijom/, датум посете: 2. 3. 2024.
[24] Ibid.
[25] Amnesty International, Human Rights Watch, Humanity & Inclusion само су неке од невладиних организација које су део ове кампање (вид. Our Member Organisations, https://www.stopkillerrobots.org/a-global-push/member-organisations/, датум посете: 2. 3. 2024).
[26] C. Connolly, Loitering munitions with autonomous capabilities used in Ukraine, https://www.stopkillerrobots.org/news/loitering-munitions-with-autonomous-capabilities-used-in-ukraine/, датум посете: 2. 3. 2024. „A number of use incidents were reported, resulting in numerous civilian casualties; at least one drone hit a civilian residential building. The New York Times reports that 28 of the drones were seen in Kyiv, including one which appeared to carry out a ‘double-tap’ attack, a tactic that aims to kill emergency workers or firefighters responding to the first strike.” Ibid.
[27] Вид. V. Boulanin, N. Davison, N. Goussac, M. Peldán Carlsson, Limits on Autonomy in Weapon Systems, Stockholm International Peace Research Institute, Stockholm, 2020, 4. M. N. Schmitt, Unmanned Combat Aircraft Systems and International Humanitarian Law: Simplifying the Oft Benighted Debate, Boston University International Law Journal, 30, 2012, 601.
[28] Допунски протокол I уз Женевске конвенције регулише поједине аспекте АОС-а, нарочито у члану 36: „Приликом проучавања, усавршавања, набављања или прихватања новог оружја, средстава или метода ратовања, висока страна уговорница је у обавези да утврди да ли би његово коришћење, у неким или свим околностима, било забрањено овим протоколом или било којим другим правилом међународног права које се примењује на високу страну уговорницу”, Protocol Additional to the Geneva Conventions of 12 August 1949, and Relating to the Protection of Victims of International Armed Conflicts (Protocol I), of 8 June 1977, https://ihl-databases.icrc.org/en/ihl-treaties/api-1977, датум посете: 19. 3. 2024.
[29] Convention on Prohibitions or Restrictions on the Use of Certain Conventional Weapons Which May be Deemed to be Excessively Injurious or to Have Indiscriminate Effects (CCW), Geneva, 10 October 1980, https://ihl-databases.icrc.org/en/ihl-treaties/ccw-1980?activeTab =default, датум посете: 20. 3. 2024.
[30] International Law Commission, Report on the work of the seventy-third session (2022), Chapter IV. Peremptory norms of general international law (jus cogens), https://legal.un.org/ilc/reports/2022/, датум посете: 11. 3. 2024. Ово још раније потврђује и Међународни суд правде. Вид. International Court of Justice (ICJ), Legality of the Threat or Use of Nuclear Weapons, Advisory Opinion of July 8 1996, ICJ Reports, 1996, 226, par. 83.
[31] Хронолошки приказ релевантних конвенција из ове области вид. код: Б. Милисављевић, Међународно хуманитарно право, Универзитет у Београду – Правни факултет, Београд, 2024, 22-24.
[32] P. Malanczuk, Akehurst’s Modern Introduction to International Law. 7. ed, New York: Routledge, 1997, 345.
[33] Convention (II) with Respect to the Laws and Customs of War on Land and its annex: Regulations concerning the Laws and Customs of War on Land. The Hague, 29 July 1899, https://ihl-databases.icrc.org/en/ihl-treaties/hague-conv-ii-1899/preamble?activeTab=undefined, датум посете: 11. 3. 2024.
[34] Protocol I, https://ihl-databases.icrc.org/en/ihl-treaties/api-1977, датум посете: 19. 3. 2024.
[35] R. Ticehurst, The Martens Clause and the Laws of Armed Conflict, International Review of the Red Cross, 37 (317), 1997, 126-128.
[36] Ibid., 128.
[37] Ibid., 129.
[38] Ibid., 130., фн. 19.
[39] E. Chavannes, K. Klonowska, T. Sweijs, Governing autonomous weapon systems: Expanding the solution space, from scoping to applying, Hague Centre for Strategic Studies, 2020, 13.
[40] Ово је, пре свега, изричито наведено у члану 35 Допунског протокола I уз Женевске конвенције: „In any armed conflict, the right of the Parties to the conflict to choose methods or means of warfare is not unlimited”, Protocol I, https://ihl-databases.icrc.org/en/ihl-treaties/api-1977, датум посете: 19. 3. 2024.
[41] M. N. Shaw, International Law, Ninth Edition, Cambridge University Press, Cambridge, 2021, 1050-1051.
[42] Ethics and autonomous weapon systems: An ethical basis for human control?, https://www.icrc.org/en/document/ethics-and-autonomous-weapon-systems-ethical-basis-human-control, датум посете: 19. 3. 2024.
[43] ICJ, Legality of the Threat or Use of Nuclear Weapons, оp. cit., 78-87.
[44] Ibid., par. 79.
[45] Ibid., par. 86.
[46] J. Foy, Autonomous Weapons Systems: Taking the Human out of International Humanitarian Law, Dalhousie Journal of Legal Studies, 23, 2014, 53.
[47] Ibid. 54.
[48] Protocol I, https://ihl-databases.icrc.org/en/ihl-treaties/api-1977, op. cit., датум посете: 19. 3. 2024.
[49] J. Foy, op. cit., 54.
[50] ICJ, Legality of the Threat or Use of Nuclear Weapons, op. cit., par. 78.
[51] J. Foy, op. cit., 55.
[52] Protocol I, https://ihl-databases.icrc.org/en/ihl-treaties/api-1977, op. cit., датум посете: 19. 3. 2024.
[53] J. Foy, op. cit., 56.
[54] V. Boulanin et al., op. cit., 5.
[55] Ibid.
[56] Y. Kumaraguru, op. cit., 56.
[57] B. Docherty, http://www.hrw.org/reports/2012/11/19/losing-humanity-0, op. cit., датум посете: 22. 2. 2024.
[58] Peace and Security Laws for LAWS, Towards a treaty to regulate lethal autonomous weapons, Elizabeth Minor February 2023, https://ny.fes.de/article/laws-for-laws, датум посете: 20. 3. 2024.
[59] CCW, https://ihl-databases.icrc.org/en/ihl-treaties/ccw-1980?activeTab=default, датум посете: 20. 3. 2024.
[60] У даљем тексту: ГВС.
[61] GGE on lethal autonomous weapons systems, https://dig.watch/processes/gge-laws, датум посете: 20. 3. 2024.
[62] Report of the 2019 session of the Group of Governmental Experts on Emerging Technologies in the Area of Lethal Autonomous Weapons Systems, Annex IV Guiding Principles, CCW/GGE.1/2019/3, 13.
[63] Report of the 2023 session of the Group of Governmental Experts on Emerging Technologies in the Area of Lethal Autonomous Weapons Systems, Geneva, 6-10 March, and 15-19 May 2023, CCW/GGE.1/2023/2, 4. Кампања Stop Killer Robots упутила је одређене критике на рад стручњака у вези са споменутим извештајем, најпре изразивши став да je у раду изостао „суштински напредак” и да Извештај не пружа адекватне смернице за регулисање АОС-а, те позвавши на хитну акцију у смислу преговора о новом правно обавезујућем инструменту, закључивши следеће: „Док се употреба оружаних система са аутономном функционалношћу тренутно примењује у савременим сукобима, CCW форум континуирано не успева да повери мандат за преговоре о новом правно обавезујућем инструменту – што је свету хитно потребно да би зауставио роботе-убице.”, Convention on Conventional Weapons runs out of road as states adopt meaningless report, https://www.stopkillerrobots.org/news/states-adopt-meaningless-report-after-civil-society-excluded-from-un-discussions-on-autonomous-weapons-systems/, датум посете: 11. 3. 2024.
[64] Report of the 2022 session of the Group of Governmental Experts on Emerging Technologies in the Area of Lethal Autonomous Weapons Systems, Geneva, 7-11 March, and 25-29 July 2022, CCW/GGE.1/2022/2, 3.
[65] „Нуклеарно, хемијско и биолошко оружје било је у потпуности оперативно када су регулаторни режими успостављени правно обавезујућим инструментима. Насупрот томе, САОС и друге технологије у настајању су у брзом развоју и наставиће да се развијају, паралелно са расправом о потреби доношења посебних међународноправних прописима. Дакле, бесмислено је чекати даљи развој САОС-а да би се почело преговарати о правном оквиру.” Operationalizing the Guiding Principles: a roadmap for the GGE on LAWS Submitted by Brazil, Group of Governmental Experts on Emerging Technologies in the Area of Lethal Autonomous Weapons Systems Geneva, 21-25 September and 2-6 November 2020, CCW/GGE.1/2020/WP.3, 3.
[66] Уосталом, ово је потврдила ГВС: „Не укључити се у управљање технологијама у настајању како би се избегла ограничења способности стратешке предности је контрапродуктивно и погрешно схватање. Ius in bello, у духу Женевских конвенција, не омета стратешку конкуренцију и технолошки развој. Његова сврха је да га уоквири на начин компатибилан са војним потребама, истовремено штитећи цивиле и борце у складу са хуманитарним принципима које је међународна заједница одавно усвојила. Унапређење МХП-а у погледу САОС-а је у интересу колективне безбедности.”, Operationalizing the Guiding Principles: a roadmap for the GGE on LAWS Submitted by Brazil, 4. Експерти су о овој теми дискутовали и раније: „Признајући двоструку природу технологија у области интелигентних аутономних система који настављају да се брзо развијају, напори Групе у контексту њеног мандата не би требало да ометају напредак или приступ цивилном истраживању и развоју и употреби ових технологија.” Report of the 2017 Group of Governmental Experts on Lethal Autonomous Weapons Systems (LAWS), Geneva, 13–17 November 2017, CCW/GGE.1/2017/3, 4.
[67] Machines Capable of Taking Lives without Human Involvement Are Unacceptable, Secretary-General Tells Experts on Autonomous Weapons Systems, https://press.un.org/en/ 2019/sgsm19512.doc.htm, датум посете: 31. 3. 2024.
[68] Y. Kumaraguru, op. cit., 57-58.
* Secretary-General at the National Entity for Accreditation and Quality Assurance in Higher Education (NEAQA).
** The paper won the second prize "Dr. Stefan Andonović (1991-2021)" in 2024, in the competition titled "The Legal Framework of Artificial Intelligence – Potential and Risk in the Future."