Har dronene våknet – eller slumrer de enda?

Lenge har det vært forventninger til fremveksten av autonome droner[1] og systemer som støtter slike. Selv om det har vært hurtig teknologisk utvikling og mange fremskritt, ser man enda ikke operasjoner av droner som er fullt ut autonome. I alle fall ikke om vi skal legge til grunn at «autonome» droner er noe som opererer basert på sin forståelse for den overordnede intensjon med oppdraget, og som forstår kontekst snarere enn å basere seg på forhåndsprogrammerte algoritmer. Om vi skal forstå «autonomi» på dette viset, så nærmer vi oss det som har vært ambisjonene med KI. Med kombinasjonen av KI og autonomi kan autonome droneoperasjoner etter hvert bli mulig.

Fremveksten av droner

Fremveksten av droner på 2010 tallet gjorde droner til «allemannseie».  Dette var i stor grad knyttet til ny batteriteknologi med høyere energimengde pr vektenhet. Dette gjorde det mulig å fly multikopter lengre enn før, samtidig som man ved hjelp av software og billig miniatyriserte hardware løsninger fikk hjelp til å kontrollere dronene. Uten øving kunne nær sagt hvem som helst fly en multikopter drone. Siden også kamerateknologien og miniatyrisering av denne utviklet seg svært hurtig, ble kameraer som nyttelast veldig populært. Droner med vinger ble ikke utbredt i privatmarkedet. Profesjonelle brukere tok dem likevel i bruk fordi de hadde kapasitet til å fly i lengre tid. Nå går utviklingen i retning hybride droner med både vinger og rotorer, og som dermed kan ta av og lande vertikalt, samtidig som de har ganske lang rekkevidde.

En så mange muligheter for å anvende droner. For eksempel nevner en rapport fra Teknologirådet i 2014[2] klimaovervåkning, oljevernberedskap og søk- og redningstjeneste som mulige anvendelsesområder for myndighetene. Rapporten pekte også på at det var muligheter for å ta en posisjon i et fremvoksende marked og at nasjonal beredskapsevne kunne styrkes.

Mulighetene for å lage mer eller mindre autonome systemer ble i tillegg diskutert. I boken «Når dronene våkner»[3], som tittelen i denne artikkelen spiller på, argumenterer forfatterne med at slik teknologi vil komme i operativ bruk snart, gitt at det blir et sikkerhetspolitisk behov for det. Som en følge av det fremholdt forfatterne allerede i 2014 at det derfor måtte skapes en bevissthet om dette.

Situasjonen i dag

Selv om det med stor entusiasme ble snakket om og diskutert hvilke muligheter dronene ga, har vi enda ikke sett eksempler på større avanserte autonome systemer som operer droner. Nedenfor vil vi nevne noen av de faktorene vi mener har begrenset utviklingen.

Selv om droner var en ny teknologi som kom fort, ble det ganske raskt etablert nødvendige reguleringer. En typisk arbeidsdrone som vi bruker ved NTNU til å samle havdata veier om lag 5 – 20 kg og har en typisk hastighet på 80 km/t. Hvis en slik drone treffer noe eller noen kan det potensielt oppstå store skader. Også multikopter droner kan veie mye og ha stort skadepotensiale. Det er åpenbart at det må stilles krav om riktig kompetanse til de som skal fly slike droner, dronenes flyvedyktighet, og bestemmelser for hvor og når de kan opereres. De reguleringene som er innført har begrenset bruken.

To anvendelsesområder som er mye diskutert, er å frakte varer eller personer med droner for å unngå problemer med fremkommelighet. Siden fremkommelighetsproblemer først og fremst er en utfordring i områder der det bor mye mennesker, er det en mulig skaderisiko med slike operasjoner, selv om du har kompetente operatører. Svikter utstyret vil det kunne oppstå skader. Det har medført en diskusjon om hvordan en skal sikre tilstrekkelig kvalifisering av kvaliteten på deler i droner, som i flyindustrien. Slike sertifiseringsordninger er svært dyre, og dermed faller fordelen droner har hatt med lave kostnader bort.

I tillegg viser erfaringene at det å operere droner kan være nokså arbeidsintensivt. Gitt dronenes begrensede operasjonstid/-område kreves det tid til å flytte systemet ut til operasjonsområdet. Dertil kommer behovet for operatører til å sette opp til avgang, fly eller overvåke flygningen og å ta systemet ned etter endt bruk. I tillegg kommer arbeidet med tillatelser, vedlikehold og dokumentasjon. Alt dette medvirker også til å drive ressursbruken opp.

Likevel finnes det områder hvor droner har tatt en rolle og fortsetter å utvikle seg. Fra kommersiell sektor ser vi for eksempel bruk av droner til å ta bilder eller video fra gode vinkler. Dette er brukes i forskjellige bransjer som eiendomsmegling, produksjon av tv-bilder fra sportsarrangement og film og drama. Andre anvendelsesområder er kontroll av utslipp fra skip og fiskeri-inspeksjon. Innenfor forskningen i Norge har vi etablert en egen nasjonal dronebasert forskningsinfrastruktur for å samle vitenskapelige data fra kysten, kalt SeeBee.  Droneoperasjonene har blitt brukt til å telle sel, kartlegge sjøgress og kartlegging av hekkende fugl langs kysten.

Felles for disse anvendelsene synes likevel å være at det er et betydelig innslag av menneskelig aktivitet. Det er altså ikke snakk om systemer som kan sies å være fullt ut autonome.

Militært sett foreslo forsvarssjefen allerede i 2015 å la droner i kombinasjon med satellitter og mindre fly erstatte jobben som Orion-flyene hadde, som et alternativ til å anskaffe nye P-8 Poseidon overvåkingsfly. Det forslaget ble ikke gjennomført.

I Luftled april 2016 skrev Gjert Lage Dyndal om autonom teknologi:

«I hvilken grad det blir en viktig militærteknologi avhenger allikevel om hva som blir behovet. Behovet skapes av den fremtidige sikkerhetspolitiske situasjonen og spenningsforhold mellom store stater. Vi ser ikke for oss at dette blir utviklet til militærteknologi i stort omfang for asymmetrisk krigføring, men om eksistensielle kriger mellom større stater igjen blir en realitet. Da vil vesentlige større budsjetter legges til grunn, og teknologien er da tilgjengelig og potent.»

Dette kan vi si har slått til, med de to største land i Europa i krig. Russlands full-skala invasjon av Ukraina i februar 2022 har medført en brutal krig. Det er en krig hvor tradisjonelle styrker som infanteri, artilleri og stridsvogner er viktige. Samtidig ser vi også en ny og dramatisk utvikling av dronekrig integrert med de klassiske landstyrkene. Det benyttes enorme antall droner på begge sider. Droner for rekognosering og ildledelse, og enveis-droner med sprengladninger. Slike enveisdroner nyttes i forskjellige størrelser. Større droner med faste vinger nyttes som missiler for både å ramme mål, men også for å narre luftvern til å beskyte dem. På den måten øker sjansen for at missiler med større sprengladninger kan bryte gjennom.

Ettersom dronene er blitt så viktige for rekognosering, ildledning og som våpen – så vokser det og raskt frem teknologier for mot-tiltak: Eksempler er teknologier for å oppdage dronene, hovedsakelig med klassisk radarteknologi, visuell observasjon og elektrooptiske kamera, men også akustiske varslingssystemer og systemer for å blokkere dronens tilgang til radiosignaler for kommunikasjon og navigasjon. Samtidig så kommer det nødvendigvis mer robuste teknologier for å sikre kommunikasjon med dronene og det blir sannsynligvis i økende grad brukt forhåndsprogrammerte droner.

Hvor går vi nå

Selv om den teknologiske utviklingen går hurtigere og hurtigere, er det fortsatt noen fundamentale utfordringer som nok må løses før vi kan snakke om fullstendige autonome systemer. Det gjelder autonome systemer i alle domener, enten de opererer i lufta, i verdensrommet, på sjøen, under bakken eller under vann. Vi vil derfor i det følgende se på hvordan vi ved NTNU bruker ulike teknologier med ulik grad av autonomi i ulike domener.

Basert på det arbeidet som ble gjort i perioden 2014-2024 ved NTNU SFF AMOS (senter for fremdragende forskning på Autonome Marine Operasjoner og Systemer) utviklet vi konseptet «observasjonspyramiden». Med det mener vi et system av systemer som arbeider sammen i ulike domener for å observere fenomener eller aktivitet. Data deles mellom de ulike plattformene i et kommando og kontroll perspektiv, og data sammenstilles for å få bedre forståelse for de fenomenene eller aktivitetene vi ønsker å observere.

Ideen er å utvikle et skalerbart verktøy som tilpasser seg oppgaver som endrer seg i tid og rom, og som har komplekse sammenhenger. I en ideell versjon opererer alle plattformer autonomt, deler data både horisontalt og vertikalt i pyramiden i nær sanntid, samtidig som dataprodukter leveres i nær sanntid til de som skal bruke informasjonen.

I observasjonspyramiden bruker vi mange forskjellige sensorbærende plattformer. Hvilke plattformer endrer seg over tid, med tilgjengelig teknologi og oppgave. I romdomenet bruker vi både NTNUs egen satellitt HYPSO-1 med sitt hyperspektrale kamera og bilder fra f.eks. ESA (European Space Agency) sine satellitter. Vi benytter både multirotor droner og droner med vinger i lufta. Som overflateplattformer har vi både Autonaut og plattformer levert av Maritime Robotics, for eksempel modellen Otter. Autonaut er en autonom eller forhåndsprogrammert plattform som har fremdrift fra bølgekraft og strøm til instrumentene om bord fra solceller. Siden den også kan rette seg selv opp igjen etter en kullseiling, gjør det at den kan operere i ukesvis uten nødvendig intervensjon også i svært krevende værforhold. Under vann bruker vi også forskjellige plattformer, alt etter hva oppgaven er. Det kan være den store Hugin fartøyet utviklet av Kongsberg-gruppen, slangeroboten Eelume utviklet ved NTNU eller mindre undervannsfartøy som BlueEye.

Kommunikasjon over lange avstander er alltid en begrensning, og behovet kan reduseres med mer intelligens og autonomi i robotene. Selv om vi mener vi har «proof of concept» gjennom å ha demonstrert det i flere tokt i felt, er det flere utfordringer beskrevet nedenfor som må løses før vi kan si at vi har en fullt ut autonom observasjonspyramide.

Energibegrensninger

Energi er en begrensende faktor i alle domener. Selv om vi kan få påfyll av energi fra solceller i en satellitt eller til framdrift fra bølger i Autonaut, er det begrenset hvor mye energi som er tilgjengelig til enhver tid. For en undervannsrobot kreves undervanns dokkingstasjoner, den må bære med seg all den energien den skal bruke. Energien skal også fordeles mellom fremdrift/bevegelse, instrumenter til observasjon, hjelpesystemer, prosessering av data og kommunikasjon. Det gir for eksempel sterke begrensninger på bruk av aktive sensorer som radar, som er energikrevende.

Situasjons- og risikoforståelse

En autonom enhet som skal orientere seg og løse en oppgave må ha en form for situasjonsforståelse, herunder også oppfatte og reagere på ulike risikofaktorer. Siden situasjonen vil endre seg hele tiden, er det nødvendig at enheten også er i stand til å oppdatere situasjonsforståelsen i nær sanntid. Situasjons- og risikoforståelsen må da basere seg på en evne til å oppfatte omgivelsene, først og fremst ved hjelp av sensorer om bord og evne til å prosessere disse dataene i nær sanntid, samt gjennom prediksjoner av vind, strøm, bølger, skydekke, trafikk, og andre relevant parametere. Det er åpenbart at jo mer komplekst miljø enheten operer i, desto mer krevende er det å ha tilstrekkelig situasjons- og risikoforståelse. Utviklingen av bedre teknologier for prosessering om bord hjelper, men samtidig øker det behovet for energi.

Navigasjon

En autonom enhet er avhengig av å kunne navigere tilstrekkelig godt til å løse oppgaven. Det er enklere på overflaten eller i lufta, enn under vann hvor radiobølger ikke kan brukes. Men også i lufta vil for eksempel GPS-signaler kunne forstyrres. Da vil en være avhengig av andre former for å bestemme posisjonen til enhver tid. Mulige måter å bestemme posisjonen på kan være treghetsnavigasjon, deteksjon av landskap/egenskaper ved landskap, lyssignaler, lydsignaler med flere. Over tid vil usikkerheten om posisjonen i øyeblikket øke fra siste sikre posisjonsbestemmelse. Dermed øker også risikoen for havari.

Dette leder oss til en sentral problemstilling med autonome enheter som skal løse oppgaver. Basert på oppgaven enheten har fått, tilgjengelig energi, tilgjengelig tid og situasjonsforståelsen: Hvordan bedømmer algoritmen risiko riktig? Hva er eventuelle akseptable tap og skader i forhold til oppgaven som skal løses? Hvordan oppgaven skal løses optimalt innenfor de rammene er kjernen i oppgaven for en autonom enhet. Til det trenger vi en algoritme eller en kunstig intelligens om du vil. En fundamental utfordring med kunstig intelligens basert på maskinlæring er dens evne til å gi analyser og beslutninger som har den nødvendige troverdighet og etterprøvbarhet til å kunne benyttes i sikkerhets-kritiske anvendelser. Tillit synes å være et sentralt begrep i disse vurderingene. Vi må kunne stole på de systemene vi skal bruke.

Robotiserte organisasjoner

Den samlede teknologiske utviklingen på tvers av sektorer går som nevnt svært hurtig, og utviklingstakten synes fortsatt å være akselererende.

Vi ser nå tegn på at vi også for roboter/droner beveger oss bort fra å ha oppmerksomhet på det enkelte fartøy, og over på hvordan ulike roboter kan løse deler av oppgavene eller samarbeid om å løse dem. Selv om vi må løse de utfordringene som vi nevnte ovenfor for den enkelte enhet, er dette en sannsynlig utvikling i de årene som kommer.

Det amerikanske forsvarets eksperimentelle organisasjon, DARPA (Defense Advanced Research Projects Agency) lyste i 2017 ut en konkurranse for å finne innovative teknologier til å støtte operasjoner i miljø under bakken. Konkurransen fikk navnet Subterranean (SubT) Challenge. Hensikten utforsket nye tilnærminger for raskt å kartlegge, navigere, søke og utnytte komplekse underjordiske miljøer som menneskeskapte tunnelsystemer, urbane underjordiske og naturlige grottenettverk.

Et internasjonalt lag ledet av professor Konstantinos Alexis fra NTNU vant i 2021 konkurransen. Laget benyttet seg av en fullt ut autonom robotorganisasjon. Organisasjonen bestod av en robothund og en flygende drone som samarbeidet om kartleggingen av det underjordiske systemet og de objektene som skulle finnes. Selv om det er den minste mulige organisasjonen, viser resultatet at det er mulig å få roboter til å samarbeide om løsninger.

Denne lille organisasjonen som ble brukt, kjennetegnes også av at det ulike roboter som ble brukt i 2 forskjellige domener. Altså en gående robothund og en flyvende drone. Samtidig vet vi at det foregår mye arbeid og utvikling med såkalt svermteknologi, altså mange like roboter som samvirker i det samme domenet. Blant annet har FFI hatt prosjekter på dette.

Det er åpenbart at dette er en ytterligere forsterkning av allerede potente teknologier. En robotisert organisasjon som på egenhånd kan omorganisere seg for å tilpasse seg endringer i omgivelsene eller ved oppgaven, vil kunne være et veldig kraftfullt verktøy. Blant annet fordi en slik organisasjon vil kunne ta i en av menneskeartens viktigste styrker, evnen til å samordne og tilpasse ressursinnsatsen til oppgaveløsningen.

Det er likevel mer sannsynlig at vi først får roboter som en del av en organisasjon, altså at menneske og maskin samarbeider om å løse oppgaver. Fremgangen innenfor KI og språkmodeller vil med stor sannsynlighet bidra til at grensesnittet og kommunikasjonen mellom menneske og maskin blir bedre. Det vil være enklere for oss å styre presist hvis roboter kan forstå hva vi sier og det vil bli enklere for oss hvis maskinene kan uttrykke i menneskelig språk den informasjonen de har.

I denne artikkelen skriver vi hovedsakelig om de tekniske og teknologiske sidene ved autonomi og KI. Ved NTNU vil vi fortsette å utvikle observasjonspyramiden som verktøy for forskning Teknologiene vi har flerbruks-potensiale (eng. dual-use). Det utløser behovet for å forstå de samfunnsmessige konsekvensene og avklare flere etiske og reguleringsmessige spørsmål som må løses før vi man kan fullt ut ta i bruk disse teknologiene.  Det faktum at droneteknologien er muliggjørende på tvers av mange sektorer og berører forskjellige deler av samfunnet kan gjøre dette krevende.

Figur: NTNU AMOS/Stenberg