wallabag:darpa-will-ki-gegen-tuschungsversuche-immun-machen

DARPA will KI gegen Täuschungsversuche immun machen

<html> <a href=„https://www.heise.de/newsticker/meldung/DARPA-will-KI-gegen-Taeuschungsversuche-immun-machen-4701409.html“>zurück zum Artikel</a><figure class=„printversionlogo“><img src=„https://1.f.ix.de/icons/svg/logos/svg/heiseonline.svg“ alt=„heise online“ width=„180“ heigth=„40“/></figure><figure class=„aufmacherbild“><img src=„https://heise.cloudimg.io/width/700/q75.png-lossy-75.webp-lossy-75.foil1/_www-heise-de_/imgs/18/2/8/7/7/8/1/1/shutterstock_1040657359-3f927d4a90aa1a67.jpeg“ srcset=„https://heise.cloudimg.io/width/700/q75.png-lossy-75.webp-lossy-75.foil1/_www-heise-de_/imgs/18/2/8/7/7/8/1/1/shutterstock_1040657359-3f927d4a90aa1a67.jpeg 700w, https://heise.cloudimg.io/width/1050/q75.png-lossy-75.webp-lossy-75.foil1/_www-heise-de_/imgs/18/2/8/7/7/8/1/1/shutterstock_1040657359-3f927d4a90aa1a67.jpeg 1050w, https://heise.cloudimg.io/width/1500/q75.png-lossy-75.webp-lossy-75.foil1/_www-heise-de_/imgs/18/2/8/7/7/8/1/1/shutterstock_1040657359-3f927d4a90aa1a67.jpeg 1500w, https://heise.cloudimg.io/width/2300/q75.png-lossy-75.webp-lossy-75.foil1/_www-heise-de_/imgs/18/2/8/7/7/8/1/1/shutterstock_1040657359-3f927d4a90aa1a67.jpeg 2300w“ sizes=„(min-width: 80em) 43.75em, (min-width: 64em) 66.66vw, 100vw“ alt=„DARPA will KI gegen Täuschungsversuche immun machen“ class=„img-responsive“/><figcaption class=„akwa-caption“>(Bild: sdecoret/Shutterstock.com) </figcaption></figure>Der Pentagon-Forschungsarm DARPA hat ein Forschungsprogramm gestartet, um KI-Systeme vor hinterlistigen Angriffen zu schützen. Die Defense Advanced Research Projects Agency (DARPA) will Angriffe auf automatisierte Erkennungssysteme bekämpfen, mit denen sich diese vergleichsweise einfach übertölpeln lassen. Dazu hat sie sich mit einigen Technologie-Schwergewichten der USA zusammengetan. Mit dem millionenschweren Programm „Guaranteeing AI Robustness against Deception“ (GARD) will der Forschungsarm des Pentagons einen Schutzschirm über der Technik aufspannen. Die Initiative werden Intel und die Uni Georgia Tech leiten, wie der Konzern und die Technische Hochschule am Donnerstag bekanntgaben. <h3 class=„subheading“ id=„nav_technik_lässt0“>Technik lässt sich leicht täuschen</h3> <div class=„a-boxtarget a-boxcontent a-inline-textboxcontent a-inline-textboxcontent–horizontal-layout“ data-collapse-target=„“> <figure class=„a-inline-textboximage-container“><img alt=„“ src=„https://heise.cloudimg.io/width/1600/q50.png-lossy-50.webp-lossy-50.foil1/_www-heise-de_/imgs/71/2/8/1/2/5/7/6/daily_grafik-b53d51b363224691.png“ srcset=„https://heise.cloudimg.io/width/3200/q30.png-lossy-30.webp-lossy-30.foil1/_www-heise-de_/imgs/71/2/8/1/2/5/7/6/daily_grafik-b53d51b363224691.png 2x“ class=„c1“/></figure><div class=„a-inline-textboxcontent-container“> Keine News verpassen! Mit unserem täglichen Newsletter erhalten Sie jeden Morgen alle Nachrichten von heise online der vergangenen 24 Stunden. <ul class=„a-inline-textboxlist“><li class=„a-inline-textboxitem“><a class=„a-inline-textboxtext“ href=„https://www.heise.de/newsletter/manage/ho?wt_mc=nl.red.ho.daily.meldung.link.link“ title=„Newsletter jetzt abonnieren“>Newsletter jetzt abonnieren [1]</a></li> </ul></div> </div> Modelle für Künstliche Intelligenz (KI) und Maschinenlernen ziehen verstärkt in mehr oder weniger autonome Systeme ein. Sie bilden die Grundlage etwa für biometrische Instrumente zur Gesichts- oder Spracherkennung, selbstfahrende Autos und Abwehrprogramme für Waffen. Die Technik lässt sich aber recht einfach täuschen: Viel zitiert wird ein Beispiel, in dem ein Autopilot in einem Fahrzeug in einem Stopp-Schild eine Geschwindigkeitsfreigabe für 45 Meilen pro Stunde erkannte, nachdem auf das Zeichen zwei schwarze und zwei weiße Striche gesprüht worden waren. Über solche Manipulationen <a href=„https://www.heise.de/select/tr/2019/10/1922815561768592809“ rel=„external noopener“ target=„_blank“>lassen sich sogenannte „Adversarial Attacks“ ausführen [2]</a>. Die Angreifer spiegeln den Erkennungssystemen dabei quasi optische Täuschungen vor: Minimale Änderungen, die das menschliche Auge gar nicht ernsthaft wahrnimmt, erzeugen für eine KI eine völlig neue Bedeutung. Aus einem Vogel in einem Bild wird so etwa anhand ein paar eingefügter Pixel ein Fahrrad, aus einem Mensch mit einem Papageienfoto auf seinem T-Shirt ein Flügeltier. <figure class=„a-inline-image a-u-inline“><div><img alt=„Fehlerhafte Bilderkennung“ class=„c1“ src=„https://heise.cloudimg.io/width/728/q50.png-lossy-50.webp-lossy-50.foil1/_www-heise-de_/imgs/18/2/8/7/7/8/1/1/DARPA-GARD-1dfd61b6ebef276b.jpeg“ srcset=„https://heise.cloudimg.io/width/1456/q30.png-lossy-30.webp-lossy-30.foil1/_www-heise-de_/imgs/18/2/8/7/7/8/1/1/DARPA-GARD-1dfd61b6ebef276b.jpeg 2x“/></div> <figcaption class=„a-caption“>Intel Labs demonstriert, wie sich KI-Bilderkennung von einem bedruckent T-Shirt verwirren lässt. (Bild: Intel Corporation) </figcaption></figure><h5 id=„nav_vorbild1“>Vorbild Immunsystem</h5> GARD soll laut der DARPA über die nächsten vier Jahre hinweg eine <a href=„https://www.darpa.mil/news-events/2019-02-06“ rel=„external noopener“ target=„_blank“>breit angelegte Verteidigungslinie gegen solche Attacken [3]</a> und die damit verknüpften desaströsen Folgen in möglichst vielen Szenarien finden. Als Vorbild nennt Hava Siegelmann, Programmleiterin im Innovationsbüro der Forschungseinrichtung des US-Verteidigungsministeriums, das menschliche Immunsystem. Dieses identifiziere Angriffe durch Viren oder Bakterien, speichere die Details dazu ab und schaffe darauf effizientere Abwehrmethoden für künftige Kontakte mit derlei Eindringlingen. Einschlägige gegnerische Angriffe auf KI befänden sich zwar noch in einem frühen Stadium, erläutert Siegelmann. Es sei aber absehbar, dass sie künftig überaus zerstörerisch wirken könnten. Die Informatikerin fordert daher: „Wir müssen sicherstellen, dass Maschinenlernen sicher ist und nicht getäuscht werden kann.“ Der Gartner-Analyst Arun Chandrasekaran erklärte, dass die Beratungsfirma eine Zunahme von Attacken festgestellt habe, die mithilfe „Generative Adversarial Networks“ (GAN) erzeugt würden. Diese dürften zunehmen, da algorithmische Regelsets und Trainingsdaten zunehmend auch für Hacker verfügbar würden. <h5 id=„nav_bilderkennung2“>Bilderkennung im Fokus</h5> Die im GARD-Programm beteiligten Forscher werden sich der DARPA zufolge zunächst auf Bild-basiertes Maschinenlernen gemäß dem Stand der Technik konzentrieren, später aber auch komplexere Systeme mit Video- und Audioverarbeitung sowie automatisierter Entscheidungsfindung in den Blick nehmen. Beteiligt sind auch die Universitäten Johns Hopkins und Carnegie Mellon, das Massachusetts Institute of Technology (MIT), das Stanford-Forschungsinstitut SRI International und IBMs Almaden Research Center, <a href=„https://www.protocol.com/intel-darpa-adversarial-ai-project“ rel=„external noopener“ target=„_blank“>wie das US-Magazin „Protocol“ schreibt [4]</a>. Dem Bericht nach wollen die Projektleiter etwa mit ImageNet und Microsofts Common Objects in Context einige der größten Open-Source-Bilddatenbanken verwenden und auf dieser Basis Ansätze austüfteln, mit denen die Erkennungssysteme ganzheitlicher vorgehen und dem gesunden Menschenverstand näherkommen sollen. So sollen etwa Prüfverfahren eingebaut werden, um zu checken, ob bei einem ausgemachten Fahrrad auch ein Lenker, ein Sattel und Pedale ersichtlich sind. Eine Gruppe werde theoretische neue Angriffsformen aushecken, eine zweite Verteidigungsformen üben und eine dritte das Vorgehen evaluieren. Nach Angaben Intels kooperiert der Chip-Hersteller <a href=„https://newsroom.intel.com/news/intel-joins-georgia-tech-darpa-program-mitigate-machine-learning-deception-attacks/“ rel=„external noopener“ target=„_blank“>schon seit einigen Jahren mit Georgia Tech [5]</a>, um gemeinsam Täuschungsangriffe zu erforschen sowie Schwachstellen aufzudecken und zu schließen. Das kalifornische Unternehmen hat 2017 das auf Fahrerassistenz- und Erkennungssysteme spezialisierte <a href=„https://www.heise.de/meldung/Autonome-Autos-Intel-uebernimmt-Mobileye-fuer-14-Milliarden-Euro-3650798.html“>israelische Unternehmen Mobileye gekauft [6]</a> und sich auch <a href=„https://www.heise.de/meldung/BMW-will-ab-2021-selbstfahrende-Autos-bauen-3253086.html“>über eine Partnerschaft mit BMW [7]</a> für den Wettlauf rund um selbstfahrende Autos in Stellung gebracht. () <hr/>URL dieses Artikels:

https://www.heise.de/-4701409

Links in diesem Artikel:

<strong>[1]</strong>&#160;https://www.heise.de/newsletter/manage/ho?wt_mc=nl.red.ho.daily.meldung.link.link

<strong>[2]</strong>&#160;https://www.heise.de/select/tr/2019/10/1922815561768592809

<strong>[3]</strong>&#160;https://www.darpa.mil/news-events/2019-02-06

<strong>[4]</strong>&#160;https://www.protocol.com/intel-darpa-adversarial-ai-project

<strong>[5]</strong>&#160;https://newsroom.intel.com/news/intel-joins-georgia-tech-darpa-program-mitigate-machine-learning-deception-attacks/

<strong>[6]</strong>&#160;https://www.heise.de/meldung/Autonome-Autos-Intel-uebernimmt-Mobileye-fuer-14-Milliarden-Euro-3650798.html

<strong>[7]</strong>&#160;https://www.heise.de/meldung/BMW-will-ab-2021-selbstfahrende-Autos-bauen-3253086.html

<strong>[8]</strong>&#160;mailto:hob@ct.de