Machine Unlearning: Algorithmen können nichts vergessen
<html> <p class=„printversionback-to-article printversion–hide“><a href=„https://www.heise.de/newsticker/meldung/Machine-Unlearning-Algorithmen-koennen-nichts-vergessen-4646747.html“>zurück zum Artikel</a></p> <figure class=„printversionlogo“><img src=„https://1.f.ix.de/icons/svg/logos/svg/heiseonline.svg“ alt=„heise online“ width=„180“ heigth=„40“/></figure><figure class=„aufmacherbild“><img src=„https://heise.cloudimg.io/width/700/q75.png-lossy-75.webp-lossy-75.foil1/_www-heise-de_/imgs/18/2/8/3/1/7/2/5/Papernot_Useix_Enigma-414b788e3b479e98.jpeg“ srcset=„https://heise.cloudimg.io/width/700/q75.png-lossy-75.webp-lossy-75.foil1/_www-heise-de_/imgs/18/2/8/3/1/7/2/5/Papernot_Useix_Enigma-414b788e3b479e98.jpeg 700w, https://heise.cloudimg.io/width/1050/q75.png-lossy-75.webp-lossy-75.foil1/_www-heise-de_/imgs/18/2/8/3/1/7/2/5/Papernot_Useix_Enigma-414b788e3b479e98.jpeg 1050w, https://heise.cloudimg.io/width/1500/q75.png-lossy-75.webp-lossy-75.foil1/_www-heise-de_/imgs/18/2/8/3/1/7/2/5/Papernot_Useix_Enigma-414b788e3b479e98.jpeg 1500w, https://heise.cloudimg.io/width/1600/q75.png-lossy-75.webp-lossy-75.foil1/_www-heise-de_/imgs/18/2/8/3/1/7/2/5/Papernot_Useix_Enigma-414b788e3b479e98.jpeg 1600w“ sizes=„(min-width: 80em) 43.75em, (min-width: 64em) 66.66vw, 100vw“ alt=„Schlanker weißer Mann in hellem Pullover an Rednerpult, dahinter hellblaue Wand mit Schriftzug "ENIGMA"“ class=„img-responsive“/><figcaption class=„akwa-caption“><p class=„caption akwa-captiontext“>Prof. Nicolas Papernot während seines Vortrags auf der Usenix Enigma 2020.</p> <p class=„source akwa-captionsource“>(Bild: Daniel AJ Sokolov)</p> </figcaption></figure><p><strong>Weil wir nicht wissen, wie die Maschine genau denkt, können wir sie nur indirekt vergessen lassen. Das wurde auf der Konferenz Usenix Enigma deutlich.</strong></p> <p>Daten zu löschen ist in Zeiten des Machine Learning alles andere als einfach. Wurde ein Algorithmus einmal anhand großer Datenmengen trainiert, kann man ihn nicht einfach etwas vergessen machen. Daher befasst sich Professor Nicolas Papernot von der Universität Toronto mit dem jungen Thema des Machine Unlearning. Er empfiehlt, Löscherfordernisse schon in der Vorbereitung des Algorithmen-Trainings zu berücksichtigen.</p> <p>Zwei Ansätze verfolgt der Forscher dafür: Erstens lassen sich statt eines großen Modells, das mit allen verfügbaren Daten trainiert wurde, mehrere kleinere Modelle erstellen, die jeweils auf einen Teil der Daten zurückgreifen. Im Anwendungsfall lässt man dann alle Modelle laufen und fasst ihre Ergebnisse zusammen, beispielsweise in Form einer Mehrheitsabstimmung. Hier kann es aber unter Umständen zu zusätzlichem Aufwand beim Einsatz der Algorithmen kommen. Der Betreiber muss also vorher abschätzen, wie oft er seine Modelle verwenden und wie oft er Daten zu löschen haben wird.</p> <div class=„inread“/> <p>Zweitens kann man zunächst ein Modell mit einem Teil der Daten trainieren, beispielsweise zehn Prozent, und das Ergebnis speichern. Im nächsten Schritt wird das Modell genommen und mit einem weiteren Datenteil weiterentwickelt. Das Prozedere wird wiederholt, bis es ein mit allen Daten gefüttertes Modell gibt. Muss man später bestimmte Daten löschen, greift man auf jenen Zwischenstand zurück, der diese Datensätze noch nicht kannte, und trainiert nur von dort an neu. Sofern die zu löschenden Informationen nicht gerade im allerersten Modell enthalten sind, spart das später Zeit und Geld.</p> <h3 class=„subheading“ id=„nav_weil_wir_sie0“>Weil wir sie nicht verstehen</h3> <p>„Wir müssten nicht auf diese Lösungen zurückgreifen, wenn wir verstünden, wie Machine-Learning-Modelle ihre Vorhersagen treffen“, erläuterte Papernot heise online am Montag auf der Konferenz Usenix Enigma in San Francisco. „Wir wissen nicht, welche Datensätze genau in eine bestimmte Berechnung eingeflossen sind. Daher können wir nicht garantieren, dass ein bestehender Algorithmus sich nicht mehr auf einen bestimmten Datensatz bezieht. Dieses Problem ist nicht gelöst.“</p> <div class=„collapse-boxtarget collapse-boxcontent a-inline-textboxcontent a-inline-textboxcontent–horizontal-layout“ data-collapse-target=„“> <figure class=„a-inline-textboximage-container“><img alt=„“ src=„https://heise.cloudimg.io/width/1600/q50.png-lossy-50.webp-lossy-50.foil1/_www-heise-de_/imgs/71/2/8/1/2/5/7/6/daily_grafik-b53d51b363224691.png“ srcset=„https://heise.cloudimg.io/width/3200/q30.png-lossy-30.webp-lossy-30.foil1/_www-heise-de_/imgs/71/2/8/1/2/5/7/6/daily_grafik-b53d51b363224691.png 2x“ class=„c1“/></figure><div class=„a-inline-textboxcontent-container“> <p class=„a-inline-textboxsynopsis“>Keine News verpassen! Mit unserem täglichen Newsletter erhalten Sie jeden Morgen alle Nachrichten von heise online der vergangenen 24 Stunden.</p> <ul class=„a-inline-textboxlist“><li class=„a-inline-textboxitem“><a class=„a-inline-textboxtext“ href=„https://www.heise.de/newsletter/manage/ho?wt_mc=nl.red.ho.daily.meldung.link.link“ title=„Newsletter jetzt abonnieren“><strong>Newsletter jetzt abonnieren [1]</strong></a></li> </ul></div> </div> <p>Und einen Algorithmus von der Pike an neu zu schaffen kostet Zeit und Geld. Ein Paper zum Thema Machine Unlearning, zu dessen Autoren Papernot zählt, ist <a href=„https://arxiv.org/abs/1912.03817“ rel=„external noopener“ target=„_blank“><strong>als Vorabdruck erhältlich [2]</strong></a>. Es befindet sich gerade in der Peer Review.</p> <h3 class=„subheading“ id=„nav_warum_wir1“>Warum wir löschen müssen</h3> <p>Gründe für notwendige Datenlöschung kann es mehrere geben: Einerseits könnten Bürger ihnen zustehende Datenlöschungen fordern, andererseits könnte ein Angreifer manipulierte Daten in die hinzugezogenen Datensätze eingeschleust haben. Auch Lizenzprobleme sind denkbar, beispielsweise wenn beim Machine Learning urheberrechtlich geschützte Werke ausgewertet wurden und eine entsprechende Lizenz abläuft oder sich im Nachhinein als ungültig erweist.</p> <div class=„articlebox“> <article class=„a-article-teaser a-article-teaser–horizontal-layout-small a-u-no-margin-bottom articleboxarticle-teaser“><a class=„a-article-teaserlink“ href=„https://www.heise.de/meldung/BDI-Datenschutzvorgaben-sind-toxisch-fuer-Kuenstliche-Intelligenz-4538401.html“ name=„…1“ title=„BDI: Datenschutzvorgaben sind "toxisch für Künstliche Intelligenz"“> <figure class=„a-article-teaserimage-container“><div><strong><noscript> <p><img alt=„BDI: Datenschutzvorgaben sind &quot;toxisch für Künstliche Intelligenz&quot;“ class=„c1“ src=„https://heise.cloudimg.io/width/200/q50.png-lossy-50.webp-lossy-50.foil1/_www-heise-de_/imgs/18/2/8/3/1/7/2/5/DSC_2131-07d1bc83f904041e.jpeg“ srcset=„https://heise.cloudimg.io/width/200/q30.png-lossy-30.webp-lossy-30.foil1/_www-heise-de_/imgs/18/2/8/3/1/7/2/5/DSC_2131-07d1bc83f904041e.jpeg 2x“/></p> </noscript></strong></div> </figure><div class=„a-article-teasercontent-container“> </div> [3]</a></article></div> <p>Schließlich könnten sich auch Zweck oder Parameter des Algorithmuseinsatzes ändern. Als Beispiel zieht Papernot eine medizinische Anwendung heran, bei der sich später herausstellt, dass Daten von Patienten vor einem bestimmten Geburtsjahr nicht länger relevant sind. In solchen und ähnlichen Fällen hilft es dem Betreiber, wenn er sein Machine-Learning-Modell nicht ganz von vorne neu trainieren muss.</p> <p>Wurden hingegen ganz einfach falsche Daten zum Training genutzt, ist es in der Regel möglich, dem Algorithmus dieses neu gewonnene Wissen nachträglich beizubringen, sagte Papernot. Das ist ein deutlich geringerer Aufwand als echte Machine Unlearning, bei dem einbezogene Daten verlässlich ausgenommen werden müssen.</p> <h3 class=„subheading“ id=„nav_usenix_enigma2“>Usenix Enigma 2020</h3> <p>Usenix Enigma ist eine jährliche Konferenz zu IT-Sicherheit und Datenschutz, die sich mit gegenwärtigen sowie sich anbahnenden Bedrohungen an der Schnittstelle von Gesellschaft und Technik befasst. Sie findet diese Woche mit zirka 450 Teilnehmern in San Francisco statt. Es ist die fünfte Auflage der Veranstaltung. ()<br class=„clear“/></p> <hr/><p><strong>URL dieses Artikels:</strong><br/><small><code>http://www.heise.de/-4646747</code></small></p> <p><strong>Links in diesem Artikel:</strong><br/><small><code><strong>[1]</strong> https://www.heise.de/newsletter/manage/ho?wt_mc=nl.red.ho.daily.meldung.link.link</code></small><br/><small><code><strong>[2]</strong> https://arxiv.org/abs/1912.03817</code></small><br/><small><code><strong>[3]</strong> https://www.heise.de/meldung/BDI-Datenschutzvorgaben-sind-toxisch-fuer-Kuenstliche-Intelligenz-4538401.html</code></small><br/><small><code><strong>[4]</strong> mailto:ds@heise.de</code></small><br/></p> <p class=„printversioncopyright“><em>Copyright © 2020 Heise Medien</em></p> </html>
Falls nicht anders bezeichnet, ist der Inhalt dieses Wikis unter der folgenden Lizenz veröffentlicht: CC Attribution-Noncommercial-Share Alike 4.0 International