Wie sich KI-Entscheidungen überprüfen lassen

Originalartikel

Backup

<html> <p class=„printversionback-to-article printversion–hide“><a href=„https://www.heise.de/ct/artikel/Wie-sich-KI-Entscheidungen-ueberpruefen-lassen-4665982.html“>zur&#252;ck zum Artikel</a></p><figure class=„printversionlogo“><svg preserveaspectratio=„xMinYMin“ xmlns=„http://www.w3.org/2000/svg“ viewbox=„0 0 2000 718“ width=„200“ height=„72“><path d=„M440.61,0H603L517.23,350H435.51l48.18-196.5H403L440.61,0ZM625.18,0,539.59,348.21,530.46,385c-14.23,64.76-21,102.25-21,125.7C509.5,618.13,589,705.26,715.68,704H860.33l47.1-191.65H768.65s-18.3-.21-28.68-4.76c-10.95-4.81-17-9.44-23.9-19.2-5.83-8.24-8-14.07-9.64-24-2.17-13,4-33.49,4-33.49l20-81.32H908.11L950.5,177.1H772.92L816.46,0ZM330.49,177C143.78,176.73,0,357.94,0,510c0,107.4,78.64,196.75,205.68,193.89H403.19l47.13-191.66H247.93C206.2,512,193.51,470,193.51,444.51c0-44.7,50.19-94.93,98.51-95.05H412.59L455,177ZM1069,198.18h-28.78L1013.7,296.9h28.78l12.6-47c4.45-16.78,10.27-24.29,18.65-24.29,5.93,0,8.66,4.42,7.45,11.48-.38,2.21-.82,3.76-2,8.39l-13.88,51.46h28.78l12.6-47c2-7.73,3.73-12.59,5.45-15.46,3.39-5.52,8.32-8.83,13.55-8.83,6.1,0,8.8,4.63,7.39,12.81-.34,2-1.41,6.18-2.48,10.38l-13,48.15h28.6l14.13-51.9c2.58-9.94,4.28-16.79,5-21,3-17.45-4.67-28.72-19.67-28.72-11.16,0-20.15,4.64-31.87,17-2.9-12.59-8.24-17-19.76-17-11.16,0-19,4.2-29.58,15.91Zm206,0h-28.78l-1.93,11.26c-6.87-10.82-12.06-14.14-22.87-14.14-23.72,0-45.36,24.52-51.08,57.87-4.85,28.27,4.74,46.6,24.45,46.6,10.64,0,18.4-3.53,28.86-13.69l-3.95,10.82h28.78ZM1223.13,224c9.59,0,14,7.73,11.79,20.76-2.57,15-12.35,26.28-22.64,26.28-9.59,0-14.33-8-12.18-20.54C1202.71,235.28,1212.66,224,1223.13,224Zm155.43-25.84H1350L1347,212.31c-5.9-12.37-12.42-17-23.59-17-23,0-43.18,23-48.75,55.44-2.57,15-1.55,27.39,3,35.56a25.93,25.93,0,0,0,23,13.47c9.07,0,15.22-3.31,25.3-13.25l-4.19,15.24c-4.26,15.68-10.67,22.53-21.66,22.53-8.37,0-12.77-4.86-12.34-13.48h-27.38c-1.08,15.46.21,23.19,5.11,30.26,5.79,8,15.22,11.93,29.35,11.93,19.54,0,32.84-6.4,42.59-20.54,6-8.39,11-21.2,16.77-42.85ZM1325.65,224c9.59,0,14,8,11.71,21.21-2.61,15.24-11.23,25.84-21.18,25.84-9.42,0-14.22-8.61-11.95-21.87C1306.74,234.62,1315.7,224,1325.65,224ZM1482,198.18h-28.78l-1.93,11.26c-6.87-10.82-12.06-14.14-22.87-14.14-23.72,0-45.36,24.52-51.08,57.87-4.85,28.27,4.74,46.6,24.45,46.6,10.64,0,18.4-3.53,28.86-13.69l-3.95,10.82h28.78ZM1430.13,224c9.59,0,14,7.73,11.79,20.76-2.57,15-12.35,26.28-22.64,26.28-9.59,0-14.33-8-12.18-20.54C1409.71,235.28,1419.66,224,1430.13,224Zm132.14,44.84h-37.67l59.73-70.68H1502l-8.47,28h34l-60.26,70.68h86.51Zm61.49-70.68H1595l-26.52,98.72h28.78Zm-.22-58.75c-9.59,0-19.1,9.72-21.11,21.42-2.09,12.15,3.92,21.87,13.52,21.87,9.42,0,18.58-9.72,20.67-21.87C1638.66,148.92,1632.79,139.43,1623.54,139.43Zm46.62,58.75h-28.78l-26.52,98.72h28.78l12-44.61c3-11.27,5.07-16.35,8-20.32s7.55-6.4,11.74-6.4c6.8,0,9.52,5.52,7.78,15.68-.57,3.31-1.2,6-2.78,12.15l-11.82,43.51h28.78l14.95-55.66c1.43-5.3,2.88-11.7,3.6-15.9,3.3-19.22-3.57-30-19.45-30-10.63,0-18.26,3.76-30.94,15.68Zm136.15,28h19.54l7.6-28h-19.54l4.57-17.45c3.23-11.7,7.37-16.57,14-16.57,3.49,0,5.88,1.33,8.76,4.86l8.31-31.14c-6.23-3.31-11.06-4.63-17.35-4.63a34.72,34.72,0,0,0-18.39,5.52c-10.59,6.85-17.54,17.89-22.35,35.79l-6.32,23.63h-12l-7.6,28h12l-18.92,70.68h28.61Zm120.69-28h-28.78l-13.88,51.46c-3.64,14.14-8.81,19.88-17.53,19.88-7.67,0-11.28-4.42-10-12.15.23-1.32,1.44-6.4,3.13-12.14l12.6-47H1843.8l-13.33,49.25c-1.21,5.08-2.44,10.16-3,13.69-4.21,24.51,7.5,38.65,32.26,38.65,14.3,0,27.06-4.2,35.36-11.93,7.5-7.07,12.58-17.45,18-37.54Zm-45.59-54.56c-7.5,0-14.72,7.51-16.34,17s3,17,10.69,17c7.32,0,14.54-7.51,16.13-16.79C1893.52,151.35,1888.91,143.62,1881.41,143.62Zm34,0c-7.5,0-14.89,7.51-16.48,16.79-1.63,9.49,3.15,17.22,10.83,17.22,7,0,14.41-7.73,15.92-16.57C1927.32,151.58,1922.57,143.62,1915.42,143.62Zm55.32,54.56H1942l-26.52,98.72h28.78l11.21-42c2.82-10.38,4.59-14.58,7.4-18.77a18.91,18.91,0,0,1,15.91-8.39c5.06,0,8.32,1.32,12.33,4.42L2000,198.4c-2.41-.22-4.32-.22-5.54-.22-11,0-17.62,3.09-28.29,13.47ZM1063.15,410.7a37.59,37.59,0,0,0-22.38-6.85c-24.94,0-47.05,23.19-52.55,55.22-5,28.93,7.08,49.25,28.88,49.25,6.45,0,10.66-1.11,21.31-5.3l8.27-30.92c-7.05,5.52-11.23,7.51-16.64,7.51-9.77,0-14.65-8.17-12.41-21.21,2.57-15,12.28-25.84,22.92-25.84,6.1,0,10,2.43,14.35,8.83Zm53.76-6.85c-27.74,0-51.19,21.87-56.46,52.57-5.3,30.92,9.94,51.9,37.5,51.9,15.52,0,27.46-5.52,38.26-17.67a73.31,73.31,0,0,0,17.09-35.56C1158.68,423.73,1144.65,403.85,1116.91,403.85Zm-4.4,28.72c9.59,0,14,7.73,11.79,20.76-2.57,15-12.35,26.28-22.82,26.28-9.6,0-14.34-8-12.18-20.54C1091.92,443.83,1101.87,432.56,1112.52,432.56Zm94.89-25.84h-28.78l-26.52,98.73h28.78l12.6-47c4.44-16.78,10.27-24.29,18.64-24.29,5.93,0,8.66,4.42,7.45,11.48-.38,2.21-.82,3.76-2,8.39l-13.88,51.46h28.78l12.6-47c2-7.73,3.73-12.58,5.44-15.46,3.39-5.52,8.32-8.83,13.55-8.83,6.1,0,8.8,4.64,7.39,12.81-.34,2-1.41,6.18-2.48,10.38l-13,48.15h28.6l14.13-51.9c2.58-9.94,4.28-16.79,5-21,3-17.45-4.68-28.72-19.67-28.72-11.17,0-20.16,4.64-31.87,17-2.9-12.59-8.25-17-19.76-17-11.17,0-19,4.2-29.59,15.91Zm150.38,0H1329L1287.91,560h28.78l19-71.34c5.33,13.7,13,19.66,24.71,19.66,22.33,0,41.05-22.75,46.92-57,5-29.15-4.25-47.49-24-47.49-10.11,0-17.77,4-29.82,15.24Zm8.13,25.84c9.59,0,14,7.73,11.79,20.76-2.57,15-12.35,26.28-22.64,26.28-9.6,0-14.34-8-12.18-20.54C1345.5,443.83,1355.46,432.56,1365.92,432.56Zm149.52-25.84h-28.78l-13.88,51.46c-3.85,14.36-8.81,19.88-17.71,19.88-7.67,0-10.93-4.42-9.49-12.81.34-2,1.52-6.85,2.67-11.48l12.77-47h-28.78L1418.91,456c-1.22,5.08-2.44,10.15-3,13.69-4.2,24.52,7.51,38.65,32.27,38.65,14.3,0,27.06-4.2,35.19-11.93,7.67-7.07,12.58-17.45,18.12-37.54Zm44.7,28.05h15.35l7.6-28.05h-15.35l8.38-31.58h-28.61L1539,406.72h-12.21l-7.6,28.05h12.39l-19.1,70.68h28.78Zm101.1,28.72c.85-4,1.63-7.51,1.9-9.06,5.41-31.58-6.32-50.58-31.27-50.58-14.13,0-26.59,5.52-36.64,16.34-9.42,10.16-16.49,25-19.06,40-5.15,30,6.92,48.14,32.21,48.14,13.43,0,25.21-4.64,34.4-13.47,5.7-5.74,9.43-11.27,14.64-22.31H1626c-2.22,6.85-6.45,10.16-12.73,10.16a11.45,11.45,0,0,1-9.94-5.08c-1.56-3.1-1.65-6.63-.37-14.14Zm-52.82-20.54c3.48-10.16,9.24-15.24,17.09-15.24,7.67,0,11.3,5.3,10.12,15.24Zm106.31-36.22H1686l-26.52,98.73h28.78l11.21-42c2.82-10.38,4.59-14.58,7.4-18.78a18.91,18.91,0,0,1,15.91-8.39c5.06,0,8.32,1.32,12.33,4.42l8.93-33.79c-2.41-.23-4.32-.23-5.54-.23-11,0-17.62,3.09-28.29,13.47Zm-715,237.73h15.35l7.6-28.05h-15.35l8.38-31.58H987.13l-8.55,31.58H966.37l-7.6,28.05h12.39l-19.09,70.68h28.78Zm99.95,28.72c.85-4,1.64-7.51,1.9-9.06,5.41-31.58-6.32-50.58-31.27-50.58-14.13,0-26.59,5.52-36.64,16.34-9.41,10.16-16.48,25-19.06,40-5.15,30,6.92,48.14,32.21,48.14,13.44,0,25.21-4.63,34.4-13.47,5.7-5.74,9.43-11.27,14.64-22.31h-31.4c-2.22,6.84-6.45,10.16-12.73,10.16a11.45,11.45,0,0,1-9.94-5.08c-1.56-3.1-1.65-6.63-.37-14.14Zm-52.82-20.54c3.49-10.16,9.24-15.24,17.09-15.24,7.67,0,11.3,5.3,10.12,15.24Zm137.93-32.25a37.59,37.59,0,0,0-22.37-6.85c-24.94,0-47.06,23.19-52.55,55.22-5,28.93,7.08,49.25,28.88,49.25,6.45,0,10.66-1.1,21.31-5.3l8.27-30.92c-7.05,5.52-11.23,7.51-16.64,7.51-9.77,0-14.65-8.18-12.41-21.21,2.57-15,12.28-25.84,22.92-25.84,6.1,0,10,2.43,14.36,8.83Zm60.73-66.26h-28.78l-43.3,161h28.78l12.56-46.82c2.42-9.06,4-13,6.16-16.57,3.14-5.08,8-7.95,13-7.95,7.15,0,9.63,4.86,7.78,15.68-.65,3.76-1.31,6.63-4,16.12l-10.61,39.54H1256l13.52-50.36c1.55-6,3.32-13.25,3.89-16.56,3.83-22.31-2.95-34.68-19.34-34.68-9.25,0-16.4,3.1-27.65,11.71ZM1328,616.4h-28.78l-26.52,98.73h28.78l12-44.61c3-11.27,5.07-16.34,8-20.32s7.55-6.4,11.74-6.4c6.8,0,9.52,5.52,7.78,15.68-.57,3.31-1.2,6-2.78,12.15l-11.82,43.51h28.79l14.95-55.66c1.43-5.3,2.88-11.7,3.6-15.9,3.3-19.22-3.57-30-19.44-30-10.64,0-18.26,3.76-30.95,15.68Zm100.48,0h-28.78l-26.52,98.73H1402Zm-.22-58.75c-9.59,0-19.1,9.72-21.11,21.43-2.08,12.15,3.92,21.86,13.52,21.86,9.42,0,18.59-9.71,20.67-21.86C1443.42,567.15,1437.54,557.66,1428.3,557.66Zm63.76-3.53h-28.78l-43.3,161h28.78l12.48-46.38a270.82,270.82,0,0,0,13.55,29.82l8.67,16.56h35.06l-27.25-53.67L1533,616.4h-36.28l-31,35.34Z“/></svg></figure><h2 class=„printversionuntertitel“/> <p class=„printversionmasterbild“><img src=„https://heise.cloudimg.io/bound/712x480/q60.png-lossy-60.webp-lossy-60.foil1/_www-heise-de_/ct/imgs/04/2/8/4/7/4/3/4/KI_Entscheidungen_Titel-f6c4770e507a8098.jpeg“ alt=„“ class=„img-responsive“/></p> <p><strong>Wenn KI-Systeme Entscheidungen treffen, lassen sich diese oft nicht nachvollziehen. Deshalb wollen Wissenschaftler neuronalen Netzen auf die Finger schauen.</strong></p> <p>K&#252;nstliche Intelligenz erkennt Krebs in R&#246;ntgenaufnahmen, beurteilt Kreditantr&#228;ge und w&#228;hlt bei der Personalsuche den besten Bewerber. Aber bislang m&#252;ssen Patienten und Kunden den Entscheidungen der KI blind vertrauen. In der Regel haben sie keinen Einblick, mit welchen Datens&#228;tzen Algorithmen und neuronale Netze trainiert wurden und nach welchen Kriterien sie ihr Urteil f&#228;llen. <a href=„https://www.europarl.europa.eu/doceo/document/TA-9-2020-0032_DE.html“ rel=„external noopener“ target=„_blank“><strong>Das europ&#228;ische Parlament verlangt hier mehr Transparenz [1]</strong></a> und fordert die EU-Kommission zur <a href=„https://www.heise.de/select/ct/2020/6/2004810381324973506“><strong>Umsetzung [2]</strong></a> auf.</p> <p>Laut der Resolution des EU-Parlaments von Anfang Februar sollen KI-Systeme nachvollziehbare und tendenzfreie Algorithmen anwenden, sonst kann der Betroffene die Verantwortlichen f&#252;r Nachteile haftbar machen. Zudem m&#252;sse die EU-Kommission daf&#252;r sorgen, dass nur sichere und konforme KI-Anwendungen in Verkehr gebracht werden.</p> <p>Das sind komplexe Forderungen angesichts einer breiten Vielfalt an KI-Anwendungen. Deren Entscheidungen entspringen oft tiefen neuronalen Netzen, gebildet und verfeinert (trainiert) mithilfe umfangreicher Beispieldatenbanken und in automatisierten Deep-Learning-Verfahren. Ein derart entstandenes neuronales Netz gilt gemeinhin als Black Box. Mit neuen Methoden gelingt es Forschern jedoch, diese transparent zu machen und eventuelle Irrt&#252;mer aufzudecken.</p> <h3 class=„subheading“ id=„nav_klare_regeln_0“>Klare Regeln</h3> <p>Wird man neuronalen Netzen k&#252;nftig beim Denken zusehen k&#246;nnen? Dr. Maximilian Poretschkin, Leiter des Projekts KI-Zertifizierung am Fraunhofer Institut f&#252;r Intelligente Analyse- und Informationssysteme (IAIS), antwortet vorsichtig: Im Prinzip sei das m&#246;glich, wenn auch auf Umwegen. Oft sei es einfacher, von vornherein transparentere KI-Anwendungen zu konzipieren. Forscher des IAIS haben zum Beispiel ein System gebaut, das Kreditkartenbetrug erkennt. Zun&#228;chst analysiert das System historische Transaktionen mithilfe maschinellen Lernens. Hierbei kommt eine sogenannte Subgruppensuche zum Einsatz. Die Ergebnisse dieses Lernprozesses dienen dazu, Verhaltensweisen von Betr&#252;gern zu identifizieren und daraus Regeln abzuleiten. Diese Regeln erlauben es einer regelbasierten KI anschlie&#223;end, in Echtzeit zu entscheiden, ob eine Transaktion wahrscheinlich betr&#252;gerisch ist oder nicht. Gleichzeitig gibt sie aus, welche Regel zum Tragen kommt, wenn sie eine Ausgabe blockt. Das ist transparent.</p> <p>Alle Arten von Scoring-Systemen, die an sensiblen Stellen zum Einsatz kommen, sollten transparente Entscheidungen f&#228;llen, sagt Poretschkin, etwa bei der Kreditvergabe in der Bank oder bei der Personalauswahl im Unternehmen. Zwei weitere gro&#223;e Bereiche sind medizinische &#173;Diagnosesysteme und das autonome Fahren. Sp&#228;testens dort komme man k&#252;nftig um die Pr&#252;fung von KI-Anwendungen nicht herum. &#8222;Das Problem bei vielen neuronalen Netzen ist, dass man sie nicht in Module zerlegen kann, um die dann separat zu testen&#8220;, erl&#228;utert Poretschkin. Aber man k&#246;nne die zugesicherten Eigenschaften einer KI testen.</p> <h3 class=„subheading“ id=„nav_zeig_mir_warum_1“>Zeig mir, warum</h3> <p>Wie man eben doch einem tiefen neuronalen Netz beim Entscheiden genau auf die Finger sehen kann, hat Dr. Wojciech Samek als Gruppenleiter Maschinelles Lernen am Fraunhofer Heinrich-Hertz-Institut (HHI) gezeigt. Gemeinsam mit einem Team um Professor Klaus-Robert M&#252;ller an der TU Berlin entwickelten die Fraunhofer HHI-Forscher bereits 2015 das LRP-Verfahren (Layer-wise Relevance Propagation). Gerade in der Bilderkennung k&#246;nnen die Forscher damit eine KI-Entscheidung analysieren und die vielen Berechnungen und Gewichtungen innerhalb des neuronalen Netzes nachverfolgen. Das LRP-Verfahren identifiziert dann die Eingangspixel, die am meisten zur Entscheidungsfindung beigetragen haben, und markiert diese farblich in einer sogenannten Heatmap. LRP zeigt also die Bildbereiche, die f&#252;r die KI am bedeutendsten sind.</p> <p>Allerdings erkl&#228;rt LRP immer nur eine Einzelentscheidung. Das Verfahren hebt Bildbereiche hervor, aufgrund derer die KI auf einem Foto ein Pferd, einen Hund oder einen Menschen erkennen konnte. Oder es markiert die Bereiche einer R&#246;ntgenaufnahme, die f&#252;r eine bestimmte Erkrankung sprachen. Das ist noch zu wenig, um das erw&#252;nschte Verhalten einer KI vollst&#228;ndig in den Griff zu bekommen. Ein neuronales Netz, das ein braunes Pferd im Sonnenschein erkennt, k&#246;nnte bei einem Schimmel im Regen patzen.</p> <p>So haben die Forscher der TU Berlin und des Fraunhofer HHI im vergangenen Jahr nachgelegt und ihr LRP-Verfahren erweitert zur Spectral Relevance Analysis (SpRAy). Dieses neue Verfahren ist in der Lage, eine Vielzahl an LRP-Heatmaps automatisiert zu gruppieren. Zu jeder dieser Gruppen liefert es einen typischen Repr&#228;sentanten. Wenn ein neuronales Netz beispielsweise eine Million Bilder analysiert und im LRP-Verfahren eine Million erkl&#228;rende Heatmaps bildet, dann liefert SpRAy dazu ein paar Dutzend oder vielleicht hundert Cluster. Anhand von deren Repr&#228;sentanten k&#246;nne man schnell erkennen, was die dominanten Entscheidungsstrategien sind, sagt Samek.</p> <h3 class=„subheading“ id=„nav_schlau_wie_ein2“>Schlau wie ein Pferd</h3> <p>Und man kann vor allem Entscheidungen entdecken, die neuronale Netze anhand falscher Grundlagen f&#228;llen. &#8222;Wir waren sehr erstaunt &#252;ber die gro&#223;e Bandbreite der gelernten Probleml&#246;sungsstrategien. Selbst moderne KI-Systeme haben nicht immer einen aus menschlicher Perspektive sinnvollen L&#246;sungsweg gefunden, sondern nutzten sogenannte Clever-Hans-Strategien.&#8220; Diese Tricks gehen auf ein Pferd zur&#252;ck, den &#8222;klugen Hans&#8220;, der um 1900 die deutsche Wissenschaftswelt in Aufruhr versetzte, weil er angeblich rechnen und sogar buchstabieren konnte. Sp&#228;ter erkannte man, dass Hans die richtigen Antworten lediglich aus dem unbewussten Verhalten des Fragestellers ableitete.</p> <figure class=„rteinlinebild akwa-inline-img rtepos_right col-lg-6 col-md-6 col-sm-6 col-xs-12 akwa-inline–right“><img alt=„Wie sich KI-Entscheidungen &#252;berpr&#252;fen lassen“ src=„https://heise.cloudimg.io/width/2000/q50.png-lossy-50.webp-lossy-50.foil1/_www-heise-de_/ct/imgs/04/2/8/4/7/4/3/4/KI_Entscheidungen_Text-90f7ebe72a576f4b.jpeg“ srcset=„https://heise.cloudimg.io/width/4000/q30.png-lossy-30.webp-lossy-30.foil1/_www-heise-de_/ct/imgs/04/2/8/4/7/4/3/4/KI_Entscheidungen_Text-90f7ebe72a576f4b.jpeg 2x“ class=„c1“/><figcaption class=„rteinlinebild_source akwa-caption“>Eine KI erkennt ein Pferd. Erst die erkl&#228;rende Heatmap offenbart: Erkannt wurde eigentlich nur ein Copyright-&#173;Zeichen. (Bild:&#160;Fraunhofer HHI)</figcaption></figure><p>Mit SpRAy deckten die Forscher auf, dass eine KI Pferde auf Fotos nicht an der M&#228;hne erkannte, sondern an einem Copyright-Hinweis, den viele Pferdefotos gemeinsam hatten. Flugzeuge auf Fotos erkannten neuronale Netze an Wolken auch am unteren Bildrand. Aus dem medizinischen Bereich kann Poretschkin von einer KI berichten, die bei der Suche nach einer Herzvergr&#246;&#223;erung miteinbezog, ob der Patient bei der R&#246;ntgenaufnahme stand oder im Bett liegen musste. War ein Pa&#173;tient bettl&#228;grig, so tippte die KI eher auf Herzvergr&#246;&#223;erung.</p> <h3 class=„subheading“ id=„nav_jagd_auf3“>Jagd auf Artefakte</h3> <p>Mit SpRAy analysieren die Forscher die Entscheidungsqualit&#228;t von KI-Anwendungen. Mittelbar ziehen sie damit auch R&#252;ckschl&#252;sse auf die Qualit&#228;t der Datens&#228;tze, die im Deep-Learning-Verfahren die Grundlage f&#252;r das Training und damit die Bildung tiefer neuronaler Netze bilden. Sie entdeckten sogenannte Artefakte selbst im ImageNet, einer internationalen Standarddatenbank mit heute mehr als 14 Millionen verschlagworteten Bildern. Artefakte k&#246;nnen beispielsweise die genannten Copyright Tags sein oder auff&#228;llige Nachbearbeitungen, Schnittkanten, Einschr&#228;nkungen des Farbraums. Selbst KIs der University in Berkeley und der University of Oxford, die mit Bilddaten aus ImageNet trainiert worden sind, offenbarten in der SpRAy-Analyse klare Clever-Hans-Strategien.</p> <p>Die Auswahl der Trainingsdaten ist also entscheidend f&#252;r die Qualit&#228;t einer KI-Anwendung. Wenn aber Fehler oft schon in dieser Auswahl begr&#252;ndet sind, dann macht das deutlich, dass die Zertifizierung einer KI diesen Prozessschritt einbeziehen muss. Stimmt die Datenqualit&#228;t nicht, weil die sp&#228;teren Entscheidungsklassen unausgewogen repr&#228;sentiert sind, dann wird ein sogenannter Bias (&#252;bersetzt etwa: Voreingenommenheit) vom neuronalen Netz gleich mitgelernt.</p> <p>&#8222;Die KI-Forschung kann von anderen Zertifizierungssystemen lernen, etwa in der Luftfahrt oder bei normalen Medizinprodukten&#8220;, regt Samek an. Demnach sind alle beteiligten Prozesse &#252;ber den gesamten Lebenszyklus abzusichern, von der Auswahl der Trainingsdaten &#252;ber das Deep Learning bis hin zur Validierung der Erkl&#228;rungen f&#252;r Entscheidungen. Das System k&#246;nne Urteile &#252;ber redundante Wege absichern oder bei Unsicherheit auf ein Fallback-System verweisen.</p> <p>Auch die Modularisierung in separat entwickelte Einzel-KIs kann ein Weg sein. Poretschkin verweist auf das Beispiel des autonomen Fahrens. Heute erlaubt man Autos noch nicht, vollst&#228;ndig KI-gesteuert am Stra&#223;enverkehr teilzunehmen, hat aber bereits Einzelanwendungen wie etwa Notbremsassistenten zugelassen.</p> <p>Angesichts der unterschiedlichen Einsatzfelder pl&#228;diert Dr. Michael F&#252;bi als Pr&#228;sident des T&#220;V-Verbands f&#252;r die Einf&#252;hrung von Risikoklassen und Pr&#252;fsiegel. Sein Verband arbeitete bereits mit dem Bundesamt f&#252;r Sicherheit in der Informationstechnik (BSI) gemeinsam an Pr&#252;fschritten f&#252;r KI-Anwendungen. Im Projekt KI-Zertifizierung kooperiert auch das Fraunhofer IAIS mit dem BSI. Poretschkin hofft, dass in zwei bis f&#252;nf Jahren ein finaler Pr&#252;fkatalog steht und auch die Akkreditierungsverfahren abgeschlossen sind. Anhand solcher Siegel bek&#228;men Endanwender immerhin eine Chance, vertrauensw&#252;rdige KI-Systeme zu bevorzugen. ()<br/></p> <p><br/><em>Dieser Artikel stammt aus <a href=„https://www.heise.de/select/ct/2020/6/“><strong>c't 6/2020 [4]</strong></a>.</em></p> <hr/><p><strong>URL dieses Artikels:</strong><br/><small><code>https://www.heise.de/-4665982</code></small></p> <p><strong>Links in diesem Artikel:</strong><br/><small><code><strong>[1]</strong>&#160;https://www.europarl.europa.eu/doceo/document/TA-9-2020-0032_DE.html</code></small><br/><small><code><strong>[2]</strong>&#160;https://www.heise.de/select/ct/2020/6/2004810381324973506</code></small><br/><small><code><strong>[3]</strong>&#160;mailto:agr@heise.de</code></small><br/><small><code><strong>[4]</strong>&#160;https://www.heise.de/select/ct/2020/6/</code></small><br/></p> <p class=„printversioncopyright“><em>Copyright &#169; 2020 Heise Medien</em></p> </html>