StableLM: Stability AI veröffentlicht große KI-Sprachmodelle als Open Source
<html> <header class=„article-header“><h1 class=„articleheading“>StableLM: Stability AI veröffentlicht große KI-Sprachmodelle als Open Source</h1><div class=„publish-info“> Silke Hahn</div></header><figure class=„aufmacherbild“><img src=„https://heise.cloudimg.io/width/700/q75.png-lossy-75.webp-lossy-75.foil1/_www-heise-de_/imgs/18/4/1/4/6/5/0/7/FuFhgiEaAAEIap5-085768a33eb7b7b1.jpeg“ srcset=„https://heise.cloudimg.io/width/700/q75.png-lossy-75.webp-lossy-75.foil1/_www-heise-de_/imgs/18/4/1/4/6/5/0/7/FuFhgiEaAAEIap5-085768a33eb7b7b1.jpeg 700w, https://heise.cloudimg.io/width/1050/q75.png-lossy-75.webp-lossy-75.foil1/_www-heise-de_/imgs/18/4/1/4/6/5/0/7/FuFhgiEaAAEIap5-085768a33eb7b7b1.jpeg 1050w, https://heise.cloudimg.io/width/1462/q75.png-lossy-75.webp-lossy-75.foil1/_www-heise-de_/imgs/18/4/1/4/6/5/0/7/FuFhgiEaAAEIap5-085768a33eb7b7b1.jpeg 1462w“ alt=„“ class=„img-responsive“ referrerpolicy=„no-referrer“ /><figcaption class=„akwa-caption“>„A Stochastic Parrot, flat design, vector art“ – Stable Diffusion.(Bild: <a href=„https://stability.ai/blog/stability-ai-launches-the-first-of-its-stablelm-suite-of-language-models“ target=„_blank“ rel=„external noopener“>Stability AI</a>)</figcaption></figure><p><strong>Die Firma hinter Stable Diffusion hat zwei Sprachmodelle als Open Source veröffentlicht. Die LLMs stehen unter Copyleft-Lizenz, weitere Modelle sollen folgen.</strong></p><p>Stability AI hat mit StableLM zwei große Sprachmodelle als Open Source veröffentlicht: Die beiden Large Language Models (LLM) umfassen je 3 und 7 Milliarden Parameter. Bei dem Release handelt es sich um Alphaversionen. Entwickler können sie unter Beachtung der Lizenz für Forschungs- und kommerzielle Zwecke frei verwenden, untersuchen und adaptieren.</p><p>StableLM-3B und StableLM-7B stehen unter der <a href=„https://creativecommons.org/licenses/by-sa/4.0/deed.de“ rel=„external noopener“ target=„_blank“><strong>Lizenz CC BY-SA-4.0 [1]</strong></a>: Das ist eine <a href=„https://www.heise.de/hintergrund/Chancen-und-Risiken-Copyleft-in-der-Softwareentwicklung-4926808.html“><strong>Copyleft-Lizenz [2]</strong></a>, die festlegt, dass die unter ihr stehende Software in jeder Format vervielfältigt und weiterverbreitet werden darf. Wer mit StableLM arbeitet, darf die Modelle verändern und weiterbearbeiten für beliebige Zwecke, auch kommerziell. Allerdings erben Ableger und Produkte stets die Copyleft-Lizenz.</p><h3 class=„subheading“ id=„nav_stablelm_steht0“>StableLM steht unter Copyleft-Lizenz</h3><p>Das bedeutet, dass von StableLM abgeleitete neue Modelle den ursprünglichen Urheber (Stability AI) und die Lizenz in unveränderter Form nennen und weitergeben müssen. So ist es untersagt, solcherart erstellte Software zu Closed Source zu machen, etwa zum eigenen geistigen Eigentum zu erklären oder an der geerbten Lizenz Änderungen vorzunehmen. Diese Vorgaben sind rechtlich durch keine zusätzlichen Klauseln oder technischen Verfahren auszuhebeln, die CC BY-SA-4.0 gilt als eine <a href=„https://www.heise.de/news/Copyleft-org-Was-Sie-schon-immer-ueber-die-GPL-wissen-wollten-2445300.html“><strong>besonders starke Copyleft-Lizenz [3]</strong></a>.</p><p>Wie vom StabilityAI-CEO Emad Mostaque angekündigt soll StableLM eine offene, transparente und skalierbare Alternative zu proprietären KI-Modellen wie denen von OpenAI bieten. Modelle im Umfang von 15 bis 65 Milliarden Parametern sollen in absehbarer Zeit folgen, ist dem Blogpost zum Release zu entnehmen. Die Modelle der StableLM-Serie sollen Text und Quellcode erzeugen können und lassen sich laut Mostaque für zahlreiche darauf aufbauende Anwendungen nutzen. Mit den verhältnismäßig kleinen LLMs will Stability dem Blogeintrag zufolge zeigen, dass auch kleinere Modelle zu hoher Leistung fähig sind, sofern sie ein angemessenes Training durchlaufen haben und über eine effiziente Architektur verfügen.</p><h3 class=„subheading“ id=„nav_sind_modelle1“>Sind Modelle, die auf The Pile basieren, Open Source?</h3><p>Stability AI hatte zuvor die Arbeit der KI-Graswurzel EleutherAI unterstützt, die Anfang April 2023 mit Pythia eine Serie kleinerer KI-Basismodelle für die Forschung veröffentlicht hatten. Pythia-12B ist unter anderem das Ausgangsmodell für Dolly 2.0 von Databricks, und <a href=„https://www.heise.de/news/OpenAssistant-an-open-Alternative-to-ChatGPT-Conversational-AI-for-Everyone-8971294.html“><strong>OpenAssistant von LAION fußt auf den quelloffenen Pythia-Modellen [4]</strong></a>. Auch Erfahrungen mit früheren Open-Source-Modellen wie GPT-J und GPT-NeoX von EleutherAI hätten zum jetzigen Release von StableLM beigetragen.</p><p>StableLM wurde auf einem neuen experimentellen Datensatz trainiert, der auf dem bekannten, <a href=„https://arxiv.org/abs/2101.00027“ rel=„external noopener“ target=„_blank“><strong>800 Gigabyte großen Datensatz „The Pile“ [5]</strong></a> für das Modellieren großer Sprachmodelle aufbaut, allerdings mit insgesamt 1,5 Billionen Token an Inhalt etwa dreimal so umfangreich ist wie dieser. Der Datensatz gilt als problematisch, da in ihm <a href=„https://twitter.com/sepia_fw/status/1648721507919491073“ rel=„external noopener“ target=„_blank“><strong>wohl auch urheberrechtlich geschützte Werke enthalten [6]</strong></a> sind (welche Konsequenzen sich daraus für Open-Source-Lizenzen ergeben, ist derzeit noch offen und betrifft auch andere Projekte, die diesen Datensatz oder Common Crawl aus dem Internet verwenden). Mit der Größe des Trainingsdatensatzes liegt StableLM gleichauf mit dem proprietären KI-Modell LLaMA von Meta AI, das ausgewählten Forschungsprojekten zur Verfügung gestellt wurde und durch einen Leak auch mit semi-offiziellen bis illegalen Ablegern im Netz kursiert.</p><h3 class=„subheading“ id=„nav_redpajama_baut2“>RedPajama baut LLaMA offen nach: Basisdatensatz verfügbar</h3><p>Ein weiteres Open-Source-Projekt arbeitet mit einem selbst erstellten Datensatz in ähnlichem Umfang: Mitte April 2023, wenige Tage vor dem Release von StableLM, hat eine hochkarätige Forschungskooperation aus den USA und Kanada mit Partnern den <a href=„https://www.heise.de/news/LLaMA-Nachbau-RedPajama-erste-dezentrale-Open-Source-KI-mit-offenem-Datensatz-8971752.html“><strong>Trainingsdatensatz für RedPajama veröffentlicht, der 1,2 Billionen Token umfasst [7]</strong></a> und ebenfalls das LLaMA-Paper als Vorbild nahm. RedPajama plant, eine quelloffene Modellserie auf dem neuesten Stand der Technik mit starken Leistungswerten zu veröffentlichen und das nicht freigegebene LLaMA so in Eigenregie in freier Lizenz nachzubauen. Anders als StableLM steht zumindest der Datensatz von RedPajama unter der Apache-2.0-Lizenz, damit trainierte Modelle und Anwendungen können uneingeschränkt auch kommerziell genutzt werden.</p><h3 class=„subheading“ id=„nav_laion_und_der3“>LAION und der Offene Brief</h3><p>Das an RedPajama beteiligte Large-Scale Artificial Intelligence Open Network (LAION e.V.) hatte zuvor angekündigt, dass Mitglieder des Netzwerkes große KI-Sprachmodelle auf dem neuesten Stand der Technik und mit vergleichbaren Fähigkeiten zu den leistungsfähigsten kommerziellen Angeboten erstellen wollen. Eine Petition zum <a href=„https://www.heise.de/news/Open-Source-KI-LAION-ruft-zu-offenem-GPT-4-Nachbau-auf-genug-Wissen-sei-da-8651446.html“><strong>Einrichten eines internationalen Hochleistungs-Rechenclusters für KI läuft zurzeit [8]</strong></a>, auch als Antwort auf den <a href=„https://www.heise.de/news/Tech-Prominenz-fordert-Pausiert-die-Entwicklung-der-Riesen-KI-Modelle-8178216.html“><strong>Offenen Brief des Future of Life Institute [9]</strong></a>, unterzeichnet von Elon Musk und weiteren Prominenten, die eine Entwicklungspause für große KI-Modelle gefordert hatten.</p><p>Zugleich hatte Musk eine eigene KI-Unternehmung angekündigt, die unter der Domain x.ai und mit dem Arbeitsnamen <a href=„https://www.heise.de/news/TruthGPT-Musk-warnt-vor-luegendem-ChatGPT-eigene-KI-sei-beste-Moeglichkeit-8970175.html“><strong>TruthGPT in Konkurrenz zu OpenAI [10]</strong></a> treten soll. Dass es sich hierbei um Open-Source-KI handeln wird, ist eher unwahrscheinlich.</p><h3 class=„subheading“ id=„nav_forschungsmodell4“>Forschungsmodelle mitveröffentlicht</h3><p>Neben den Alphaversionen von StableLM veröffentlicht Stability AI eine Reihe von Forschungsmodellen, die mit Anweisungen feingetuned sind. Diese Forschungsmodelle greifen auf Kombinationen verschiedener Open-Source-Datensätze für agentische Konversations-KI zu, nämlich auf die Datensätze von Alpaca, GPT4All, Dolly, ShareGPT und HH. Diese Modelle sind ausdrücklich nicht für kommerzielle Zwecke geeignet und dürfen nur zu Forschungszwecken verwendet werden. Ihre Lizenz ist eine nichtkommerzielle CC BY-NC-SA 4.0, analog zur Lizenz von Alpaca der Universität Stanford (einem der zahlreichen LLaMA-Ableger, die zu Forschungszwecken seitens Meta AI erlaubt waren).</p><p>Im Blogeintrag zum Release finden sich einige Konversationsbeispiele von StableLM-7B, dem größeren der beiden nun veröffentlichten Modelle. StableLM reiht sich nahtlos in die Bewegung inzwischen entstehender quelloffener KI-Modelle ein. Drei Schlagwörter liefert Stability AI zur Zielsetzung: Transparenz, Zugänglichkeit und Unterstützung. Die Open-Source-Modelle seien dazu da, die Nutzer zu unterstützen, nicht hingegen, sie zu ersetzen. Es gehe um effizente, spezialisierte und praktische KI-Anwendungen, die auch mit kleineren Modellen umzusetzen sei. Am Rennen um „Gott-gleiche KI“ wolle man sich ausdrücklich nicht beteiligen. Der Fokus liegt auf Alltagsanwendungen und einem Einsatz, der die Produktivität erhöht sowie die Menschen kreativer werden lässt, so die Stellungenahme im Blogeintrag.</p><p>Für Forscher ist relevant, dass sie den so veröffentlichten Modellen „unter die Haube schauen“ können, um gemeinschaftlich die Nachvollziehbarkeit und Erklärbarkeit von KI-Modellen zu verbessern, Risiken zu identifizieren und Sicherheitsmaßnahmen zu entwickeln. Privater und öffentlicher Bereich können Open-Source-Modelle an ihre Zwecke anpassen (Finetuning), ohne sensible Daten zu teilen oder die Kontrolle der KI-Fähigkeiten preiszugeben.</p><h3 class=„subheading“ id=„nav_technischer5“>Technischer Bericht folgt</h3><p><a href=„https://github.com/stability-AI/stableLM/“ rel=„external noopener“ target=„_blank“><strong>StableLM ist im GitHub-Repository [11]</strong></a> von Stability AI verfügbar. Ein technischer Bericht und Benchmarks zum Leistungsvergleich liegen zurzeit noch nicht vor, sollen aber „in der nahen Zukunft“ nachgereicht werden. Gleichzeitig mit dem Release beginnt ein Crowdsourcing-Programm für Reinforcement Learning mit menschlichem Feedback (RLHF), einer üblichen Praxis zum Finetunen großer Sprachmodelle.</p><p>Als Vorbild dienen hierbei <a href=„https://www.heise.de/news/OpenAssistant-an-open-Alternative-to-ChatGPT-Conversational-AI-for-Everyone-8971294.html“><strong>Community-Arbeiten wie bei OpenAssistant [12]</strong></a>, dessen Projekt in gemeinschaftlicher Arbeit einen hochwertigen, qualitätsgesicherten und frei zugänglichen Basisdatensatz für KI-Assistenten veröffentlicht hat. <a href=„https://stability.ai/blog/stability-ai-launches-the-first-of-its-stablelm-suite-of-language-models“ rel=„external noopener“ target=„_blank“><strong>Weitere Details [13]</strong></a> lassen sich dem Blogeintrag entnehmen.</p><p>() </p><p><strong>URL dieses Artikels:</strong><small><code>https://www.heise.de/-8973343</code></small></p><p><strong>Links in diesem Artikel:</strong><small><code><strong>[1]</strong> https://creativecommons.org/licenses/by-sa/4.0/deed.de</code></small><small><code><strong>[2]</strong> https://www.heise.de/hintergrund/Chancen-und-Risiken-Copyleft-in-der-Softwareentwicklung-4926808.html</code></small><small><code><strong>[3]</strong> https://www.heise.de/news/Copyleft-org-Was-Sie-schon-immer-ueber-die-GPL-wissen-wollten-2445300.html</code></small><small><code><strong>[4]</strong> https://www.heise.de/news/OpenAssistant-an-open-Alternative-to-ChatGPT-Conversational-AI-for-Everyone-8971294.html</code></small><small><code><strong>[5]</strong> https://arxiv.org/abs/2101.00027</code></small><small><code><strong>[6]</strong> https://twitter.com/sepia_fw/status/1648721507919491073</code></small><small><code><strong>[7]</strong> https://www.heise.de/news/LLaMA-Nachbau-RedPajama-erste-dezentrale-Open-Source-KI-mit-offenem-Datensatz-8971752.html</code></small><small><code><strong>[8]</strong> https://www.heise.de/news/Open-Source-KI-LAION-ruft-zu-offenem-GPT-4-Nachbau-auf-genug-Wissen-sei-da-8651446.html</code></small><small><code><strong>[9]</strong> https://www.heise.de/news/Tech-Prominenz-fordert-Pausiert-die-Entwicklung-der-Riesen-KI-Modelle-8178216.html</code></small><small><code><strong>[10]</strong> https://www.heise.de/news/TruthGPT-Musk-warnt-vor-luegendem-ChatGPT-eigene-KI-sei-beste-Moeglichkeit-8970175.html</code></small><small><code><strong>[11]</strong> https://github.com/stability-AI/stableLM/</code></small><small><code><strong>[12]</strong> https://www.heise.de/news/OpenAssistant-an-open-Alternative-to-ChatGPT-Conversational-AI-for-Everyone-8971294.html</code></small><small><code><strong>[13]</strong> https://stability.ai/blog/stability-ai-launches-the-first-of-its-stablelm-suite-of-language-models</code></small><small><code><strong>[14]</strong> mailto:sih@ix.de</code></small></p><p class=„printversioncopyright“><em>Copyright © 2023 Heise Medien</em></p> </html>
Falls nicht anders bezeichnet, ist der Inhalt dieses Wikis unter der folgenden Lizenz veröffentlicht: CC Attribution-Noncommercial-Share Alike 4.0 International