Glauben Sie bei generativer KI nicht dem Hype (oder dem Anti-Hype)

Keine Technologie in der Menschheitsgeschichte hat in so kurzer Zeit so viel Interesse geweckt wie die generative KI (Generation KI). Viele führende Technologieunternehmen stecken Milliarden von Dollar in das Training großer Sprachmodelle (LLMs). Aber kann diese Technologie die Investition rechtfertigen? Kann sie dem Hype überhaupt gerecht werden?

Große Hoffnungen

Im Frühjahr 2023 – eine ziemlich lange Zeit im Bereich der künstlichen Intelligenz (KI) – veröffentlichte Goldman Sachs einen Bericht, in dem geschätzt wurde, dass die Entstehung generativer KI das globale BIP jährlich um 7% steigern (Link führt zu Seite außerhalb von IBM.com), was einem Zuwachs von über 7 Billionen US-Dollar pro Jahr entspricht.

Wie könnte generative KI dies erreichen? Die Einsatzmöglichkeiten dieser Technologie sind vielfältig, aber im Allgemeinen kann man sie als Verbesserung der Effizienz der Kommunikation zwischen Mensch und Maschine beschreiben. Diese Verbesserung wird zur Automatisierung einfacher Aufgaben und zur Erweiterung menschlicher Fähigkeiten führen, sodass Arbeitnehmer mehr und kompetenter leisten können.

Aufgrund der vielfältigen Einsatzmöglichkeiten und der Komplexität der generativen KI könnten viele Medienberichte die Leser zu der Annahme verleiten, dass die Technologie ein nahezu magisches Allheilmittel sei. Tatsächlich prägte diese Perspektive einen Großteil der Berichterstattung über generative KI, als die Veröffentlichung von ChatGPT und anderen Tools im Jahr 2022 die Technologie in den Mainstream brachte, und einige Analysten sagten voraus, dass wir am Rande einer Revolution stünden, die die Zukunft der Arbeit neu gestalten würde.

4 Krisen

Nicht einmal zwei Jahre später hat sich die mediale Begeisterung für generative KI etwas abgekühlt. Im Juni veröffentlichte Goldman Sachs eine weitere Bericht (Link befindet sich außerhalb von IBM.com) mit einer gemäßigteren Einschätzung und stellt die Frage, ob die Vorteile der generativen KI die Billionen-Dollar-Investition in ihre Entwicklung rechtfertigen könnten. Financial Times (Link führt zu Seite außerhalb von IBM.com) veröffentlichte unter anderem einen Meinungsartikel mit ähnlich skeptischer Sicht. Das Team des IBM Think Newsletters fasste einige dieser Unsicherheiten in einem früheren Beitrag zusammen und reagierte darauf.

Die darauf folgenden Schwankungen an den Aktienmärkten veranlassten mehrere Analysten zu der Behauptung, die „KI-Blase“ stehe kurz vor dem Platzen, und es könne zu einer Marktkorrektur im Ausmaß des Dotcom-Crashs in den 90er-Jahren kommen.

Die mediale Skepsis gegenüber generativer KI lässt sich grob in vier unterschiedliche Krisen unterteilen, mit denen Entwickler konfrontiert sind:

• Die Datenkrise: Die riesigen Datenmengen, die zur Ausbildung von LLMs verwendet werden, verlieren an Wert. Verlage und Online-Plattformen sperren ihre Daten, und unsere Nachfrage nach Trainingsdaten könnte das Angebot bald erschöpfen.
• Die Computerkrise: Die Nachfrage nach Grafikprozessoren (GPUs) zur Verarbeitung dieser Daten führt zu einem Engpass bei der Chipversorgung.
• Die Energiekrise: Unternehmen, die die größten LLMs entwickeln, verbrauchen jedes Jahr mehr Strom, und unsere derzeitige Energieinfrastruktur ist nicht darauf ausgelegt, mit der Nachfrage Schritt zu halten.
• Die Use-Case-Krise: Generative KI hat ihre „Killer-App“ im Unternehmenskontext noch nicht gefunden. Einige besonders pessimistische Kritiker meinen, dass zukünftige Anwendungen möglicherweise nicht über den Status eines „Salontricks“ hinausgehen werden.

Dies sind ernsthafte Hürden, aber viele bleiben optimistisch, dass die Lösung des letzten Problems (Anwendungsfälle) zur Lösung der anderen drei beitragen wird. Die gute Nachricht ist, dass sie bereits sinnvolle Anwendungsfälle identifizieren und daran arbeiten.

Aus dem Hype-Zyklus ausbrechen

„Generative KI hat einen deutlichen, messbaren Einfluss auf uns und unsere Kunden und verändert unsere Arbeitsweise grundlegend“, sagt Chris Hay, renommierter Ingenieur bei IBM. „Dies betrifft alle Branchen und Disziplinen, von der Umgestaltung von HR-Prozessen und Marketing-Transformationen über Markeninhalte bis hin zu Contact Centern oder Softwareentwicklung.“ Hay glaubt, dass wir uns in der Korrekturphase befinden, die oft auf eine Phase ungezügelter Begeisterung folgt, und vielleicht kann der jüngste Pessimismus der Medien als Versuch gesehen werden, frühere Aussagen auszugleichen, die im Nachhinein wie Hype wirken.

„Ich möchte nicht dieser Analyst sein“, sagt Hay und bezieht sich damit auf eine der düstereren Prognosen der letzten Zeit über die Zukunft der KI. „Ich möchte nicht die Person sein, die sagt: ‚KI wird in den nächsten zehn Jahren nichts Nützliches leisten‘, denn das wird man für den Rest seines Lebens zu diesem Thema sagen müssen.“

Solche Aussagen könnten sich als ebenso kurzsichtig erweisen wie Behauptungen, dass das frühe Internet nicht viel bringen würde, oder die Vermutung des IBM-Gründers Thomas Watson aus dem Jahr 1943, dass die Welt nicht mehr als 5 Computer brauchen würde. Hay argumentiert, dass ein Teil des Problems darin besteht, dass die Medien die KI der Generation oft mit einer engeren Anwendung von LLM-gestützten Chatbots wie ChatGPT verwechseln, die tatsächlich möglicherweise nicht in der Lage sind, alle Probleme zu lösen, mit denen Unternehmen konfrontiert sind.

Grenzen überwinden und innerhalb dieser Grenzen arbeiten

Wenn es zu Versorgungsengpässen kommt – sei es bei Daten, Computern oder Strom –, werden die Ingenieure laut Hay kreativ werden, um diese Hindernisse zu beseitigen.

„Wenn man etwas im Überfluss hat, verbraucht man es“, sagt Hay. „Wenn man Hunderttausende von GPUs herumliegen hat, wird man sie auch nutzen. Aber wenn es Einschränkungen gibt, wird man kreativer.“

Synthetische Daten beispielsweise stellen eine vielversprechende Möglichkeit dar, der Datenkrise zu begegnen. Diese Daten werden algorithmisch erstellt, um die Eigenschaften realer Daten nachzuahmen, und können als Alternative oder Ergänzung zu diesen dienen. Während Ingenieure im Bereich maschinelles Lernen darauf achten müssen, synthetische Daten nicht zu stark zu verwenden, könnte ein hybrider Ansatz dazu beitragen, den Mangel an realen Daten kurzfristig zu überwinden. Beispielsweise wurden die jüngsten Microsoft PHI-3.5-Modelle oder Hugging Face SMOL-Modelle mit beträchtlichen Mengen synthetischer Daten trainiert, was zu äußerst leistungsfähigen kleinen Modellen führte.

Die heutigen LLMs sind stromhungrig, aber es gibt wenig Grund zu der Annahme, dass aktuelle Transformatoren die endgültige Architektur sind. SSM-basierte Modelle wie Mistral Codestral Mamba, Jamba 1.5 oder Falcon Mamba 1.5 werden aufgrund ihrer erweiterten Kontextlängenfähigkeiten immer beliebter. Auch Hybridarchitekturen, die mehrere Modelltypen verwenden, gewinnen an Bedeutung. Über die Architektur hinaus erkennen Ingenieure den Wert anderer Methoden wie Quantisierung, speziell für Inferenz entwickelte Chips und Feinabstimmung, eine Deep-Learning-Technik, bei der ein vorab trainiertes Modell für bestimmte Anwendungsfälle angepasst wird.

„Ich würde mir wünschen, dass sich die Branche mehr um die Feinabstimmung als um das Vortraining kümmert“, sagt Hay. „Das Vortraining ist der teuerste Teil des Prozesses. Die Feinabstimmung ist viel billiger und man kann potenziell viel mehr Nutzen daraus ziehen.“

Hay vermutet, dass wir in Zukunft möglicherweise mehr GPUs haben werden, als wir brauchen, weil unsere Techniken viel effizienter geworden sind. Kürzlich hat er damit experimentiert, einen persönlichen Laptop in eine Maschine zum Trainieren von Modellen umzuwandeln. Indem er effizientere Datenpipelines neu aufbaut und mit Batching herumtüftelt, findet er Wege, innerhalb der Beschränkungen zu arbeiten. Natürlich hätte er all dies auch auf einer teuren H100 Tensor Core GPU tun können, aber eine Knappheitsmentalität ermöglichte es ihm, effizientere Wege zu finden, um die gewünschten Ergebnisse zu erzielen. Not war die Mutter der Erfindung.

Kleiner denken

Die Modelle werden kleiner und leistungsfähiger.

„Wenn man sich die kleineren Modelle von heute ansieht, werden sie mit mehr Token trainiert als die größeren Modelle vom letzten Jahr“, sagt Hay. „Die Leute stopfen mehr Token in kleinere Modelle und diese Modelle werden effizienter und schneller.“

„Wenn wir über Anwendungen von KI zur Lösung realer Geschäftsprobleme nachdenken, stellen wir fest, dass diese Spezialmodelle immer wichtiger werden“, sagt Brent Smolinksi, IBMs globaler Leiter für Technologie-, Daten- und KI-Strategie. Dazu gehören sogenannte kleine Sprachmodelle und nicht-generative Modelle wie Prognosemodelle, die einen engeren Datensatz erfordern. In diesem Zusammenhang ist die Datenqualität oft wichtiger als die Quantität. Außerdem verbrauchen diese Spezialmodelle weniger Strom und sind leichter zu steuern.

„Es wird viel geforscht, um rechnerisch effizientere Algorithmen zu entwickeln“, fügt Smolinksi hinzu. Effizientere Modelle gehen auf alle vier genannten Krisen ein: Sie verbrauchen weniger Daten, Strom und Rechenleistung und sind schneller, was neue Anwendungsfälle ermöglicht.

„Die LLMs sind großartig, weil sie eine sehr natürliche Konversationsschnittstelle haben, und je mehr Daten Sie einspeisen, desto natürlicher fühlt sich die Konversation an“, sagt Smolinksi. „Aber diese LLMs sind im Kontext enger Domänen oder Probleme anfällig für Halluzinationen, was ein echtes Problem darstellt. Daher entscheiden sich unsere Kunden oft für kleine Sprachmodelle, und wenn die Schnittstelle nicht vollkommen natürlich ist, ist das in Ordnung, denn für bestimmte Probleme muss sie das auch nicht sein.“

Agenten-Workflows

Generative KI ist vielleicht kein Allheilmittel, aber ein mächtiges Werkzeug. Denken Sie an den agentenbasierten Workflow, der sich auf einen mehrstufigen Ansatz zur Verwendung von LLMs und KI-Agenten zur Ausführung von Aufgaben bezieht. Diese Agenten agieren mit einem gewissen Maß an Unabhängigkeit und Entscheidungsfähigkeit und interagieren mit Daten, Systemen und manchmal auch Menschen, um die ihnen zugewiesenen Aufgaben zu erledigen. Spezialisierte Agenten können für die Bearbeitung bestimmter Aufgaben oder Fachgebiete entwickelt werden und bringen tiefgreifendes Wissen und Erfahrung mit, die LLMs möglicherweise fehlen. Diese Agenten können entweder auf spezialisiertere Daten zurückgreifen oder domänenspezifische Algorithmen und Modelle integrieren.

Stellen Sie sich ein Telekommunikationsunternehmen vor, in dem ein von einem LLM orchestrierter Agenten-Workflow Kundensupportanfragen effizient verwaltet. Wenn ein Kunde eine Anfrage einreicht, verarbeitet das LLM die Anfrage, kategorisiert das Problem und veranlasst bestimmte Agenten, verschiedene Aufgaben zu erledigen. Beispielsweise ruft ein Agent die Kontodetails des Kunden ab und überprüft die bereitgestellten Informationen, während ein anderer das Problem diagnostiziert, beispielsweise das Netzwerk überprüft oder Abrechnungsdiskrepanzen untersucht.

Wenn das Problem identifiziert ist, formuliert ein dritter Agent eine Lösung, sei es das Zurücksetzen der Geräte, das Angebot einer Rückerstattung oder die Vereinbarung eines Technikerbesuchs. Das LLM unterstützt dann einen Kommunikationsagenten bei der Formulierung einer personalisierten Antwort an den Kunden und trägt dazu bei, sicherzustellen, dass die Nachricht klar und im Einklang mit der Markenstimme des Unternehmens ist. Nach der Lösung des Problems wird eine Feedbackschleife eingeleitet, in der ein Agent Kundenfeedback sammelt, um die Zufriedenheit zu ermitteln. Wenn der Kunde unzufrieden ist, überprüft das LLM das Feedback und löst möglicherweise andere Folgemaßnahmen aus, beispielsweise einen Anruf von einem menschlichen Agenten.

LLMs sind zwar vielseitig, können aber bei Aufgaben, die tiefgehende Fachkenntnisse oder Spezialwissen erfordern, Schwierigkeiten haben, insbesondere wenn diese Aufgaben außerhalb der Trainingsdaten des LLMs liegen. Sie sind außerdem langsam und nicht gut geeignet, um Echtzeitentscheidungen in dynamischen Umgebungen zu treffen. Im Gegensatz dazu können Agenten autonom und proaktiv in Echtzeit agieren, indem sie einfachere Entscheidungsalgorithmen verwenden.

Im Gegensatz zu großen, monolithischen LLMs können Agenten auch so konzipiert werden, dass sie von ihrer Umgebung lernen und sich an sie anpassen. Sie können Verstärkungslernen oder Feedbackschleifen verwenden, um die Leistung im Laufe der Zeit zu verbessern, indem sie Strategien basierend auf dem Erfolg oder Misserfolg vorheriger Aufgaben anpassen. Agenten-Workflows selbst generieren neue Daten, die dann für weiteres Training verwendet werden können.

Dieses Szenario zeigt, dass ein LLM zwar ein nützlicher Teil der Lösung eines Geschäftsproblems ist, aber nicht die gesamte Lösung darstellt. Das ist eine gute Nachricht, denn der LLM ist oft der teuerste Teil der Wertschöpfungskette.

Ein Blick über den Hype hinaus

Smolinksi argumentiert, dass Menschen oft ins Extreme verfallen, wenn sie von neuen Technologien begeistert sind. Wir glauben vielleicht, dass eine neue Technologie die Welt verändern wird, und wenn dies nicht der Fall ist, werden wir möglicherweise übermäßig pessimistisch.

„Ich denke, die Antwort liegt irgendwo in der Mitte“, sagt er und argumentiert, dass KI Teil einer umfassenderen Strategie zur Lösung geschäftlicher Probleme sein muss. „In der Regel ist es nie KI allein, und selbst wenn, werden möglicherweise mehrere Arten von KI-Modellen verwendet, die Sie gemeinsam anwenden, um ein Problem zu lösen. Aber Sie müssen mit dem Problem beginnen. Wenn es eine KI-Anwendung gibt, die einen wesentlichen Einfluss auf Ihre Entscheidungsfähigkeit haben könnte, der wiederum zu erheblichen finanziellen Auswirkungen führen würde, konzentrieren Sie sich auf diese Bereiche und finden Sie dann heraus, wie Sie die richtigen Technologien und KI anwenden können. Nutzen Sie das gesamte Toolkit, nicht nur LLMs, sondern die gesamte Bandbreite der verfügbaren Tools.“

Was die sogenannte „Anwendungsfallkrise“ angeht, ist Hay zuversichtlich, dass noch mehr überzeugende Anwendungsfälle auftauchen werden, die die Kosten dieser Modelle rechtfertigen.

„Wer wartet, bis die Technologie perfekt ist, und erst dann auf den Markt kommt, wenn alles normalisiert ist, riskiert schnell einen Umbruch“, sagt er. „Ich bin mir nicht sicher, ob ich dieses Risiko eingehen würde.“

Entdecken Sie noch heute das IBM® watsonx.ai™ AI Studio