Vollständiger Leitfaden zu LLM-Agenten (2025)

Sie kennen wahrscheinlich das Top-Thema des Jahres: KI-Agenten.

Die meisten dieser KI-Agenten sind LLM-Agenten. Warum?

"In den letzten Jahren haben sich autonome Agenten verändert", erklärt Botpress-CEO Sylvain Perron. "Die zugrundeliegenden Modelle sind besser geworden. LLMs haben eine neue Ebene des Denkens und der Abstraktion ermöglicht."

Mit der Leistungsfähigkeit von LLMs lassen sich KI-Agenten bauen, die jede Art von sprach- oder denkbasierter Aufgabe erledigen können.

Dank ihrer sprachlichen und analytischen Fähigkeiten übernehmen sie nach und nach Aufgaben in Büros, da über 80 % der Unternehmen planen, KI-Agenten einzusetzen – und das in den nächsten Jahren.

Während die breite Kategorie der KI-Agenten auch nicht-sprachliche Anwendungen umfasst (wie Empfehlungssysteme, Bilderkennung, Robotersteuerung usw.), sind LLM-Agenten meist konversationelle KI-Software.

Was sind LLM-Agenten?

LLM-Agenten sind KI-gestützte Tools, die große Sprachmodelle nutzen, um Sprache zu interpretieren, Gespräche zu führen und Aufgaben zu erledigen.

Diese Agenten basieren auf komplexen Algorithmen, die mit riesigen Textmengen trainiert wurden. Dadurch können sie Sprache verstehen und erzeugen – ähnlich wie in menschlicher Kommunikation.

LLM-Agenten lassen sich in KI-Agenten, KI-Chatbots, virtuelle Assistenten, Content-Generatoren und andere Anwendungen integrieren.

Wie funktionieren LLM-Agenten?

LLM-Agenten kombinieren die Fähigkeiten eines LLM mit Abruf, Schlussfolgerung, Gedächtnis und Werkzeugnutzung, um Aufgaben eigenständig zu erledigen. Schauen wir uns an, was diese Komponenten leisten.

‍

In Kombination ermöglichen diese Fähigkeiten LLM-Agenten, komplexe, mehrstufige Arbeitsabläufe völlig eigenständig auszuführen.

Zum Beispiel:

• Ein B2B-Vertriebsagent ruft CRM-Daten zu einem Interessenten ab, analysiert den Stand des Deals, erinnert sich an frühere Interaktionen, um die Nachverfolgung zu personalisieren, und nutzt E-Mail- und Kalender-APIs zum Versenden und Planen.
• Ein IT-Agent ruft Systemprotokolle ab, um einen Fehler zu diagnostizieren, analysiert Lösungsschritte für die beste Strategie, erinnert sich an frühere erfolgreiche Maßnahmen und führt Skripte aus, um Dienste neu zu starten oder ein Ticket zu erstellen.

Welche 4 Merkmale zeichnen einen LLM-Agenten aus?

Es gibt vier zentrale Merkmale eines LLM-Agenten:

1. Sprachmodell

Das Sprachmodell gilt oft als das „Gehirn“ eines LLM-Agenten. Seine Qualität und Größe bestimmen maßgeblich die Leistungsfähigkeit des Agenten.

Es handelt sich um einen ausgefeilten Algorithmus, der mit riesigen Textdatensätzen trainiert wurde. Dadurch kann er Kontext verstehen, Muster erkennen und zusammenhängende, relevante Antworten erzeugen.

• Sprachmuster erkennen und erlernen
• Ein gewisses Maß an Kontextverständnis gewinnen (dank der umfangreichen Trainingsdaten)
• Sich an verschiedene Bereiche anpassen und eine Vielzahl von Themen abdecken

Das Sprachmodell bestimmt die Tiefe, Genauigkeit und Relevanz der Antworten und bildet damit die Grundlage der sprachlichen Fähigkeiten des Agenten.

2. Gedächtnis

Gedächtnis bezeichnet die Fähigkeit, Informationen aus früheren Interaktionen zu behalten – etwa Fakten, Nutzerpräferenzen oder Themen über mehrere Sitzungen hinweg.

Das verbessert das Kontextverständnis des Agenten und sorgt für zusammenhängende, relevante Gespräche.

In manchen Setups kann das Gedächtnis Informationen über längere Zeit speichern. Das ermöglicht langfristige Interaktionen, bei denen der Agent aus wiederholtem Nutzerverhalten oder Präferenzen „lernt“ – meist jedoch reguliert im Hinblick auf Datenschutz und Relevanz.

3. Werkzeugnutzung

Die Werkzeugnutzung hebt einen LLM-Agenten von der reinen Konversation zur aktiven Handlung.

Ein LLM-Agent kann sich mit externen Anwendungen, Datenbanken oder APIs verbinden, um bestimmte Funktionen auszuführen.

Das bedeutet, er kann Echtzeitinformationen abrufen, externe Aktionen ausführen oder auf spezielle Datenbanken zugreifen – und so aktuelle Informationen bereitstellen. Dazu gehören:

• APIs aufrufen
• Live-Daten einbinden, wie Wetterberichte oder Aktienkurse
• Meetings oder Termine planen
• Datenbanken abfragen, etwa Produktkataloge oder HR-Richtlinien

Durch Werkzeugnutzung wird der LLM-Agent von einem passiven, wissensbasierten System zu einem aktiven Teilnehmer, der mit anderen Systemen interagieren kann.

4. Planung

Planung ist die Fähigkeit eines LLM-Agenten, komplexe Aufgaben in eine Reihe überschaubarer Schritte zu unterteilen.

Ein LLM-Agent kann mit oder ohne Feedback planen. Was ist der Unterschied?

• Planung ohne Feedback bedeutet, dass der LLM-Agent einen Plan auf Basis seines ersten Verständnisses erstellt. Das ist schneller und einfacher, aber weniger anpassungsfähig.
• Planung mit Feedback bedeutet, dass der LLM-Agent seinen Plan laufend anpassen kann, indem er Rückmeldungen aus seiner Umgebung einbezieht. Das ist komplexer, macht ihn aber flexibler und verbessert die Leistung im Laufe der Zeit.

Durch Planung kann ein LLM-Agent logische Abläufe schaffen, die Schritt für Schritt zur Lösung führen – und so komplexe Anfragen effektiver bearbeiten.

Welche 4 Typen von LLM-Agenten gibt es?

1. Konversationelle Agenten (z. B. Kundensupport & Leadgenerierung)

Diese Agenten führen natürliche Dialoge mit Nutzern – sie geben oft Auskünfte, beantworten Fragen und unterstützen bei verschiedenen Aufgaben.

Sie verlassen sich auf LLMs, um menschlich wirkende Antworten zu verstehen und zu generieren.

Beispiele: Kundensupport-Agenten und Gesundheits-Chatbots

2. Aufgabenorientierte Agenten (z. B. KI-Assistenten & KI-Workflows)

Diese Agenten sind darauf spezialisiert, bestimmte Aufgaben zu erledigen oder vorgegebene Ziele zu erreichen. Sie interagieren mit Nutzern, um deren Bedürfnisse zu verstehen, und führen dann entsprechende Aktionen aus.

Beispiele: KI-Assistenten und HR-Bots

3. Kreative Agenten (z. B. Content-Generatoren)

Diese Agenten können originelle und kreative Inhalte wie Kunstwerke, Musik oder Texte erzeugen. Sie nutzen LLMs, um menschliche Vorlieben und künstlerische Stile zu verstehen und Inhalte zu erstellen, die beim Publikum ankommen.

Beispiele: Content-Generatoren und Bildgeneratoren (wie Dall-E)

4. Kollaborative Agenten (z. B. Enterprise-KI-Agenten)

Diese Agenten arbeiten mit Menschen zusammen, um gemeinsame Ziele oder Aufgaben zu erreichen. Sie erleichtern Kommunikation, Koordination und Zusammenarbeit im Team oder zwischen Mensch und Maschine.

LLMs unterstützen kollaborative Agenten, indem sie bei Entscheidungen helfen, Berichte erstellen oder Einblicke liefern.

Beispiele: Die meisten Enterprise-KI-Agenten und Projektmanagement-Chatbots

Wie nutzen Unternehmen LLM-Agenten?

Unternehmen profitieren von LLM-Agenten überall dort, wo natürliche Sprache verarbeitet und beantwortet werden muss – etwa bei Anfragen, Beratung, Automatisierung von Abläufen oder Textanalyse.

LLM-Agenten werden häufig für Marketing, Datenanalyse, Compliance, juristische Unterstützung, Gesundheitswesen, Finanzaufgaben und Bildung eingesetzt.

Hier sind drei der beliebtesten Anwendungsfälle für LLM-Agenten:

Kundensupport

Laut einer Studie mit 167 Unternehmen von Automatisierungsexperte Pascal Bornet ist Kundenservice der beliebteste Anwendungsfall für den Einsatz von LLM-Agenten.

LLM-Agenten werden im Kundensupport häufig eingesetzt, um häufig gestellte Fragen zu beantworten, Probleme zu lösen und rund um die Uhr zu unterstützen.

Diese Agenten können in Echtzeit mit Kunden interagieren, sofort helfen oder komplexe Anfragen an menschliche Mitarbeiter weiterleiten.

Siehe auch: Was ist ein Kundenservice-Chatbot?

Vertrieb und Lead-Generierung

Im Vertrieb werden LLM-Agenten für KI-gestützte Leadgenerierung eingesetzt – sie können potenzielle Kunden nicht nur ansprechen, sondern auch im Anschluss qualifizieren, indem sie Gespräche führen, den Bedarf einschätzen und wertvolle Informationen sammeln.

Sie können auch Nachfassaktionen automatisieren und personalisierte Empfehlungen oder Produktinfos basierend auf den Interessen des Kunden versenden.

Siehe auch: Wie man KI im Vertrieb einsetzt

Interner Support: HR und IT

Für den internen Support vereinfachen LLM-Agenten HR- und IT-Prozesse, indem sie häufige Mitarbeiteranfragen bearbeiten.

Tatsächlich ergab die Bornet-Studie, dass LLM-Agenten im internen Betrieb am kosteneffizientesten waren und 30–90 % der Zeit einsparen, die zuvor für interne Aufgaben benötigt wurde.

Im HR beantworten sie Fragen zu Themen wie Sozialleistungen, Urlaubsregelungen und Gehalt, während sie im IT-Bereich bei technischen Problemen helfen oder Routineaufgaben wie das Anlegen von Konten automatisieren.

Dadurch können sich HR- und IT-Teams auf komplexere Aufgaben konzentrieren, statt auf wiederkehrende Routinearbeiten.

Siehe auch: Beste KI-Agenten für HR

Wie man LLM-Agenten-Antworten verbessert

Wenn Sie ein LLM für ein KI-Projekt anpassen, möchten Sie wahrscheinlich die Standardantworten eines öffentlichen Modells verändern. (Ihr Chatbot soll schließlich nicht die Konkurrenz empfehlen, oder?) Vielleicht möchten Sie auch individuelle Geschäftslogik einbauen, damit er eher wie ein geschulter Mitarbeiter agiert als wie ein Zufallsgenerator.

Es gibt vier grundlegende Ansätze, um die Qualität von LLM-Antworten zu verbessern:

1. RAG
2. Fine-Tuning
3. N-Shot-Learning
4. Prompt Engineering

1. Retrieval-augmented Generation

RAG ist ein schicker Name für etwas, das wir alle schon in ChatGPT gemacht haben: Text einfügen und dazu eine Frage stellen.

Ein typisches Beispiel ist die Frage, ob ein Produkt in einem Onlineshop verfügbar ist – der Chatbot sucht dann im Produktkatalog nach, statt im gesamten Internet.

Für schnelle Entwicklung und aktuelle Informationen ist RAG unverzichtbar.

Die Wahl des Modells beeinflusst das meist nicht. Sie können aber problemlos einen LLM-API-Endpunkt erstellen, der Informationen abfragt und Antworten liefert – und diesen wie ein eigenes LLM nutzen.

RAG für einen wissensbasierten Chatbot ist oft leichter zu pflegen, da Sie kein Modell feinabstimmen und aktuell halten müssen – das spart auch Kosten.

2. Feintuning

Beim Fine-Tuning geben Sie Ihrem Modell Beispiele, damit es eine bestimmte Aufgabe besser lernt. Wenn es sich auf Ihr Produkt spezialisieren soll, könnten Sie ihm etwa viele Beispiele Ihrer besten Verkaufsgespräche geben.

Wenn das Modell Open Source ist, prüfen Sie, ob Ihr Team genug Kapazitäten für das Fine-Tuning hat.

Bei geschlossenen Modellen, die als Service angeboten werden – wie GPT-4 oder Claude – können Ihre Entwickler meist über APIs eigene Modelle feinabstimmen. Das ist deutlich teurer, aber der Wartungsaufwand ist gering.

Für viele Anwendungsfälle ist Fine-Tuning jedoch nicht der erste Schritt zur Optimierung Ihres Modells.

Ein gutes Beispiel für Fine-Tuning ist ein Wissens-Bot für statisches Wissen. Mit Beispielen von Fragen und Antworten kann er diese später beantworten, ohne nachschlagen zu müssen. Für Echtzeit-Informationen ist das jedoch keine praktische Lösung.

3. N-shot Learning

Am schnellsten verbessern Sie die Antwortqualität, indem Sie Beispiele direkt in einem einzelnen LLM-API-Aufruf mitgeben.

Zero-Shot – also keine Beispiele für die gewünschte Antwort – ist die übliche Nutzung von ChatGPT. Schon ein Beispiel (One-Shot) kann die Antwortqualität deutlich steigern.

Mehr als ein Beispiel gilt als N-Shot. Im Gegensatz zum Fine-Tuning verändert N-Shot das Modell nicht. Sie geben einfach jedes Mal Beispiele mit, bevor Sie eine Antwort anfordern.

Diese Strategie hat jedoch Grenzen: LLMs haben eine maximale Kontextgröße und die Kosten richten sich nach der Nachrichtenlänge. Fine-Tuning kann den Bedarf an N-Shot-Beispielen verringern, benötigt aber mehr Zeit.

4. Prompt Engineering-Techniken

Es gibt weitere Techniken wie Chain-of-Thought, bei denen das Modell gezwungen wird, seine Gedanken vor der Antwort zu formulieren.

Außerdem gibt es Prompt Chaining, bei dem Modelle komplexe Aufgaben in kleinere Schritte zerlegen, indem mehrere Prompts nacheinander ausgeführt werden.

Diese Strategien können die Qualität und Zuverlässigkeit der Antworten deutlich steigern – besonders bei Aufgaben, die viel Nachdenken erfordern. Allerdings führen sie oft zu längeren Antworten, höherem Tokenverbrauch und langsamerer Performance.

Das erhöht die Antwortqualität, führt aber zu längeren, teureren und langsameren Antworten.

Wie man einen LLM-Agenten in 6 Schritten baut

1. Ziele definieren

Der erste Schritt beim Erstellen eines KI-Agenten oder Chatbots ist, genau festzulegen, was er erreichen soll.

Klären Sie, was der LLM-Agent leisten soll – ob er Kundenanfragen beantwortet, Inhalte generiert oder bestimmte Aufgaben übernimmt.

Klare Ziele bestimmen die Einrichtung und Konfiguration des Agenten.

2. Wählen Sie eine KI-Plattform

Die beste KI-Plattform hängt ganz von Ihren Zielen und Anforderungen ab.

Wählen Sie eine Plattform, die zu Ihren Anforderungen passt – achten Sie auf Anpassungsmöglichkeiten, Integrationen, Benutzerfreundlichkeit und Support.

Die Plattform sollte:

• Ihren gewünschten Anwendungsfall unterstützen
• Bieten Sie Ihre bevorzugten LLMs an
• Bieten Sie Integrationsmöglichkeiten an

3. LLM konfigurieren

Wählen Sie je nach Plattform entweder ein vorgefertigtes LLM oder passen Sie ein Modell für spezielle Aufgaben an, falls nötig.

Viele Plattformen bieten integrierte Sprachmodelle, die vortrainiert und sofort einsatzbereit sind.

Wenn Sie Ihre LLM-Nutzung anpassen möchten, lesen Sie unseren Artikel über die Auswahl einer individuellen LLM-Option für Ihr KI-Projekt von unserem Growth Engineer Patrick Hamelin.

4. Tools integrieren

Die meisten Plattformen bieten Integrationsmöglichkeiten für externe Tools. Verbinden Sie alle APIs, Datenbanken oder Ressourcen, auf die Ihr Agent zugreifen muss, wie CRM-Daten oder Echtzeitinformationen.

5. Testen und optimieren

Testen Sie den Agenten gründlich mit den integrierten Testtools der Plattform. Passen Sie Parameter, Formulierungen und Abläufe auf Basis der Testergebnisse an, damit der Agent in realen Situationen zuverlässig funktioniert.

6. Bereitstellen und überwachen

Nutzen Sie die Überwachungstools der Plattform, um die Interaktionen und die Leistung des Agents nach der Bereitstellung zu verfolgen.

Sammeln Sie Erkenntnisse und passen Sie die Konfiguration bei Bedarf an – nutzen Sie dabei alle Feedback-Mechanismen der Plattform.

Eigenen LLM-Agenten bereitstellen

LLM-Agenten werden in Unternehmen immer häufiger eingesetzt – im Kundenservice, in internen Abläufen und im E-Commerce. Unternehmen, die mit der Einführung zögern, werden die Folgen des Verpassens der KI-Welle zu spüren bekommen.

Botpress ist eine grenzenlos erweiterbare KI-Agenten-Plattform für Unternehmen. Unser Stack ermöglicht es Entwicklern, LLM-Agenten mit allen gewünschten Funktionen zu erstellen.

Unsere erweiterte Sicherheits-Suite stellt sicher, dass Kundendaten jederzeit geschützt und vollständig von Ihrem Entwicklungsteam kontrolliert werden.

Fangen Sie noch heute an zu bauen. Es ist kostenlos.

Oder kontaktieren Sie unser Team, um mehr zu erfahren.

FAQs

1. Was ist der Unterschied zwischen einem LLM-Agenten und einem Chatbot?

Ein Chatbot folgt meist festen Skripten oder Abläufen, während ein LLM-Agent flexibler ist. LLM-Agenten nutzen ein großes Sprachmodell, um zu schlussfolgern, Informationen abzurufen, Tools zu verwenden und Entscheidungen zu treffen.

2. Können LLM-Agenten auch ohne Internetverbindung funktionieren?

LLM-Agenten können teilweise ohne Internet funktionieren, wenn alles Notwendige (wie das Sprachmodell und die Daten) lokal läuft. Die meisten sind jedoch auf Cloud-Dienste angewiesen, etwa für Echtzeitdaten, externe APIs oder aktuelles Wissen.

3. Brauchen LLM-Agenten immer ein Sprachmodell im Hintergrund?

Ja, das ist quasi die Grundvoraussetzung. Das "LLM" in LLM-Agent steht für Large Language Model. Ohne dieses verliert der Agent die Fähigkeit, natürliche Sprache zu verstehen oder zu erzeugen.

4. Was sind die wichtigsten Einschränkungen oder Risiken beim Einsatz von LLM-Agenten heute?

Sie können halluzinieren, bei unklaren Eingaben hängen bleiben oder sensible Informationen preisgeben, wenn sie nicht gut abgesichert sind. Außerdem sind sie nur so gut wie die Daten und das Design, auf denen sie basieren.

5. In welchen Branchen werden LLM-Agenten am schnellsten eingeführt?

Kundenservice, IT-Support, Gesundheitswesen und Vertrieb sind besonders schnell dabei. Überall dort, wo viele wiederkehrende, sprachbasierte Aufgaben automatisiert werden können.