Wie Sie ein individuelles LLM für Ihr KI-Projekt auswählen

LLMs verändern die Art und Weise, wie wir KI-Lösungen entwickeln. Ständig erscheinen neue, bessere Standardmodelle.

Oft werde ich gefragt, warum man ein individuelles LLM statt einer fertigen Lösung wählen sollte.

Wenn Sie an einem KI-Projekt arbeiten, zum Beispiel einen KI-Agenten oder Chatbot entwickeln, könnten Sie ein angepasstes großes Sprachmodell (LLM) einsetzen.

Es gibt viele Gründe, ein individuelles LLM für Ihren LLM-Agenten zu nutzen – und viele Möglichkeiten, dies umzusetzen. In diesem Artikel zeige ich Ihnen, wie Sie ein LLM für KI-Projekte anpassen können.

Warum ein eigenes LLM verwenden?

Es gibt mehrere Gründe, ein eigenes LLM zu nutzen:

• Sie möchten Kosten senken, indem Sie sich auf eine bestimmte, für Ihr Unternehmen wichtige Aufgabe konzentrieren, oder die Latenz minimieren.
• Vielleicht möchten Sie alle Daten privat halten oder das unternehmenseigene LLM verwenden.
• Oder Sie möchten die Antwortqualität für eine spezielle Aufgabe verbessern.

Egal aus welchem Grund: Die Anpassung Ihres LLMs ermöglicht es Ihnen, die Leistung zu optimieren und Genauigkeit, Geschwindigkeit und Kosten auf Ihre Geschäftsanforderungen abzustimmen.

Das passende LLM auswählen

LLMs haben zwei Eigenschaften, die KI-Projekte beeinflussen: ihre Größe (Anzahl der Parameter) und die Qualität der Antworten.

Sie können sich Parameter wie Neuronen im Gehirn vorstellen. Ein größeres Gehirn ist oft mit Intelligenz verbunden, aber das gilt nicht immer. Teile des Gehirns können für bestimmte Aufgaben wie Sehen besonders optimiert sein.

Für KI-Projekte wirkt sich die Größe meist auf die Antwortgeschwindigkeit aus – und stark auf die Kosten. Projekte mit niedriger Latenz setzen oft kleinere Modelle ein, allerdings auf Kosten der Antwortqualität.

Worauf Sie bei der Modellauswahl achten sollten

Hier sind wichtige Fragen, die Sie bei der Auswahl eines Modells beantworten sollten:

• Kann ich ein cloudbasiertes LLM verwenden oder muss ich eines selbst hosten?
• Wie schnell müssen die Antworten sein?
• Wie genau müssen die Antworten sein?
• Wie viel Geld wird mein Projekt sparen und/oder einbringen? Und welchen Preis sollte es dabei nicht überschreiten?
• Wie lang müssen die Antworten sein?

Im Allgemeinen ist es schwierig, ein leistungsstarkes Modell schneller oder günstiger zu machen – aber es ist einfacher, ein weniger genaues Modell zu verbessern.

Allerdings können Sie mit einem leistungsstarken Modell schneller starten. Wenn es die Anforderungen Ihres Projekts erfüllt, ist weniger Entwicklungsaufwand nötig (und die Wartung ist oft einfacher).

RAG, Fine-Tuning, N-Shot-Learning und Prompt Engineering: Die richtige Methode wählen

Es gibt fünf grundlegende Ansätze, um die Antwortqualität von LLMs zu verbessern:

1. Start mit einem vortrainierten Modell
2. RAG
3. Fine-Tuning
4. N-Shot-Learning
5. Prompt Engineering

Diese Methoden sind nicht nur für individuelle Modelle relevant, sondern sollten immer bedacht werden – sie ergänzen sich gegenseitig.

Mit einem Modell beginnen

Als Erstes sollten Sie ein Ausgangsmodell auswählen. Es gibt viele Online-Ranglisten, die verschiedene Modelle vergleichen.

Zum Beispiel:

• Hugging Face pflegt eine Rangliste für Open-Source-Modelle.
• Vellum bietet eine sehr gute Übersicht für die beliebtesten Modelle.

Wenn Ihr Unternehmen ein eigenes Modell hat, nutzen Sie es, um Budget und Datenschutz zu berücksichtigen. Falls Sie das Modell selbst hosten müssen, schauen Sie sich ein Open-Source-Modell an.

Feinabstimmung

Beim Fine-Tuning geben Sie Ihrem Modell Beispiele, damit es eine bestimmte Aufgabe besser lernt. Wenn es sich auf Ihr Produkt spezialisieren soll, könnten Sie ihm etwa viele Beispiele Ihrer besten Verkaufsgespräche geben.

Wenn das Modell Open Source ist, prüfen Sie, ob Ihr Team genug Kapazitäten für das Fine-Tuning hat.

Bei geschlossenen Modellen, die als Service angeboten werden – wie GPT-4 oder Claude – können Ihre Entwickler meist über APIs eigene Modelle feinabstimmen. Das ist deutlich teurer, aber der Wartungsaufwand ist gering.

Für viele Anwendungsfälle ist Fine-Tuning jedoch nicht der erste Schritt zur Optimierung Ihres Modells.

Ein gutes Beispiel für Fine-Tuning ist ein Wissens-Bot für statisches Wissen. Mit Beispielen von Fragen und Antworten kann er diese später beantworten, ohne nachschlagen zu müssen. Für Echtzeit-Informationen ist das jedoch keine praktische Lösung.

Retrieval-augmented generation

RAG ist ein schicker Name für etwas, das wir alle schon in ChatGPT gemacht haben: Text einfügen und dazu eine Frage stellen.

Ein typisches Beispiel ist die Frage, ob ein Produkt in einem Onlineshop verfügbar ist – der Chatbot sucht dann im Produktkatalog nach, statt im gesamten Internet.

Für schnelle Entwicklung und aktuelle Informationen ist RAG unverzichtbar.

Die Wahl des Modells beeinflusst das meist nicht. Sie können aber problemlos einen LLM-API-Endpunkt erstellen, der Informationen abfragt und Antworten liefert – und diesen wie ein eigenes LLM nutzen.

RAG für einen wissensbasierten Chatbot ist oft leichter zu pflegen, da Sie kein Modell feinabstimmen und aktuell halten müssen – das spart auch Kosten.

N-Shot-Learning

Am schnellsten verbessern Sie die Antwortqualität, indem Sie Beispiele direkt in einem einzelnen LLM-API-Aufruf mitgeben.

Zero-Shot – also keine Beispiele für die gewünschte Antwort – ist die übliche Nutzung von ChatGPT. Schon ein Beispiel (One-Shot) kann die Antwortqualität deutlich steigern.

Mehr als ein Beispiel gilt als N-Shot. Im Gegensatz zum Fine-Tuning verändert N-Shot das Modell nicht. Sie geben einfach jedes Mal Beispiele mit, bevor Sie eine Antwort anfordern.

Diese Strategie hat jedoch Grenzen: LLMs haben eine maximale Kontextgröße und die Kosten richten sich nach der Nachrichtenlänge. Fine-Tuning kann den Bedarf an N-Shot-Beispielen verringern, benötigt aber mehr Zeit.

Weitere Prompt-Engineering-Techniken

Es gibt weitere Techniken wie Chain-of-Thought, bei denen das Modell gezwungen wird, seine Gedanken vor der Antwort zu formulieren.

Das erhöht die Antwortqualität, führt aber zu längeren, teureren und langsameren Antworten.

Meine Empfehlung

Jedes Projekt hat eigene Anforderungen, aber ich möchte meine Empfehlung teilen.

Ein guter Start ist ein Standardmodell, das Geschwindigkeit und Qualität ausbalanciert, wie GPT-4o Mini. Prüfen Sie die Antwortqualität, Geschwindigkeit, Kosten und den Bedarf an Kontextfenster – und entscheiden Sie dann, was verbessert werden muss.

Mit einem klaren Anwendungsfall können Sie zunächst einfaches Prompt Engineering ausprobieren, dann RAG und schließlich Fine-Tuning. Jedes Modell profitiert davon, daher ist die Auswahl nicht immer einfach.

Datenschutzaspekte

Im Idealfall hätten Sie die volle Kontrolle über Ihr LLM und nichts würde nach außen gelangen.

In der Praxis ist das jedoch selten der Fall – und das hat gute Gründe.

Zum einen ist das Hosting und die Wartung eines eigenen Modells technisch aufwendig und teuer. Bei Ausfällen des Modells leidet das Geschäft, daher muss der Betrieb sehr stabil sein.

Außerdem veröffentlichen Marktführer wie OpenAI, Google und Anthropic ständig neue, leistungsfähigere und günstigere Modelle, sodass sich Fine-Tuning oft nicht mehr lohnt. Das ist seit ChatGPT 3.5 so und wird sich wohl nicht ändern.

Wenn Sie mit besonders sensiblen Daten arbeiten, sollten Sie ein Modell wählen und es gezielt für Ihren Anwendungsfall optimieren. Falls Datenschutz (z. B. DSGVO) wichtig ist, gibt es viele fertige Modelle, die DSGVO-konform sind.

Weiterarbeiten nach der Auswahl Ihres LLM

Sobald Sie ein LLM ausgewählt haben, können Sie damit beginnen, zu planen, wie Sie Ihr KI-Projekt aufbauen und betreiben möchten. Als Beispiel nehme ich den Projekttyp, mit dem ich am vertrautesten bin: einen KI-Agenten oder KI-Chatbot.

Um den Umfang Ihres Projekts festzulegen, können Sie folgende Fragen beantworten:

• Wo soll mein KI-Agent eingesetzt werden? (Slack, WhatsApp, ein Website-Widget usw.)
• Über welches Wissen soll er verfügen und wo befindet sich dieses Wissen?
• Welche Fähigkeiten soll er neben der Beantwortung von Wissensfragen noch haben, falls überhaupt?
• Soll es aktiviert werden, wenn irgendwo im Unternehmen etwas passiert?

Engineering auslagern, um Kosten zu sparen

Ein schlankes Budget ist entscheidend, um Ihr Projekt zu realisieren. Eine Möglichkeit dafür ist, Entwicklungsaufwand zu reduzieren, indem Sie Anforderungen voneinander entkoppeln.

Heutzutage stehen uns Low-Code-Lösungen wie Flutterflow oder Shopify zur Verfügung, die auch von traditionell nicht-technischen Rollen wie Produktmanagern genutzt werden können. Chatbots bilden da keine Ausnahme, und einige KI-Automatisierungsplattformen erlauben sogar die Nutzung eigener LLMs.

Sie können Entwickler anweisen, sich auf das Hosting des LLMs und die Einrichtung mit der Automatisierungsplattform zu konzentrieren. So können Business-Analysten, Produktmanager und andere Fachbereiche KI-Agenten entwickeln, die den Geschäftsanforderungen entsprechen.

Wenn zusätzliche Anforderungen entstehen, bieten diese Plattformen in der Regel Möglichkeiten, dass Entwickler eigenen Code ergänzen. So behalten Sie die Vorteile eines eigenen Modells und gewinnen gleichzeitig an Flexibilität, Geschwindigkeit und Kosteneffizienz.

Entwicklern Freiraum geben, um Geschäftsprobleme zu lösen

Andererseits sind manche Geschäftsprobleme einfach sehr schwer zu lösen.

Hier geht es um vollständig netzwerk-isolierte LLM-Anwendungen, On-Device-Apps oder Projekte, bei denen Chatbots besonders fortgeschrittene Fähigkeiten benötigen, die über das reine Datensynchronisieren zwischen zwei Plattformen hinausgehen.

In solchen Fällen ist es sinnvoll, Entwicklern die Freiheit zu geben, die Werkzeuge zu nutzen, mit denen sie am besten vertraut sind. Das bedeutet meist, dass sie einfach programmieren, während die Stakeholder als Projektmanager fungieren.

Strategische Überlegungen zur Anpassung eines LLM

Die Wahl eines eigenen LLM für Ihr KI-Projekt ist mehr als nur die Auswahl des besten Modells – es geht darum, strategische Entscheidungen zu treffen, die zu Ihren Zielen passen.

Eigene Modelle bieten Flexibilität, Kontrolle und die Möglichkeit, für bestimmte Aufgaben zu optimieren, bringen aber auch zusätzliche Komplexität mit sich. Starten Sie mit einem Standardmodell, experimentieren Sie mit Prompt Engineering und verfeinern Sie schrittweise.

Denken Sie daran: Das richtige Modell sollte zu Ihren Geschäftsanforderungen passen – nicht nur zu Ihrer technischen Infrastruktur.

Anpassen mit leistungsstarken Plattformen

Bereit, Ihr KI-Projekt auf das nächste Level zu bringen?

Botpress ist eine vollständig erweiterbare und flexible Plattform für KI-Agenten. Unsere Technologie ermöglicht es Entwicklern, Chatbots und KI-Agenten für jeden erdenklichen Anwendungsfall zu erstellen.

Wir bieten eine umfassende Lernplattform, die Botpress Academy, sowie einen ausführlichen YouTube-Kanal. In unserem Discord sind über 20.000 Bot-Builder aktiv – dort finden Sie jederzeit Unterstützung.

Jetzt starten. Kostenlos.

FAQs

1. Wie bewerte ich den ROI einer Investition in ein eigenes LLM für mein Unternehmen?

Um den ROI einer Investition in ein eigenes LLM zu bewerten, vergleichen Sie die Gesamtkosten (z. B. Infrastruktur, Entwicklerzeit, Feintuning und Hosting) mit messbaren Vorteilen wie Arbeitsersparnis und Steigerung der Conversion.

2. Welche KPIs sollte ich verfolgen, um die Effektivität eines eigenen LLM zu messen?

Sie sollten KPIs wie Antwortgenauigkeit (Präzision/Recall oder Aufgabenabschluss), Latenz (durchschnittliche Antwortzeit), Nutzerzufriedenheit (CSAT/NPS), Lösungs- oder Abschlussrate sowie Kosten pro Interaktion messen. Diese Kennzahlen spiegeln sowohl die technische Leistung des Modells als auch dessen Einfluss auf Geschäftsergebnisse wider.

3. Wie kann ich die langfristigen Wartungskosten einer eigenen LLM-Lösung abschätzen?

Um die langfristigen Wartungskosten einer eigenen LLM-Lösung abzuschätzen, berücksichtigen Sie Ausgaben für Infrastruktur (Cloud-Computing, Speicher), technische Updates, Häufigkeit von Nachtrainings oder Feintuning, Monitoring-Tools sowie Anpassungen an regulatorische Änderungen. Wenn sich Ihre Geschäftsdaten schnell verändern, sollten Sie mit steigendem Aufwand für Nachtraining und Validierung rechnen.

4. Wie kann ich verschiedene LLMs für meine Branche oder meinen Bereich vergleichen?

Vergleichen Sie verschiedene LLMs, indem Sie sie mit repräsentativen, branchenspezifischen Prompts testen und ihre Leistung in Bezug auf Genauigkeit, Verständlichkeit, Tonalität und Aufgabenrelevanz bewerten. Sie können interne Datensätze verwenden oder offene Branchen-Benchmarks wie FinancialQA oder MedQA je nach Sektor heranziehen.

5. Welche Compliance-Standards sollte ein eigenes LLM erfüllen, wenn ich mit Nutzerdaten arbeite?

Wenn Sie mit Nutzerdaten arbeiten, sollte Ihr eigenes LLM Standards wie die DSGVO (für Datenschutz in der EU), SOC 2 Typ II (für operative Sicherheit) und HIPAA (bei Gesundheitsdaten) erfüllen. Der LLM-Anbieter sollte Funktionen wie rollenbasierte Zugriffssteuerung, Datenverschlüsselung bei Übertragung und Speicherung, Audit-Logs sowie klare Richtlinien für Datenaufbewahrung und -löschung bieten.