Wie man einen KI-Chatbot auf Arabisch erstellt

Ein arabischer Chatbot ist ein Programm, das arabische Inhalte verstehen und analysieren kann. Heute können wir Gespräche auf Arabisch zwischen einem Computer und einem Menschen simulieren und verarbeiten.

Jüngste Durchbrüche in der Verarbeitung natürlicher Sprache (NLP) machen es einfach, arabische Chatbots zu erstellen. Die neue arabische KI-Chatbot-Technologie nutzt maschinelles Lernen, um sowohl die Struktur der Sprache als auch die „Bedeutung“ der Wörter zu erfassen.

Einen KI-Chatbot auf Arabisch erstellen

Arabisch ist die vierthäufigste Sprache im Internet, aber sie gehört zu den schwierigsten Sprachen für Nicht-Muttersprachler.

Das liegt daran, dass sie sich in einigen Punkten von den meisten anderen Sprachen unterscheidet.

• Sie wird von rechts nach links geschrieben.
• Sie verwendet ein eigenes Zeichensystem, das für Sprecher anderer Sprachen nicht lesbar ist.
• Beim Schreiben werden Vokale ausgelassen. Die Grammatik ist komplex und reichhaltig; zum Beispiel sind Pronomen in vielen Fällen direkt in die Wörter eingebettet.
• Die Sprache ist viel flexibler als die meisten anderen, da Sätze nicht der im Englischen üblichen Subjekt-Verb-Reihenfolge folgen.
• All das macht das Lernen schwieriger und führt zu einem höheren Risiko von Mehrdeutigkeiten als bei den meisten anderen gängigen Sprachen.
  

Zusätzlich dazu gibt es viele Formen und Dialekte des Arabischen. Diese sind zwar miteinander verwandt, überschneiden sich aber nicht. Tatsächlich kann es sein, dass ein Dialekt für Sprecher eines anderen Dialekts unverständlich ist – im Grunde genommen handelt es sich also um verschiedene Sprachen.
‍
All diese Faktoren bedeuten, dass Arabisch für Menschen schwerer zu erlernen ist.
‍
Heißt das aber auch, dass es für Maschinen schwieriger zu lernen ist? Wenig überraschend ist die Antwort ja.

Arabischer Chatbot: Herausforderungen bei der Verarbeitung natürlicher Sprache

All das stellt Herausforderungen für die arabische Verarbeitung natürlicher Sprache (NLP) dar. Der erste Schritt für jeden NLP-Algorithmus besteht darin, die Sprache zu verstehen, also Sätze in sinnvolle Einheiten zu zerlegen. Diese Aufgabe wird offiziell als Tokenisierung bezeichnet, wobei jede sinnvolle Einheit ein Token ist.

Je systematischer und geordneter eine Sprache ist, desto leichter lässt sie sich tokenisieren.

Die gleichen Herausforderungen, die Arabisch für Menschen schwer machen, erschweren auch die Tokenisierung im Vergleich zu anderen gängigen Sprachen.

Um die Bedeutung der neuesten Durchbrüche zu verstehen, muss man zunächst wissen, wie früher ein Sprachmodell für NLP erstellt wurde.

Früher

Die Tokenisierung der Sprache erforderte viel manuelle Arbeit von NLP-Forschern. Jede Sprache musste unabhängig und im Wesentlichen von Hand tokenisiert werden.

Gerade für arabische Bots war diese Aufgabe besonders schwierig, wie man sich vorstellen kann.

Nachdem die Sprache tokenisiert war, konnten die KI-Algorithmen eingesetzt werden, um die Sprache zu verstehen, also eine Bedeutungslandkarte zu erstellen, wie die Wörter miteinander in Beziehung stehen.

Dieser Schritt des Sprachverständnisses konnte automatisiert werden, wenn die Tokenisierung zuverlässig war. Das Problem war jedoch, dass die Tokenisierung für Arabisch schwierig war und daher auch die Verstehensalgorithmen manuell angepasst werden mussten.

Das Endergebnis war nicht zufriedenstellend. Das Niveau des arabischen Sprachverständnisses war im Vergleich zu Englisch zum Beispiel schlecht. Natürlich lag der Forschungsschwerpunkt schon immer viel stärker auf Englisch als auf Arabisch, aber die Schwierigkeit der Sprache machte gute Ergebnisse fast unmöglich.

Wie es bei KI-Forschern üblich ist, fragten sie sich, ob die Tokenisierung selbst durch maschinelles Lernen erfolgen könnte. Dadurch könnten die Tokenisierungs- und Verstehensalgorithmen sprachunabhängig werden (sogenannte Sprachagnostik) und das Training der KI auf eine Sprache würde schneller und besser funktionieren.

Jüngster Durchbruch bei arabischer Konversations-KI

Genau hier wurde Ende 2018 der Durchbruch erzielt. Die KI konnte auf Arabisch trainiert werden, ohne dass manuell eingegriffen werden musste, und dadurch wurde die Leistung der NLP deutlich besser.

Arabische Chatbot-Plattformen konnten sofort deutlich besser werden und das Sprachverständnis der Chatbots auf Arabisch erreichte ein ähnliches Niveau wie bei anderen Sprachen.

Dass dieser Durchbruch stattfand, bedeutet jedoch nicht, dass die Qualität arabischer Chatbots sofort gestiegen ist.

Damit Nutzer von diesen Vorteilen profitieren, mussten die Chatbot-KI-Plattformen ihre Algorithmen auf die neueste Technologie umstellen. Aufgrund der bisherigen Investitionen in die alte Technologie ist das nicht überall schnell passiert.

Darüber hinaus müssen die Plattformen viele Funktionen bereitstellen, damit arabische Chatbots ein gutes Nutzererlebnis bieten. Zum Beispiel muss die Benutzeroberfläche Arabisch unterstützen. Das kann so einfach sein wie die richtige Ausrichtung des Chats oder die korrekte Reihenfolge der Schaltflächen.

Warum mehrsprachige Plattformen wichtig sind

Mit mehreren Sprachen auf verschiedenen Plattformen zu arbeiten, kann schwierig sein. Manche Plattformen verlangen, dass für jede Sprache ein eigener Bot gebaut wird – das ist natürlich sehr ineffizient.

Eine gute Plattform ist wirklich mehrsprachig und ermöglicht daher mehrere Übersetzungen aller Inhalte innerhalb der Benutzeroberfläche.

Außerdem muss die Sprache als Variable im Gespräch verfolgt werden, damit die KI die Sprache korrekt erkennen kann und Konversationsdesigner die Logik entsprechend gestalten können.

Abgesehen von sprachspezifischen Funktionen muss die allgemeine Funktionalität der Chatbot-Plattform exzellent sein, um einen großartigen Chatbot zu erstellen. Dabei gibt es zwei wichtige Funktionsbereiche.

• Der erste Bereich ist die allgemeine NLU-Technologie. Eine leistungsfähige Plattform ist nicht nur sprachunabhängig, sondern nutzt auch die neueste Technologie im Hintergrund und funktioniert insgesamt zuverlässig. Es ist wichtig, dass die Plattform NLU-bezogene Funktionen bietet (wie fortschrittliches Slot-Filling und kontextbasiertes Intent-Matching).
  ‍
• Der zweite Bereich ist die allgemeine Funktionalität der Plattform. Sie sollte es Designern ermöglichen, sehr gute Chatbot-Erlebnisse für Endnutzer einfach zu erstellen, einschließlich der einfachen Integration mit Drittsystemen. Fehlen Funktionen oder ist die Bedienung kompliziert, spielt es keine Rolle, ob Arabisch unterstützt wird oder nicht.
  ‍

Letztlich hängt die Qualität des Chatbot-Erlebnisses für den Endnutzer direkt von der Leistungsfähigkeit des verwendeten Tools ab – vom Sprachverständnis bis zur grafischen Benutzeroberfläche.

Im arabischen Raum verlangen Unternehmen häufig einen arabischen Chatbot, der vor Ort (On-Premise) betrieben wird. Dies sollte bei der Auswahl einer Plattform berücksichtigt werden. Ein arabischer On-Premise-Chatbot muss mit einer On-Premise-Plattform gebaut werden, die nicht nur eine lokale Benutzeroberfläche bietet, sondern auch die vollständige NLU-Engine und das trainierte Sprachmodell vor Ort bereitstellt.

Den besten arabischen Chatbot erstellen

Selbst mit einer guten Plattform gibt es noch Herausforderungen bei der Erstellung eines großartigen arabischen Chatbots. Es gibt nur wenige arabischsprachige Experten in der KI-Welt, daher kann es schwierig sein, die richtigen Ressourcen für das Projekt zu finden. Zwar müssen die grundlegenden NLU-Algorithmen nicht selbst entwickelt werden, da sie bereits integriert sind, aber es kann schwierig sein, kompetente Designer zu finden, die alle vom Chatbot unterstützten Sprachen oder Dialekte sprechen. Deshalb ist es wichtig, dass die Chatbot-Plattform es ermöglicht, Inhalte und Übersetzungen einfach zu aktualisieren und zu pflegen – auch für Nicht-Techniker, da der Designer wahrscheinlich nicht alle unterstützten Sprachen spricht.

Dass jetzt hochwertige arabische Chatbots verfügbar sind, wird die Verbreitung dieser Technologie erhöhen. Mit zunehmender Nutzung werden die Ressourcenprobleme gelöst und potenzielle Käufer erhalten einen klaren Überblick über bewährte Vorgehensweisen.

Zusammenfassung

Die Durchbrüche in der NLP-Technologie gelten nicht nur für arabische Chatbots, sondern auch für andere KI-Anwendungen. Wir sehen inzwischen vielseitige Systeme, die arabische KI auf unterschiedliche Weise nutzen – von der Stimmungsanalyse in Nachrichten bis hin zum Zusammenfassen oder Generieren von Texten, was früher nur Menschen vorbehalten war. Oft dient ein Chatbot als Benutzeroberfläche nicht nur für verschiedene KI-Technologien, sondern auch, um Endnutzern die Bedienung anderer Systeme wie Websites oder Web-Apps zu erleichtern.

Natürlich, auch wenn es einen großen Sprung bei der arabischen NLU gab, kann die NLU immer noch besser werden. Die Forschung arbeitet weiter daran, die NLU-Engines zu verbessern, und es werden sicher neue Durchbrüche kommen. Bis die NLU menschliches Niveau erreicht, bleibt noch Arbeit.

Der nächste Schritt für alle NLU-Engines, unabhängig von der Sprache, ist eine bessere Handhabung von mehrstufigen Dialogen. Das bedeutet, dass ein Mensch mit dem Bot ein mehrstufiges Gespräch zu einem bestimmten Thema führen kann, statt nur einzelne Befehle oder Fragen zu stellen. Und die nächste Aufgabe für Chatbot-Plattformen ist es, die Erstellung solcher Dialoge zu erleichtern.

Mehrstufige Dialoge sind besonders wichtig für Sprachschnittstellen wie Alexa.

Während wir über Durchbrüche bei der maschinellen Tokenisierung und deren Auswirkungen auf arabisches NLP sprechen, ist ein verwandtes Thema die arabische Spracherkennung. Die Umwandlung von Sprache in Text ist für Arabisch noch nicht so weit wie bei anderen Sprachen, aber wir hoffen, dass die hier beschriebenen Fortschritte im NLP helfen werden, diese Lücke in naher Zukunft zu schließen.