LLM-Modelle konfigurieren¶
Nur für Administratoren
KI-Einstellungen¶
Unter KI-Einstellungen im Customer Portal können Sie die Konfiguration der KI-Modelle und des Wissensassistenten anpassen.
KI-Modellanbieter¶
Auf der Karte KI-Modellanbieter wählen Sie über zwei Buttons (mit Logos), welches Sprachmodell zur Antwortgenerierung genutzt wird:
| Anbieter | Modelle | Region |
|---|---|---|
| Inovetra AI (Standard) | Llama-Modelle (IONOS) | Deutschland |
| Mistral | Mistral-Modelle (La Plateforme) | EU |
Info
Die Auswahl gilt sowohl für den Wissensassistenten Inovetra RAG (alle Verarbeitungsschritte) als auch für den allgemeinen Chat-Assistenten Inovetra AI (Standardmodell und Titelgenerierung). Das Embedding-Modell bleibt von der Auswahl unberührt — ein Anbieterwechsel erfordert keine Neuindizierung der Dokumente.
Automatischer Neustart
Beim Umschalten des Anbieters werden die betroffenen Dienste automatisch neu gestartet. Sie müssen keine weiteren Schritte ausführen; kurzzeitig kann der Chat währenddessen nicht verfügbar sein.
Verfügbare Einstellungen¶
RAG-Konfiguration¶
| Einstellung | Beschreibung |
|---|---|
| KI-Modellanbieter | Wahl zwischen Inovetra AI und Mistral (siehe oben) |
| Websuche | Schaltet die Websuche für den allgemeinen Chat-Assistenten Inovetra AI frei (siehe #Websuche freischalten). Der Wissensassistent Inovetra RAG nutzt keine Websuche. |
| Embedding-Modus | Wahl zwischen lokalem und API-basiertem Embedding |
Embedding-Modus¶
| Modus | Beschreibung | Vorteil |
|---|---|---|
| Lokal | Embeddings werden auf dem Server berechnet | Kein externer API-Aufruf, volle Datenkontrolle |
| API | Embeddings werden über eine externe API berechnet | Schnellere Verarbeitung großer Dokumentmengen |
Info
Eine Änderung des Embedding-Modus erfordert eine Neuindizierung aller Dokumente. Dieser Vorgang kann längere Zeit in Anspruch nehmen.
Websuche freischalten¶
Mit der Websuche kann der allgemeine Chat-Assistent Inovetra AI bei Bedarf aktuelle Informationen aus dem Internet abrufen. Standardmäßig ist die Websuche deaktiviert.
- Öffnen Sie im Customer Portal die KI-Einstellungen
- Suchen Sie die Karte Websuche (Globus-Symbol 🌐)
- Schalten Sie den Regler auf aktiviert
Nach der Aktivierung erscheint für alle Nutzer im Chat das Globus-Symbol, mit dem sie die Websuche pro Unterhaltung ein- und ausschalten können (siehe Websuche).
Datenschutz-Hinweis
Bei aktivierter Websuche werden Suchanfragen ins Internet gesendet und ausgewählte Webseiten abgerufen, um die Frage zu beantworten. Prüfen Sie vor der Aktivierung, ob dies mit den Datenschutzrichtlinien Ihres Unternehmens vereinbar ist. Der Wissensassistent Inovetra RAG bleibt davon unberührt und nutzt niemals das Internet.
Tip
Das Umschalten der Websuche benötigt nur wenige Augenblicke. Sie müssen keine weiteren Schritte ausführen.
Modell-Verfügbarkeit¶
Die auf Ihrer Plattform verfügbaren KI-Modelle werden zentral konfiguriert. Standardmäßig stehen zwei Assistenten bereit:
- Inovetra RAG — Wissensassistent mit Dokumentensuche
- Inovetra AI — Allgemeiner Chat ohne Dokumentbezug
Welche konkreten Sprachmodelle dahinter zum Einsatz kommen, hängt vom oben gewählten KI-Modellanbieter ab (Llama-Modelle bei Inovetra AI bzw. Mistral-Modelle bei Mistral). Die Bereitstellung der Modelle erfolgt über die zentrale LiteLLM-Konfiguration. Kontaktieren Sie den Inovetra-Support, wenn Sie zusätzliche Modelle freischalten möchten.