LLM-Modelle¶

Modellverwaltung über LiteLLM

Die Plattform nutzt LLMs über den LiteLLM-Proxy. Modelle werden zentral konfiguriert und können pro Instanz verwaltet werden.

Architektur¶

graph LR
    LC["LibreChat"] --> LL["LiteLLM (lokal, Port 4000)"]
    RAG["RAG API"] --> LL
    LL --> ZP["Zentraler LLM-Proxy<br/>(llm.inovetra.ai)"]
    ZP --> HUB["Modell-Backend<br/>(Inovetra AI / Qwen, DE)"]
    ZP --> MISTRAL["Mistral-Modelle<br/>(EU)"]
    ES["Embedding Service<br/>(lokal, ONNX)"] -.->|"Fallback über LiteLLM"| LL
    RAG -->|"Embeddings"| ES

Welche Daten an das Sprachmodell gehen

Die Instanz läuft auf einem eigenen Server des Kunden (On-Premise) oder auf einer dedizierten Cloud-VM. Dokumente werden auf der Instanz gespeichert und dort verarbeitet (Vektordatenbank). An das Sprachmodell werden übermittelt:

beim Beantworten einer Frage: die Frage und die dafür relevanten Textausschnitte (RAG-Kontext),
bei der Aufbereitung neuer Dokumente: einzelne Textausschnitte (Dokumentaufbereitung durch das schnelle Modell),
bei Dateien im Chat: deren Inhalt bzw. der für die Frage relevante Teil,
im Embedding-Modus „API“ bzw. ohne lokalen Embedding Service: zusätzlich die Textausschnitte für die Embedding-Berechnung.

Einzelheiten regelt der Auftragsverarbeitungsvertrag (AVV).

KI-Modellanbieter (ab 0.79.7)¶

Die Plattform unterstützt zwei austauschbare KI-Modellanbieter. Die Auswahl erfolgt im Customer Portal unter KI-Einstellungen → Karte KI-Modellanbieter und gilt sowohl für den Wissensassistenten Inovetra RAG (alle Pipeline-Schritte) als auch für den allgemeinen Chat-Assistenten Inovetra AI (Standardmodell + Titelgenerierung in LibreChat).

Anbieter	Backend	Antwortmodell	Schnelles Modell	Region
Inovetra AI (Standard)	Qwen-Modelle	`qwen-3.5-397b`	`qwen-3.8-27b`	Deutschland
Mistral	Mistral-Modelle	`mistral-large`	`mistral-small`	EU

Das schnelle Modell übernimmt in der RAG API Klassifikation, Umformulierung von Folgefragen, Qualitätsprüfung und die Dokumentaufbereitung beim Upload; das Antwortmodell erzeugt die eigentliche Antwort. Gesprächstitel erzeugt LibreChat mit qwen-3.5-9b bzw. mistral-small.

Umstellung von Llama auf Qwen

Die bisher eingesetzten Meta-Llama-Modelle wurden abgekündigt. Der Anbieter Inovetra AI nutzt daher die Qwen-Modelle — weiterhin ausschließlich in deutschen Rechenzentren.

Bitte beginnen Sie nach dem Update einen neuen Chat. Konversationen, die vor der Umstellung angelegt wurden, sind an das damals verwendete Modell gebunden und lassen sich nicht fortsetzen. Die bisherigen Verläufe bleiben lesbar.

Am Embedding-Modell (bge-m3) ändert sich nichts, eine Neu-Indizierung Ihrer Dokumente ist nicht erforderlich.

Technische Umsetzung

Der Anbieter wird über die RAG-API-Einstellung LLM_PROVIDER (inovetra | mistral) gesteuert. Der Wert wird in der ConfigMap inovetra-rag-runtime-settings gespeichert (upgrade-persistent) und über den Helm-Value ragApi.llmProvider (Default inovetra) initialisiert.

Automatischer Neustart

Das Umschalten des Anbieters löst automatisch einen Neustart der betroffenen Dienste aus (RAG API + LibreChat-Pods). Eine manuelle Aktion ist nicht erforderlich.

Embeddings bleiben unverändert

Das Embedding-Modell (bge-m3) ist providerunabhängig. Ein Anbieterwechsel erfordert keine Neuindexierung der Dokumente.

Mistral im zentralen LiteLLM voraussetzen

Damit der Anbieter Mistral funktioniert, müssen im zentralen LiteLLM (llm.inovetra.ai, Management-VM) die Modelle mistral-large (mistral/mistral-large-latest) und mistral-small (mistral/mistral-small-latest) konfiguriert sein. Dazu gehört ein gültiger MISTRAL_API_KEY in der .env der Management-VM, der im environment:-Block des Compose-Service litellm durchgereicht wird. Die lokalen K8s-LiteLLM-Configs routen Mistral ausschließlich über den zentralen Proxy (centralLlmProxy.enabled=true).

Endbenutzer-Modelle (LibreChat)¶

Endbenutzer sehen in LibreChat zwei fest konfigurierte Presets — keine Modellauswahl:

Preset	Modell (fest)	Beschreibung
Inovetra RAG	`rag-inovetra-reasoning`	RAG-basierter Assistent mit Zugriff auf Unternehmensdokumente
Inovetra AI	providerabhängig (`qwen-3.5-397b` / `mistral-large`)	Chat-Assistent ohne Dokumentenzugriff

ModelSpecs

Die Modell-Presets werden durch modelSpecs.enforce: true erzwungen. Endbenutzer können das Modell nicht wechseln.

RAG- und Chat-Antwortgenerierung sind providerabhängig

Die eigentliche Antwortgenerierung — sowohl für Inovetra RAG als auch für das Inovetra-AI-Preset — verwendet das Antwortmodell des aktuell gewählten KI-Modellanbieters: qwen-3.5-397b bei Inovetra AI, mistral-large bei Mistral. Auch die Titelgenerierung in LibreChat folgt dem gewählten Anbieter. Die Modell-ID des RAG-Presets steuert primär die UI-Darstellung (z.B. Reasoning-Anzeige).

LibreChat-UI (ab 0.79.7)

Die LibreChat-Oberfläche wurde aufgeräumt: Die Agents-Funktion ist deaktiviert (ENDPOINTS=custom, interface.agents: false), Prompts-Bibliothek und Erinnerungen sind ausgeblendet (interface.prompts: false, interface.memories: false). Es bleiben nur die zwei Assistenten Inovetra RAG und Inovetra AI.

RAG-interne Modelle¶

Diese Modelle werden intern von der RAG API verwendet und sind nicht vom Endbenutzer wählbar. Antwort- und schnelles Modell hängen vom gewählten KI-Modellanbieter ab (Inovetra AI / Mistral):

Modell (Inovetra AI / Mistral)	Zweck
`qwen-3.5-397b` / `mistral-large`	RAG-Antwortgenerierung
`qwen-3.8-27b` / `mistral-small`	Query-Klassifikation (Dokumentensuche nötig oder nicht)
`qwen-3.8-27b` / `mistral-small`	Umformulierung von Folgefragen für die Dokumentensuche
`qwen-3.8-27b` / `mistral-small`	Groundedness-Verifikation (Faktenprüfung)
`qwen-3.8-27b` / `mistral-small`	Context Overflow Summarization (bei >128K Tokens, ab v0.47.0)
`qwen-3.8-27b` / `mistral-small`	Dokument-Zusammenfassungen (Inventory) und Contextual Chunking beim Upload
`qwen-3.5-9b` / `mistral-small`	Titel-Generierung für Konversationen (in LibreChat)

Embedding-Modelle¶

Modell	Betrieb	Zweck
`BAAI/bge-m3`	Lokal via Embedding Service (ONNX)	Vektorisierung — bevorzugt
`bge-m3`	Über LiteLLM-Proxy	Vektorisierung — Fallback wenn kein lokaler Embedding Service

Lokaler Embedding Service

Wenn der Embedding Service aktiviert ist (embeddingService.replicas > 0), werden Embeddings lokal berechnet — ohne externe API-Aufrufe. Dies reduziert Latenz und Kosten.

Reranker¶

Modell	Betrieb	Zweck
`cross-encoder/ms-marco-MiniLM-L-6-v2`	Lokal in RAG API	Re-Ranking der Suchergebnisse nach Relevanz

Modellverwaltung¶

Über Customer Portal → Einstellungen → Modelle
Modelle aktivieren/deaktivieren
Reihenfolge anpassen

Zentrale Freischaltung erforderlich

Die verfügbaren Modelle werden durch die zentrale LiteLLM-Instanz bestimmt. Neue Modelle müssen zuerst dort freigeschaltet werden.

RAG-Modell-Konfiguration (Helm Values)¶

Parameter	Standard	Beschreibung
`ragApi.embeddingModel`	`bge-m3`	Embedding-Modell für Vektorisierung
`ragApi.llmModel`	`qwen-3.8-27b`	Schnelles Modell der RAG API beim Anbieter Inovetra AI (Klassifikation, Umformulierung, Qualitätsprüfung, Dokumentaufbereitung)
`ragApi.enableContextualChunks`	`true`	Kontextuelles Chunking aktivieren

Neuindexierung bei Embedding-Modell-Wechsel

Ein Wechsel des Embedding-Modells erfordert eine vollständige Neuindexierung aller Dokumente. Dies kann je nach Dokumentenmenge mehrere Stunden dauern.