Zum Inhalt

Plattform-Architektur

Gesamtarchitektur der Inovetra AI Platform

Die Inovetra AI Platform ist eine Kubernetes-basierte Enterprise-KI-Lösung, die Chat-Funktionalität (LibreChat) und Retrieval-Augmented Generation (RAG) bereitstellt. Sie wird On-Premises auf einer einzelnen VM mit K3s betrieben.

Architekturdiagramm

flowchart LR
    Users["👤 Benutzer"] -->|HTTPS :443| Ingress["Ingress\nController"]

    subgraph Frontend["Frontend-Services"]
        LibreChat["LibreChat"]
        Portal["Customer\nPortal"]
    end

    subgraph Backend["Backend-Services"]
        CustomerAPI["Customer\nAPI"]
        RagAPI["RAG API"]
        Connector["Connector\nService"]
    end

    subgraph Datenbanken["Datenbanken & Storage"]
        PostgreSQL["PostgreSQL"]
        MongoDB["MongoDB"]
        Redis["Redis"]
        Qdrant["Qdrant"]
        MinIO["MinIO"]
    end

    subgraph KI["KI-Services"]
        LiteLLM["LiteLLM\n(lokal)"]
        Embedding["Embedding\nService"]
    end

    Ingress -->|"/"| LibreChat
    Ingress -->|"/portal"| Portal
    Ingress -->|"/api/customer/*"| CustomerAPI
    Ingress -->|"/api/rag/*"| RagAPI
    Ingress -->|"/api/connectors/*"| Connector

    CustomerAPI --> PostgreSQL
    CustomerAPI --> MongoDB
    RagAPI --> Qdrant
    RagAPI --> MinIO
    RagAPI --> Redis
    RagAPI --> LiteLLM
    LibreChat --> MongoDB
    LibreChat --> LiteLLM
    LibreChat --> RagAPI
    Connector --> PostgreSQL
    Connector --> RagAPI

    LiteLLM -->|HTTPS| CentralProxy["Zentraler LLM-Proxy\n(llm.inovetra.ai)"]
    CentralProxy --> IONOS["IONOS AI\nModel Hub"]
    Connector --> ExternalSources["SharePoint / GitHub / Confluence\n/ Bitbucket / SMB"]

Zwei Deployment-Modelle

Die Inovetra AI Platform kennt zwei Deployment-Modelle:

Helm/K8s — Kunden-Instanzen

Alle oben dargestellten Services werden als Helm Chart auf einer dedizierten Kunden-VM (K3s) bereitgestellt. Dieses Betriebshandbuch deckt ausschließlich dieses Modell ab.

Eigenschaft Wert
Orchestrierung Kubernetes (K3s)
Deployment-Methode Helm Chart (ai-platform)
Namespace inovetra-platform
Updates Über das Customer Portal (Update-Seite)

Namespace

Alle Kunden-Instanz-Services laufen im Kubernetes-Namespace inovetra-platform. Sämtliche kubectl-Befehle in diesem Handbuch setzen diesen Namespace voraus:

kubectl -n inovetra-platform get pods

Weiterführende Seiten