output lokale LLM - gpt-oss-20b

2025-12-08 12:06:32 +01:00
1 parent 51379cf1fc
commit 16f5a5e7b1
@@ -0,0 +1,206 @@
+# Azure AI Architektur – EU‑konform, ISO 27001 & DORA bereit
+
+## 1. Hoch‑Level Architekturdiagramm (Mermaid)
+
+```mermaid
+flowchart TD
+    %% Externer Verkehr
+    Internet([Internet]) --> WAF[WAF / Prompt‑Firewall]
+    WAF --> LB[TLS‑Terminierende Lastenausgleichung]
+
+    %% API-Schicht
+    LB --> APIGW[Azure API Management (LLM‑Router)]
+    APIGW --> AKS[Kubernetes Cluster]
+
+    %% KI‑Kernservices
+    AKS -->|LLM Adapter| AOAI[Azure OpenAI]
+    AKS --> AIEngine[Agentic KI‑Engine]
+    AIEngine -->|Prompt‑Routing| PromptFirewall
+    AIEngine -->|Modellsscanning| SecScanner[KI‑Modell & Schnittstellen‑Scanner]
+
+    %% Datenschicht
+    subgraph DB[Datenlager]
+        SQL[Azure SQL Database]:::db
+        NoSQL[Cosmos DB (NoSQL)]:::db
+        Blob[Azure Blob Storage]:::db
+        VectDB[Qdrant in AKS (Vektor‑DB)]:::db
+        Redis[Azure Cache for Redis]:::db
+        GraphDB[Azure Cosmos DB (Gremlin API)]:::db
+    end
+
+    %% Big‑Data Pipeline
+    subgraph BD[Big‑Data & Streaming]
+        Synapse[Azure Synapse Analytics]:::pipeline
+        Databricks[Azure Databricks]:::pipeline
+        Kafka[Apache Kafka (AKS)]:::pipeline
+        EH[Event Hubs]:::pipeline
+    end
+
+    %% Beobachtbarkeit & Sicherheit
+    subgraph OBS[Beobachtbarkeit]
+        Monitor[Azure Monitor]:::obs
+        AppInsights[Application Insights]:::obs
+        Grafana[Grafana auf AKS]:::obs
+    end
+
+    subgraph SEC[Sicherheit & Compliance]
+        Defender[Defender for Cloud]:::sec
+        SecCenter[Azure Security Center]:::sec
+        Bastion[Bastion Host]:::sec
+        KeyVault[Key Vault]:::sec
+    end
+
+    %% Orchestrierung & CI/CD
+    subgraph DEV[DevOps]
+        DevOps[Azure DevOps Pipelines]:::dev
+        Terraform[Terraform (IaC)]:::dev
+    end
+
+    %% IAM & PAM
+    subgraph AUTH[Identität]
+        AD[AAD]:::auth
+        PIM[Azure PIM]:::auth
+    end
+
+    %% Queue & Messaging
+    subgraph MQ[Messaging]
+        SB[Service Bus]:::mq
+        EH --> SB
+    end
+
+    %% Verbindungen
+    APIGW -->|Auth via AAD| AUTH
+    AKS -->|Secrets from KV| KeyVault
+    SecScanner -->|Logs to Monitor| Monitor
+    AIEngine -->|Telemetry| AppInsights
+    DevOps -->|Terraform| AKS
+    DEV -->|Deploy to AKS| AKS
+    DB -->|Access via Managed Identities| AKS
+    BD -->|Ingress to AKS| AIEngine
+    OBS -->|Logs & Metrics| Monitor
+    SEC -->|Policy Enforcement| Defender
+```
+```css
+/* Mermaid diagram styles */
+%% {font-family: monospace;}
+```
+
+::: note
+Das Diagramm ist bewusst vereinfacht – die reale Bereitstellung enthält zusätzliche Schichten wie interne VNET‑Peering, Azure Front Door für globale Routing und ggf. einen Azure AD Application Proxy.
+:::
+
+## 2. Schichtbeschreibungen
+
+| Schicht | Zweck | Kern‑Azure‑Dienste |
+|---------|-------|---------------------|
+| **Frontend** | TLS‑Terminierung, Ratenbegrenzung und WAF‑Schutz für gesamten eingehenden Verkehr. | Azure Front Door (oder Application Gateway mit WAF), TLS‑Terminierung via Azure Key Vault Zertifikate |
+| **API‑Schicht** | Öffentlicher API‑Gateway, Routing zu LLM‑Router und internen Diensten. | Azure API Management (APIM), OpenAPI Definitionen, JWT‑Validierung via AAD |
+| **KI‑Kern** | Ausführung von agentischen KI‑Workloads und LLM‑Inference. | Azure Kubernetes Service (AKS), Azure OpenAI, kundenspezifische Container‑Images für Agenten |
+| **Sicherheit & Scanning** | Kontinuierliches Scannen von Modellen und Schnittstellen, Schutz vor bösartigen Prompts. | Azure Defender for Container Apps (oder AKS), benutzerdefinierte Prometheus Exporter, Azure Sentinel Logs |
+| **Daten‑Schicht** | Persistente Speicherung für strukturierte und unstrukturierte Daten. | Azure SQL Database, Cosmos DB (SQL & Gremlin APIs), Blob Storage, Qdrant (Vektor‑DB) in AKS, Redis Cache |
+| **Big Data & Streaming** | ETL‑Pipelines und Echtzeit‑Analytics. | Azure Synapse Analytics, Azure Databricks, Apache Kafka auf AKS, Event Hubs |
+| **Beobachtbarkeit** | Metriken, Logs und Dashboards. | Azure Monitor, Application Insights, Grafana auf AKS |
+| **Compliance & Sicherheit** | Richtlinien‑Durchsetzung, Schwachstellenmanagement. | Azure Defender for Cloud, Azure Security Center, Bastion Host, Key Vault |
+| **Identität & Zugriff** | Rollenbasierter Zugriff und privilegiertes Identitäts‑Management. | Azure AD, Azure AD Connect (LDAP‑Sync), Azure PIM |
+| **DevOps** | CI/CD, IaC und automatisierte Tests. | Azure DevOps Pipelines, Terraform, GitHub Actions (falls verwendet) |
+| **Messaging** | Entkoppelter Austausch zwischen Diensten. | Azure Service Bus, Event Hubs |
+
+## 3. Komponenten‑Mapping & Zweck (Anforderung‑nach‑Anforderung)
+
+| Anforderung | Azure‑Dienst | Warum er die Anforderung erfüllt |
+|--------------|---------------|------------------------------------|
+| **AKS mit KI‑Workern** | AKS | Managed Kubernetes, Auto‑Scaling, Integration mit Azure AD für RBAC |
+| **Agentic KI + LLM Adapter** | Azure OpenAI + kundenspezifischer Container in AKS | Native LLM‑Unterstützung, keine externe PaaS |
+| **WAF & Prompt‑Firewall** | Azure Front Door (WAF) + benutzerdefinierte ASP.NET Core Middleware in AKS | Layer‑7‑Filterung, Prompt‑Validierung |
+| **KI‑Modell & Schnittstellen Scanning** | Azure Defender for Cloud (Container) + benutzerdefinierter Scanner‑Service | Kontinuierliche Schwachstellenbewertung |
+| **Frontend + Load Balancer** | Azure Application Gateway (WAF) oder Front Door + TLS‑Terminierung via Key Vault |
+| **LLM‑Router & API Gateway** | Azure APIM + benutzerdefinierte Routing‑Logik in AKS | Richtlinienbasierter Routing, Throttling |
+| **IAM (RBAC, LDAP via AAD Connect)** | Azure AD + Azure AD Connect | Einheitliche Identität, rollenbasierter Zugriff |
+| **PAM (Azure PIM)** | Azure Privileged Identity Management | Just‑in‑Time Zugriff, MFA |
+| **SQL / NoSQL / Blob / Vektor‑DB / Redis / Graph** | Azure SQL, Cosmos DB (Core & Gremlin), Blob Storage, Qdrant in AKS, Azure Cache for Redis | Native Speicher‑Dienste, S3‑Kompatibilität via Blob API |
+| **Big‑Data Pipeline** | Synapse, Databricks, Kafka (AKS), Event Hubs | Unified Analytics Plattform |
+| **Logging & Monitoring** | Azure Monitor, Application Insights, Grafana | Metriken, Logs, Dashboards |
+| **Vulnerability Management** | Defender for Cloud + Azure Security Center | Kontinuierliche Bewertung, Compliance‑Scans |
+| **Queue‑Services** | Service Bus / Event Hubs | Zuverlässige Messaging |
+| **Build/Test/Deploy KI‑Agenten** | Azure DevOps Pipelines, Terraform | CI/CD + IaC |
+| **Bastion Host** | Azure Bastion | Sicherer RDP/SSH Zugriff |
+| **Splunk SIEM** | Optional: Splunk Enterprise auf AKS oder Azure Sentinel (SIEM) |
+| **Public/private Zertifikate** | Key Vault + Azure Front Door | Managed Zertifikate |
+
+## 4. Konfigurationshinweise
+
+### 4.1 Azure Policy & Blueprints
+| Richtlinie | Ziel | Durchsetzung |
+|------------|------|--------------|
+| **Erlaubte Standorte** | Alle Ressourcen | Verhindert Deployments außerhalb von EU‑Regionen |
+| **Tagging‑Anforderung** | Alle Ressourcen | Erfordert `Owner`, `Environment`, `Compliance` Tags |
+| **Erlaubte SKUs** | AKS, Azure SQL, Cosmos DB | Beschränkt auf EU‑Datencenter SKUs |
+| **Datenresidenz** | Storage Accounts | Erzwingt `DataLocation=EU` |
+| **Key Vault‑Secret‑Schutz** | Key Vault | Erzwingt `SoftDelete`, `PurgeProtection` |
+
+Verwende **Azure Blueprints**, um die Basis (VNET, NSG, Key Vault, AAD Connect) vor‑bereit zu stellen.
+
+### 4.2 RBAC & Managed Identities
+- **AKS‑Cluster**: Aktiviere `Azure AD Integration` und weise die Rolle *Azure Kubernetes Service RBAC* AAD‑Gruppen zu.
+- **Service Principals**: Nutze *Azure AD App‑Registrierungen* für API Management und DevOps Pipelines. Erteile minimalen Rollenumfang (z.B. `Reader`, `Contributor` auf spezifische Resource Groups).
+- **Managed Identities**: Aktiviere sie für AKS‑Nodes, Databricks‑Workspaces und Synapse‑Pipelines, um Key Vault‑Secrets, Storage Accounts und Datenbanken zu nutzen.
+- **Privileged Identity Management**: Aktiviere JIT für *Owner* Rollen auf Produktions‑Resource Groups.
+
+### 4.3 Key Vault Secrets & Zertifikate
+- Speichere alle Verbindungszeichenketten, API‑Keys (Azure OpenAI) und TLS‑Zertifikate im **Key Vault**.
+- Aktiviere *SoftDelete* + *PurgeProtection*.
+- Verwende **Key Vault‑References** in ARM/Terraform (z.B. `@Microsoft.KeyVault(????)`) zur Laufzeit‑Injektion.
+- Für TLS‑Terminierung importiere Zertifikate in Key Vault und referenziere sie im Front Door oder Application Gateway.
+
+### 4.4 Netzwerke & Isolation
+- Stelle alle Ressourcen in ein **VNet** mit Subnetzen: `api`, `k8s`, `storage`, `data‑lake`, `monitor`.
+- Nutze **Network Security Groups** (NSGs) und **Azure Firewall**, um Egress/Ingress zu beschränken. Erlaube nur benötigte Ports (80, 443, 6443 für AKS etc.).
+- Aktiviere **Private Endpoints** für alle Storage Accounts und Datenbanken, um Traffic ins öffentliche Internet zu vermeiden.
+- Verwende **Service Tags** (z.B. `AzureCloud`, `AzureKeyVault`) in NSGs.
+
+### 4.5 Logging & Retention
+- **Azure Monitor**: Aktiviere Diagnose‑Logs für alle Ressourcen. Speichere Logs in einem dedizierten Log Analytics Workspace mit Retention von 90 Tagen (oder länger, falls EU‑AI Act erfordert).
+- **Application Insights**: Aktiviere Telemetrie für API Gateway und AKS‑Workloads. Nutze benutzerdefinierte Dimensionen, um Anfragen nach `model_id` zu taggen.
+- **Azure Sentinel**: Ingestiere Logs von Key Vault, Defender, APIM und AKS. Erstelle Playbooks für automatisierte Incident‑Response.
+- **Splunk**: Falls nötig, betreibe Splunk Enterprise auf separatem AKS‑Cluster und ingestiere Daten über Splunk Connect for Microsoft Azure.
+
+## 5. Compliance‑Check‑Plan
+
+| Aspekt | Check | Tool / Artefakt |
+|--------|-------|-----------------|
+| **EU‑AI Act** | Modell‑Governance, Audit‑Trail, Bias‑Testing | Azure Machine Learning Model Registry, benutzerdefinierte Logging in APIM |
+| **DSGVO** | Datenminimierung, Consent‑Management | Azure Key Vault für Verschlüsselungsschlüssel, Azure AD Consent Framework |
+| **DORA** | Release‑Frequency, Deployment‑Automation | Azure DevOps Pipelines Metriken, Git Commit History |
+| **NIS 2** | Incident‑Response, Supply‑Chain‑Security | Azure Sentinel Playbooks, Defender for Cloud Alerts |
+| **ISO 27001** | Informationssicherheits‑Management | ISO‑27001 Audit‑Templates, Azure Policy Compliance Dashboard |
+
+### 5.1 Periodische Audits
+- **Quartalsweise**: Führe Azure Policy Compliance Scans durch, überprüfe IAM‑Rollenvergabe.
+- **Halbjährlich**: Führe Penetration‑Tests am API Gateway und AKS Cluster durch, verifiziere Key Vault Secret Rotation.
+- **Jährlich**: Führe vollständigen ISO 27001 Audit durch, EU‑AI Act Modell‑Compliance Review.
+
+### 5.2 Monitoring & Alerting
+- **Security Alerts**: Defender for Cloud + Azure Sentinel erzeugen Alarme bei anomalen Logins, Schwachstellen‑Ergebnissen.
+- **Compliance Alerts**: Policy‑Verletzungen lösen Alarme in Azure Monitor aus und senden Benachrichtigungen an das Compliance‑Team.
+- **Operational Alerts**: APIM Throttling, AKS Node‑Fehler, Datenbankverbindungsfehler.
+
+## 6. Bereitstellungs‑Blueprint (IaC)
+- **Terraform‑Module** für VNet, Subnetze, NSGs, Key Vault, AKS, APIM, Cosmos DB.
+- **ARM‑Templates** für Azure AD Connect und Key Vault‑References.
+- **Azure DevOps Pipelines**: getrennte Pipelines für Infrastruktur (IaC) und Anwendung (Container‑Build, Push zu ACR, Deploy zu AKS).
+- **CI Secrets**: gespeichert im Key Vault und über Azure DevOps Service‑Connections abgerufen.
+
+## 7. Nächste Schritte
+1. Erstelle das **Azure Blueprint** für Basis‑Compliance.
+2. Deploye **VNet** und **NSGs** mit den oben genannten Regeln.
+3. Erstelle **Key Vault**, importiere Zertifikate, erstelle Secrets für OpenAI‑Keys.
+4. Deploye **AKS** mit Azure AD Integration und Managed Identities.
+5. Richte **Azure APIM** ein, konfiguriere Policies (Rate‑Limit, JWT‑Validierung).
+6. Deploye **KI‑Engine** Container‑Images zu AKS.
+7. Konfiguriere **Azure Sentinel** mit Log‑Connectors.
+8. Führe Compliance‑Scan-Suite aus und behebe eventuelle Lücken.
+
+---
+
+> *Alle Dienste werden in EU‑Regionen (z. B. West Europe, North Europe) gehostet, um Daten‑Residency‑Anforderungen zu erfüllen.*
+