From 16f5a5e7b10cc4bfb7580e2317e6b0988ba8f0a2 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?sebastian=20fr=C3=B6hlich?= Date: Mon, 8 Dec 2025 12:06:32 +0100 Subject: [PATCH] output lokale LLM - gpt-oss-20b --- .../azure_ai_architecture_gpt-oss-20b.md | 206 ++++++++++++++++++ 1 file changed, 206 insertions(+) create mode 100644 anfragen-an-ki/azure_ai_architecture_gpt-oss-20b.md diff --git a/anfragen-an-ki/azure_ai_architecture_gpt-oss-20b.md b/anfragen-an-ki/azure_ai_architecture_gpt-oss-20b.md new file mode 100644 index 0000000..38b795d --- /dev/null +++ b/anfragen-an-ki/azure_ai_architecture_gpt-oss-20b.md @@ -0,0 +1,206 @@ +# Azure AI Architektur – EU‑konform, ISO 27001 & DORA bereit + +## 1. Hoch‑Level Architekturdiagramm (Mermaid) + +```mermaid +flowchart TD + %% Externer Verkehr + Internet([Internet]) --> WAF[WAF / Prompt‑Firewall] + WAF --> LB[TLS‑Terminierende Lastenausgleichung] + + %% API-Schicht + LB --> APIGW[Azure API Management (LLM‑Router)] + APIGW --> AKS[Kubernetes Cluster] + + %% KI‑Kernservices + AKS -->|LLM Adapter| AOAI[Azure OpenAI] + AKS --> AIEngine[Agentic KI‑Engine] + AIEngine -->|Prompt‑Routing| PromptFirewall + AIEngine -->|Modells­scanning| SecScanner[KI‑Modell & Schnittstellen‑Scanner] + + %% Daten­schicht + subgraph DB[Datenlager] + SQL[Azure SQL Database]:::db + NoSQL[Cosmos DB (NoSQL)]:::db + Blob[Azure Blob Storage]:::db + VectDB[Qdrant in AKS (Vektor‑DB)]:::db + Redis[Azure Cache for Redis]:::db + GraphDB[Azure Cosmos DB (Gremlin API)]:::db + end + + %% Big‑Data Pipeline + subgraph BD[Big‑Data & Streaming] + Synapse[Azure Synapse Analytics]:::pipeline + Databricks[Azure Databricks]:::pipeline + Kafka[Apache Kafka (AKS)]:::pipeline + EH[Event Hubs]:::pipeline + end + + %% Beobachtbarkeit & Sicherheit + subgraph OBS[Beobachtbarkeit] + Monitor[Azure Monitor]:::obs + AppInsights[Application Insights]:::obs + Grafana[Grafana auf AKS]:::obs + end + + subgraph SEC[Sicherheit & Compliance] + Defender[Defender for Cloud]:::sec + SecCenter[Azure Security Center]:::sec + Bastion[Bastion Host]:::sec + KeyVault[Key Vault]:::sec + end + + %% Orchestrierung & CI/CD + subgraph DEV[DevOps] + DevOps[Azure DevOps Pipelines]:::dev + Terraform[Terraform (IaC)]:::dev + end + + %% IAM & PAM + subgraph AUTH[Identität] + AD[AAD]:::auth + PIM[Azure PIM]:::auth + end + + %% Queue & Messaging + subgraph MQ[Messaging] + SB[Service Bus]:::mq + EH --> SB + end + + %% Verbindungen + APIGW -->|Auth via AAD| AUTH + AKS -->|Secrets from KV| KeyVault + SecScanner -->|Logs to Monitor| Monitor + AIEngine -->|Telemetry| AppInsights + DevOps -->|Terraform| AKS + DEV -->|Deploy to AKS| AKS + DB -->|Access via Managed Identities| AKS + BD -->|Ingress to AKS| AIEngine + OBS -->|Logs & Metrics| Monitor + SEC -->|Policy Enforcement| Defender +``` +```css +/* Mermaid diagram styles */ +%% {font-family: monospace;} +``` + +::: note +Das Diagramm ist bewusst vereinfacht – die reale Bereitstellung enthält zusätzliche Schichten wie interne VNET‑Peering, Azure Front Door für globale Routing und ggf. einen Azure AD Application Proxy. +::: + +## 2. Schichtbeschreibungen + +| Schicht | Zweck | Kern‑Azure‑Dienste | +|---------|-------|---------------------| +| **Frontend** | TLS‑Terminierung, Ratenbegrenzung und WAF‑Schutz für gesamten eingehenden Verkehr. | Azure Front Door (oder Application Gateway mit WAF), TLS‑Terminierung via Azure Key Vault Zertifikate | +| **API‑Schicht** | Öffentlicher API‑Gateway, Routing zu LLM‑Router und internen Diensten. | Azure API Management (APIM), OpenAPI Definitionen, JWT‑Validierung via AAD | +| **KI‑Kern** | Ausführung von agentischen KI‑Workloads und LLM‑Inference. | Azure Kubernetes Service (AKS), Azure OpenAI, kundenspezifische Container‑Images für Agenten | +| **Sicherheit & Scanning** | Kontinuierliches Scannen von Modellen und Schnittstellen, Schutz vor bösartigen Prompts. | Azure Defender for Container Apps (oder AKS), benutzerdefinierte Prometheus Exporter, Azure Sentinel Logs | +| **Daten‑Schicht** | Persistente Speicherung für strukturierte und unstrukturierte Daten. | Azure SQL Database, Cosmos DB (SQL & Gremlin APIs), Blob Storage, Qdrant (Vektor‑DB) in AKS, Redis Cache | +| **Big Data & Streaming** | ETL‑Pipelines und Echtzeit‑Analytics. | Azure Synapse Analytics, Azure Databricks, Apache Kafka auf AKS, Event Hubs | +| **Beobachtbarkeit** | Metriken, Logs und Dashboards. | Azure Monitor, Application Insights, Grafana auf AKS | +| **Compliance & Sicherheit** | Richtlinien‑Durchsetzung, Schwachstellenmanagement. | Azure Defender for Cloud, Azure Security Center, Bastion Host, Key Vault | +| **Identität & Zugriff** | Rollenbasierter Zugriff und privilegiertes Identitäts‑Management. | Azure AD, Azure AD Connect (LDAP‑Sync), Azure PIM | +| **DevOps** | CI/CD, IaC und automatisierte Tests. | Azure DevOps Pipelines, Terraform, GitHub Actions (falls verwendet) | +| **Messaging** | Entkoppelter Austausch zwischen Diensten. | Azure Service Bus, Event Hubs | + +## 3. Komponenten‑Mapping & Zweck (Anforderung‑nach‑Anforderung) + +| Anforderung | Azure‑Dienst | Warum er die Anforderung erfüllt | +|--------------|---------------|------------------------------------| +| **AKS mit KI‑Workern** | AKS | Managed Kubernetes, Auto‑Scaling, Integration mit Azure AD für RBAC | +| **Agentic KI + LLM Adapter** | Azure OpenAI + kundenspezifischer Container in AKS | Native LLM‑Unterstützung, keine externe PaaS | +| **WAF & Prompt‑Firewall** | Azure Front Door (WAF) + benutzerdefinierte ASP.NET Core Middleware in AKS | Layer‑7‑Filterung, Prompt‑Validierung | +| **KI‑Modell & Schnittstellen Scanning** | Azure Defender for Cloud (Container) + benutzerdefinierter Scanner‑Service | Kontinuierliche Schwachstellenbewertung | +| **Frontend + Load Balancer** | Azure Application Gateway (WAF) oder Front Door + TLS‑Terminierung via Key Vault | +| **LLM‑Router & API Gateway** | Azure APIM + benutzerdefinierte Routing‑Logik in AKS | Richtlinienbasierter Routing, Throttling | +| **IAM (RBAC, LDAP via AAD Connect)** | Azure AD + Azure AD Connect | Einheitliche Identität, rollenbasierter Zugriff | +| **PAM (Azure PIM)** | Azure Privileged Identity Management | Just‑in‑Time Zugriff, MFA | +| **SQL / NoSQL / Blob / Vektor‑DB / Redis / Graph** | Azure SQL, Cosmos DB (Core & Gremlin), Blob Storage, Qdrant in AKS, Azure Cache for Redis | Native Speicher‑Dienste, S3‑Kompatibilität via Blob API | +| **Big‑Data Pipeline** | Synapse, Databricks, Kafka (AKS), Event Hubs | Unified Analytics Plattform | +| **Logging & Monitoring** | Azure Monitor, Application Insights, Grafana | Metriken, Logs, Dashboards | +| **Vulnerability Management** | Defender for Cloud + Azure Security Center | Kontinuierliche Bewertung, Compliance‑Scans | +| **Queue‑Services** | Service Bus / Event Hubs | Zuverlässige Messaging | +| **Build/Test/Deploy KI‑Agenten** | Azure DevOps Pipelines, Terraform | CI/CD + IaC | +| **Bastion Host** | Azure Bastion | Sicherer RDP/SSH Zugriff | +| **Splunk SIEM** | Optional: Splunk Enterprise auf AKS oder Azure Sentinel (SIEM) | +| **Public/private Zertifikate** | Key Vault + Azure Front Door | Managed Zertifikate | + +## 4. Konfigurationshinweise + +### 4.1 Azure Policy & Blueprints +| Richtlinie | Ziel | Durchsetzung | +|------------|------|--------------| +| **Erlaubte Standorte** | Alle Ressourcen | Verhindert Deployments außerhalb von EU‑Regionen | +| **Tagging‑Anforderung** | Alle Ressourcen | Erfordert `Owner`, `Environment`, `Compliance` Tags | +| **Erlaubte SKUs** | AKS, Azure SQL, Cosmos DB | Beschränkt auf EU‑Datencenter SKUs | +| **Daten­residenz** | Storage Accounts | Erzwingt `DataLocation=EU` | +| **Key Vault‑Secret‑Schutz** | Key Vault | Erzwingt `SoftDelete`, `PurgeProtection` | + +Verwende **Azure Blueprints**, um die Basis (VNET, NSG, Key Vault, AAD Connect) vor‑bereit zu stellen. + +### 4.2 RBAC & Managed Identities +- **AKS‑Cluster**: Aktiviere `Azure AD Integration` und weise die Rolle *Azure Kubernetes Service RBAC* AAD‑Gruppen zu. +- **Service Principals**: Nutze *Azure AD App‑Registrierungen* für API Management und DevOps Pipelines. Erteile minimalen Rollenumfang (z.B. `Reader`, `Contributor` auf spezifische Resource Groups). +- **Managed Identities**: Aktiviere sie für AKS‑Nodes, Databricks‑Workspaces und Synapse‑Pipelines, um Key Vault‑Secrets, Storage Accounts und Datenbanken zu nutzen. +- **Privileged Identity Management**: Aktiviere JIT für *Owner* Rollen auf Produktions‑Resource Groups. + +### 4.3 Key Vault Secrets & Zertifikate +- Speichere alle Verbindungszeichenketten, API‑Keys (Azure OpenAI) und TLS‑Zertifikate im **Key Vault**. +- Aktiviere *SoftDelete* + *PurgeProtection*. +- Verwende **Key Vault‑References** in ARM/Terraform (z.B. `@Microsoft.KeyVault(????)`) zur Laufzeit‑Injektion. +- Für TLS‑Terminierung importiere Zertifikate in Key Vault und referenziere sie im Front Door oder Application Gateway. + +### 4.4 Netzwerke & Isolation +- Stelle alle Ressourcen in ein **VNet** mit Subnetzen: `api`, `k8s`, `storage`, `data‑lake`, `monitor`. +- Nutze **Network Security Groups** (NSGs) und **Azure Firewall**, um Egress/Ingress zu beschränken. Erlaube nur benötigte Ports (80, 443, 6443 für AKS etc.). +- Aktiviere **Private Endpoints** für alle Storage Accounts und Datenbanken, um Traffic ins öffentliche Internet zu vermeiden. +- Verwende **Service Tags** (z.B. `AzureCloud`, `AzureKeyVault`) in NSGs. + +### 4.5 Logging & Retention +- **Azure Monitor**: Aktiviere Diagnose‑Logs für alle Ressourcen. Speichere Logs in einem dedizierten Log Analytics Workspace mit Retention von 90 Tagen (oder länger, falls EU‑AI Act erfordert). +- **Application Insights**: Aktiviere Telemetrie für API Gateway und AKS‑Workloads. Nutze benutzerdefinierte Dimensionen, um Anfragen nach `model_id` zu taggen. +- **Azure Sentinel**: Ingestiere Logs von Key Vault, Defender, APIM und AKS. Erstelle Playbooks für automatisierte Incident‑Response. +- **Splunk**: Falls nötig, betreibe Splunk Enterprise auf separatem AKS‑Cluster und ingestiere Daten über Splunk Connect for Microsoft Azure. + +## 5. Compliance‑Check‑Plan + +| Aspekt | Check | Tool / Artefakt | +|--------|-------|-----------------| +| **EU‑AI Act** | Modell‑Governance, Audit‑Trail, Bias‑Testing | Azure Machine Learning Model Registry, benutzerdefinierte Logging in APIM | +| **DSGVO** | Datenminimierung, Consent‑Management | Azure Key Vault für Verschlüsselungs­schlüssel, Azure AD Consent Framework | +| **DORA** | Release‑Frequency, Deployment‑Automation | Azure DevOps Pipelines Metriken, Git Commit History | +| **NIS 2** | Incident‑Response, Supply‑Chain‑Security | Azure Sentinel Playbooks, Defender for Cloud Alerts | +| **ISO 27001** | Informationssicherheits‑Management | ISO‑27001 Audit‑Templates, Azure Policy Compliance Dashboard | + +### 5.1 Periodische Audits +- **Quartalsweise**: Führe Azure Policy Compliance Scans durch, überprüfe IAM‑Rollenvergabe. +- **Halbjährlich**: Führe Penetration‑Tests am API Gateway und AKS Cluster durch, verifiziere Key Vault Secret Rotation. +- **Jährlich**: Führe vollständigen ISO 27001 Audit durch, EU‑AI Act Modell‑Compliance Review. + +### 5.2 Monitoring & Alerting +- **Security Alerts**: Defender for Cloud + Azure Sentinel erzeugen Alarme bei anomalen Logins, Schwachstellen‑Ergebnissen. +- **Compliance Alerts**: Policy‑Verletzungen lösen Alarme in Azure Monitor aus und senden Benachrichtigungen an das Compliance‑Team. +- **Operational Alerts**: APIM Throttling, AKS Node‑Fehler, Datenbankverbindungsfehler. + +## 6. Bereitstellungs‑Blueprint (IaC) +- **Terraform‑Module** für VNet, Subnetze, NSGs, Key Vault, AKS, APIM, Cosmos DB. +- **ARM‑Templates** für Azure AD Connect und Key Vault‑References. +- **Azure DevOps Pipelines**: getrennte Pipelines für Infrastruktur (IaC) und Anwendung (Container‑Build, Push zu ACR, Deploy zu AKS). +- **CI Secrets**: gespeichert im Key Vault und über Azure DevOps Service‑Connections abgerufen. + +## 7. Nächste Schritte +1. Erstelle das **Azure Blueprint** für Basis‑Compliance. +2. Deploye **VNet** und **NSGs** mit den oben genannten Regeln. +3. Erstelle **Key Vault**, importiere Zertifikate, erstelle Secrets für OpenAI‑Keys. +4. Deploye **AKS** mit Azure AD Integration und Managed Identities. +5. Richte **Azure APIM** ein, konfiguriere Policies (Rate‑Limit, JWT‑Validierung). +6. Deploye **KI‑Engine** Container‑Images zu AKS. +7. Konfiguriere **Azure Sentinel** mit Log‑Connectors. +8. Führe Compliance‑Scan-Suite aus und behebe eventuelle Lücken. + +--- + +> *Alle Dienste werden in EU‑Regionen (z. B. West Europe, North Europe) gehostet, um Daten‑Residency‑Anforderungen zu erfüllen.* +