Alles klar – ich führe den Prompt jetzt aus und entwerfe dir die Architektur. --- ## 1. Überblick & Annahmen **Annahmen (konkretisiert):** * Branche: reguliertes Finanzinstitut oder KRITIS-Betreiber in der EU. * Daten: überwiegend **personenbezogene Daten** (inkl. special categories möglich), daher **DSGVO hoch relevant**. * KI-System eurer Lösung gilt als **„High-Risk AI System“** nach EU AI Act (z. B. Kreditentscheidungen, Risiko-Scoring).([Künstliche Intelligenz Gesetz EU][1]) * Alle produktiven Workloads laufen in **EU-Azure-Regionen** (z. B. *West Europe*, *North Europe*). * Nutzung von **Azure OpenAI (EU Data Zone / EU-Residency-Option)** bzw. ausschließlich EU-datenresidente Endpunkte für Foundation Models.([Microsoft Learn][2]) * Ziel: Architektur soll **technisch belegbar** Anforderungen aus * EU AI Act (insb. Logging, Risikomanagement, Human Oversight)([digital-strategy.ec.europa.eu][3]) * DSGVO, * DORA, NIS 2 (Resilienz, Monitoring, Incident Handling), * ISO 27001 (ISMS-Kontrollen) adressieren. --- ## 2. Zielarchitektur (High Level) ### 2.1 Schichtenmodell (verbale Übersicht) 1. **User & Clients** * interne Nutzer (Mitarbeitende), ggf. externe Kunden * Zugriff über Browser / interne Portale / APIs 2. **Edge / Ingress / Security** * **Azure Front Door mit WAF** (global, optional) * **Azure Application Gateway mit WAF** (regional, TLS-Terminierung)([Microsoft Learn][4]) * DDoS Protection, Azure Firewall, Private Endpoints 3. **API & Orchestration Layer** * **Azure API Management (APIM)** als API-Gateway * „Prompt Firewall“ & Policies in APIM + Azure AI Content Safety * LLM-Router als Microservice (AKS) hinter APIM 4. **KI-/Compute-Layer** * **AKS-Cluster** mit GPU-Nodepools für KI-Workloads * Agentic AI-Orchestrator (z. B. LangChain-/Semantic-Kernel-basiert) als Services auf AKS * Azure OpenAI / Azure AI Foundry / Self-hosted Models auf AKS 5. **Data & Event Layer** * Azure SQL, Cosmos DB, Blob Storage (Data Lake), Azure AI Search (Vektor) * Event Hubs (Kafka-kompatibel), Service Bus, Stream Analytics / Data Explorer 6. **Observability & Security-Layer** * Azure Monitor, Log Analytics, Application Insights * Azure Managed Grafana für Metrik-Dashboards([Microsoft Learn][5]) * Microsoft Sentinel + Splunk-Anbindung als SIEM/SOC * Defender for Cloud (inkl. Defender for Containers, Defender for APIs) 7. **DevOps / MLOps / IaC** * Git-Repos (GitHub Enterprise oder Azure DevOps), CI/CD-Pipelines * Terraform für IaC (State in verschlüsseltem Azure Storage) * Azure ML / AI Studio / AI Foundry für MLOps (je nach Stack) --- ### 2.2 Textuelles Architekturdiagramm (Mermaid) ```mermaid flowchart LR subgraph Clients U[User / Apps] end subgraph Edge AFD[Azure Front Door + WAF] AGW[Application Gateway WAF + TLS] AFW[Azure Firewall] end subgraph API APIM[Azure API Management\n(API Gateway + Policies)] PF[Prompt Firewall\n(Content Safety + APIM Policies)] end subgraph AI_Compute[AI & Compute Layer (AKS)] AKS[AKS Cluster\nGPU/CPU Node Pools] LLMR[LLM Router Service] AGENTS[Agentic AI Orchestrator\n(AI Agents)] FE[Frontend Container] end subgraph AI_Services AOAI[Azure OpenAI / Azure AI Foundry\n(EU Data Residency)] MODELS[Self-hosted Models on AKS] end subgraph Data[Data & Storage Layer] SQL[Azure SQL DB / MI] COSMOS[Azure Cosmos DB\n(NoSQL + Graph)] BLOB[Azure Data Lake / Blob Storage] VECTOR[Azure AI Search\n(Vektorindex)] REDIS[Azure Cache for Redis] KUSTO[Azure Data Explorer / Synapse] end subgraph Events EH[Azure Event Hubs (Kafka Endpoint)] SB[Azure Service Bus (Queues/Topics)] SA[Azure Stream Analytics] end subgraph Observability[Observability & Security] AM[Azure Monitor + Log Analytics] APPINS[Application Insights] GRAF[Azure Managed Grafana] SENT[Microsoft Sentinel] SPL[SPLUNK (VM/AKS)] DEF[Microsoft Defender for Cloud] end subgraph Identity_Sec[Identity & Access] ENTRA[Azure Entra ID\n(RBAC, Conditional Access)] PIM[Entra Privileged Identity Mgmt] KV[Azure Key Vault + Managed HSM] BAST[Azure Bastion] end subgraph DevOps[DevOps / MLOps / IaC] GIT[GitHub / Azure DevOps Repos] PIPE[CI/CD Pipelines\n(GitHub Actions / Azure Pipelines)] TF[Terraform\n(State in Storage)] end U --> AFD --> AGW --> APIM --> PF --> LLMR --> AGENTS AGENTS --> AOAI AGENTS --> MODELS LLMR --> AOAI LLMR --> MODELS AGENTS --> SQL AGENTS --> COSMOS AGENTS --> BLOB AGENTS --> VECTOR AGENTS --> REDIS AGENTS --> EH EH --> SA --> KUSTO AGENTS --> SB AKS --> AM AKS --> APPINS AM --> GRAF AM --> SENT AM --> SPL DEF --> SENT ENTRA --> APIM ENTRA --> AKS ENTRA --> GIT PIM --> ENTRA KV --> AGW KV --> APIM KV --> AKS BAST --> AKS GIT --> PIPE --> AKS PIPE --> TF TF --> AKS TF --> Data TF --> Networking((VNet/NSG/PE)) ``` --- ## 3. Azure-Service-Mapping pro Baustein ### 3.1 KI- und Compute-Layer | Baustein | Azure-Service(s) | Zweck / Begründung | | --------------------------------- | -------------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------ | | Kubernetes-Cluster mit KI-Workern | **Azure Kubernetes Service (AKS)** | Managed Kubernetes mit Integration in Azure RBAC, Managed Identities, Auto-Scaling, GPU-Nodepools für KI/LLM-Workloads. | | Container-/Cluster-Management | AKS + **Azure Monitor for Containers**, **Azure Policy** | Zentrales Management, Configuration Enforcement (PodSecurity, Gatekeeper), Ressourcenkontrolle, Compliance. | | Agentic AI mit LLM-Adapter | Microservices auf AKS (z. B. .NET/Python), **Azure OpenAI** / Azure AI Foundry | Orchestrierung von Agents, Aufruf verschiedener Modelle (Azure OpenAI, lokale Modelle). EU-Residency-Optionen helfen bei DSGVO/AI-Act-Konformität.([Microsoft Learn][2]) | | Build, Test, Deploy von AI Agents | **GitHub Enterprise / Azure DevOps Repos**, **GitHub Actions / Azure Pipelines**, **AKS**, optional **Azure Machine Learning** (MLOps) | End-to-End-CI/CD-Pipelines inkl. Build, Tests (unit, integration, eval), Deployment auf AKS; ML-spezifische Pipelines mit Modellversionierung. | | LLM-Router | Custom Service auf AKS + **Azure API Management** (Routing/Policies) | Policy-gesteuertes Routing zwischen Modellen (Azure OpenAI, Self-hosted, ggf. Drittanbieter), A/B-Tests, Fallback-Strategien. | --- ### 3.2 Security & Governance | Baustein | Azure-Service(s) | Zweck / Begründung | | --------------------------------- | ---------------------------------------------------------------------------------------------------- | -------------------------------------------------------------------------------------------------------------------------------------------------------------------- | | WAF | **Azure Front Door WAF** und/oder **Application Gateway WAF** | Zentrale L7-Firewall gegen OWASP-Top-10, Bot-Protection, Geo-Blocking; unterstützt Compliance-Anforderungen.([Microsoft Learn][4]) | | Prompt Firewall / Prompt Security | **Azure API Management Policies** + **Azure AI Content Safety** + Azure OpenAI Safety Filters | Vor- und Nachschaltung von Content-Filtern, Blockieren schädlicher Prompts/Outputs; wichtig für AI-Act-Risikomitigation und Grundrechtsschutz.([Microsoft Learn][2]) | | AI-Model Scanning | **Microsoft Defender for Cloud** (Container/VM/Registry-Scanning), **Azure ML Responsible AI-Tools** | Scans von Container-Images/Abhängigkeiten, Modell-Governance (Bias, Fairness, Explainability) als Beitrag zu EU-AI-Act-Risikomanagement.([21medien.de][6]) | | AI-Interface Scanning | **Microsoft Defender for APIs**, WAF-Logs, APIM Diagnostics | Schutz der API-Interfaces gegen Missbrauch, Anomalie-Erkennung, Angriffserkennung auf AI-Endpunkte. | | Vulnerability Management | **Microsoft Defender for Cloud**, Defender for Containers, Qualys-Integration | Kontinuierliches Schwachstellenmanagement auf VMs, Containern, PaaS-Ressourcen – relevant für DORA/NIS2/ISO 27001. | | IAM (RBAC, LDAP) | **Azure Entra ID**, Azure RBAC, Azure AD Connect / Entra Connect | Zentrale Identitäten, Rollen, Conditional Access; Integration mit On-Prem-LDAP/AD; Grundlage für least privilege & Zero Trust. | | PAM | **Azure Entra Privileged Identity Management (PIM)** | Zeitlich begrenzte, genehmigungspflichtige Admin-Rollen, Governance & Justification-Logging – wichtig für ISO 27001, DORA. | | Bastion Host | **Azure Bastion** | Sichere, browserbasierte RDP/SSH-Verbindungen ohne Public IPs auf VMs (z. B. Admin-Knoten, Jump Hosts). | | Zertifikate & Secrets | **Azure Key Vault** (Secrets, Keys, Certificates) + ggf. **Managed HSM** | Zentrales Management von TLS-Zertifikaten, Schlüsseln (inkl. HSM-backed), Secret Rotation; Integrationen mit App Gateway, AKS, APIM, etc. | --- ### 3.3 Networking & Ingress | Baustein | Azure-Service(s) | Zweck / Begründung | | ---------------------------------- | -------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------ | | Load Balancer mit TLS-Terminierung | **Application Gateway** (L7, TLS-Offload) + interne **Azure Load Balancer** | TLS-Termination, SNI, Path-based Routing; interne Lastverteilung zwischen AKS-Knoten/Pods. | | API-Gateway | **Azure API Management** | Throttling, AuthN/AuthZ (JWT/OAuth2/Entra), Versionierung, Request/Response-Transformation, zentraler Audit-Log-Punkt. | | Netzwerksegmentierung | **Azure Virtual Network**, **NSG**, **Azure Firewall**, **Private Endpoints**, **Hub-Spoke-Architektur** | Trennung nach Zonen (Edge, App, Data, Admin), erzwungener Zugriff über Firewall, private Kommunikation zu PaaS-Services. | --- ### 3.4 Daten- & Storage-Layer | Baustein | Azure-Service(s) | Zweck / Begründung | | -------------------------- | ------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------ | | SQL-Datenbanken | **Azure SQL Database** / **Azure SQL Managed Instance** | Transaktionale Workloads, Konfigurationsdaten, Audit-Tables, referentielle Integrität. | | NoSQL | **Azure Cosmos DB (Core API)** | Hochskalierbare, globale Dokument-/Key-Value-DB für Sessions, Konfiguration, Agent-States. | | Object Store | **Azure Blob Storage / Data Lake Storage Gen2** | S3-ähnliche Object-Speicherung für Dokumente, Logs, Model-Checkpoints, Trainingsdaten. | | Vektor-Datenbank | **Azure AI Search mit Vektorindex** | Verwaltete Vektorsuche für RAG, semantische Suche, Retrieval-Orchestrierung. | | Redis Cache | **Azure Cache for Redis** | In-Memory-Cache für Sessions, Prompt-Kontext, Throttling, Rate-Limiting-Counter. | | GraphDB | **Cosmos DB (Gremlin API)** oder **Azure SQL Graph** | Modellierung von Beziehungsnetzen (Entitäten, Events, Policies). | | Big Data / Data Lake / DWH | **Data Lake Storage Gen2**, **Azure Synapse Analytics** oder **Fabric** | Historisierung, Advanced Analytics, Reporting, KI-Trainingsdaten. | | Real-Time Analytics | **Azure Event Hubs**, **Stream Analytics**, **Azure Data Explorer / Synapse Data Explorer** | near real-time Monitoring, Fraud-Detection, Telemetrie-Auswertung. | | Apache Kafka Router | **Azure Event Hubs (Kafka-kompatibler Endpoint)** | Kafka-API-kompatibles Event-Streaming ohne eigenen Kafka-Cluster. | | Queues / MQ | **Azure Service Bus** (Queues/Topics) | Zuverlässige, transaktionale Nachrichten zwischen Services, Entkopplung. | --- ### 3.5 Frontend & Applikation | Baustein | Azure-Service(s) | Zweck / Begründung | | ------------------------ | --------------------------------------------------------------------------------------------- | -------------------------------------------------------------------------------------------------------- | | Frontend als Container | Container auf **AKS** (separate Namespace) oder **Azure App Service for Containers** | Isoliertes Deployment der UI, Integration mit WAF/APIM, Identity via Entra ID (OIDC). | | Git-Repos, Runner, CI/CD | **GitHub Enterprise** oder **Azure DevOps** (Repos, Pipelines), self-hosted Runner auf AKS/VM | Vollständige Code-Versionierung, Build/Deploy-Pipelines, Policy-Gates (Code-Scanning, Secrets-Scanning). | | IDE-Integration | **GitHub Codespaces** / **Dev Box**, VS Code Remote | Sichere, cloudbasierte Dev- und Debug-Umgebungen mit Policy-Control. | --- ### 3.6 Observability & Operations | Baustein | Azure-Service(s) | Zweck / Begründung | | ------------------ | -------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------ | | Logging | **Azure Monitor Logs + Log Analytics**, Diagnostics Settings, Export zu Blob/Event Hub | Zentrale Sammlung von Infrastruktur-, App-, API- und Sicherheits-Logs; Grundlage für EU-AI-Act-Logging-Pflichten und ISO 27001-Kontrollen.([iks.fraunhofer.de][7]) | | Monitoring | **Azure Monitor**, **Application Insights**, Container Insights | Verfügbarkeit, Performance, End-to-End-Traceability. | | Metriken / Grafana | **Azure Managed Grafana** | Visualisierung von Kennzahlen (Latenz, Request-Fehler, Modell-Auslastung, GPU-Nutzung) – vollständig verwalteter Dienst.([Microsoft Learn][5]) | | SIEM / SOC | **Microsoft Sentinel** + Anbindung an **Splunk** | Korrelation sicherheitsrelevanter Events, Detection-Regeln, Playbooks; Integration in bestehende SOC-Landschaft. | --- ### 3.7 Infrastructure as Code (IaC) | Baustein | Azure-Service(s) | Zweck / Begründung | | -------------------- | ---------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------- | | Terraform Deployment | **Terraform OSS/Cloud** + Backend in **Azure Storage** (verschlüsselt, private Endpoint) | Reproduzierbare Provisionierung von Netz, AKS, Datenbanken, Monitor, Sicherheitskomponenten. | | Secrets für IaC | **Azure Key Vault** | Sichere Ablage von Service Principals, SSH-Keys etc.; Zugriff per Managed Identity der Pipelines. | --- ## 4. Compliance-Mapping (Tabelle – Auszug) **Hinweis:** Stark vereinfacht; in einem echten Projekt würdest du pro Regulation eine viel granularere Kontrollliste pflegen. | Regulierung / Anforderung | Architekturbaustein(e) | Technischer Beitrag | | ------------------------------------------------------------------------------------------- | -------------------------------------------------------------------------------------- | -------------------------------------------------------------------------------------------------------------------------------------------------- | | **EU AI Act – Logging & Traceability (Art. 12, 26)**([Künstliche Intelligenz Gesetz EU][8]) | Azure Monitor, Log Analytics, APIM-Logs, AKS Audit Logs, Data Lake für Log-Archiv | Vollständige Protokollierung von Input/Output, Modellaufrufen, Entscheidungen; Aufbewahrung > 6 Monate; revisionssichere Ablage. | | **EU AI Act – Human Oversight (Art. 14)**([Künstliche Intelligenz Gesetz EU][9]) | Frontend Controls, Agent-Orchestrator, RBAC, Workflow-Engine (z. B. Logic Apps) | Manuelle Freigaben, Vier-Augen-Prinzip, Override- und Stop-Funktionen für KI-Entscheidungen. | | **DSGVO – Datenminimierung & Zweckbindung** | Datenmodellierung in SQL/Cosmos, RAG-Architektur mit selektivem Kontext, APIM-Policies | Nur notwendige Attribute im Prompt-Kontext; strenge Scoping-Policies; Pseudonymisierung vor KI-Aufruf. | | **DSGVO – Datenübermittlung & Residency** | Regionenauswahl EU (West/North Europe), Azure OpenAI EU Data-Zones | Sicherstellung, dass personenbezogene Daten die EU nicht verlassen; vertragliche & technische Kontrolle des Modellstandorts.([Microsoft Learn][2]) | | **DSGVO – Sicherheit der Verarbeitung (Art. 32)** | Entra ID, RBAC, PIM, Key Vault, Verschlüsselung at rest/in transit | Starke AuthN/AuthZ, geringste Rechte, Verschlüsselung (Storage, DB, TLS), Schutz der Schlüssel. | | **DORA – ICT Risk Management & Resilience** | Hub-Spoke-VNet, Azure Firewall, AKS mit Multi-AZ, Backup & DR-Strategie | Redundante Deployments, Netzsegmentierung, Backup/Restore, Test von Failover-Szenarien. | | **DORA – Monitoring & Incident Reporting** | Azure Monitor, Sentinel, Defender for Cloud, SOC-Runbooks | Durchgängige Überwachung, Alarmierung, automatisierte Playbooks, strukturierte Incident-Daten für Reporting. | | **NIS 2 – Security of Network & Information Systems** | VNet, NSGs, Firewall, WAF, Defender for Cloud | Schutz vor Netzangriffen, Härtung von Systemen, laufende Schwachstellen-Bewertung. | | **ISO 27001 – A.9 Zugriffskontrolle** | Entra ID, RBAC, PIM, Bastion, APIM-Auth | Rollenbasierte Zugriffssteuerung, Just-in-Time-Privilegien, kontrollierte Admin-Zugriffe ohne Public IPs. | | **ISO 27001 – A.12 Betriebs- & Änderungsmanagement** | Git-Repos, CI/CD, IaC (Terraform), Change-Approval Workflows | Versionierte Infrastruktur, klare Trennung von Umgebungen, dokumentierte Changes, Rückverfolgbarkeit. | | **ISO 27001 – A.16 Incident Management** | Sentinel, Splunk, Playbooks, Runbooks | Standardisierte Erkennung, Behandlung und Dokumentation von Sicherheitsvorfällen. | --- ## 5. Security & Data Protection – Datenflüsse & Kontrollen ### 5.1 Datenflüsse 1. **Eingabe-Prompts & Kontextdaten** * User → Frontend (TLS) → Front Door WAF → Application Gateway WAF → APIM * APIM führt AuthN/AuthZ (Entra ID, OAuth2), Rate-Limiting und Input-Validierung durch. * Prompt Firewall (APIM Policy + Content Safety) prüft Prompts auf **sensible Inhalte, PII, Policy-Verstöße**. * Agent-Orchestrator auf AKS reichert Prompt mit **zugelassenem Kontext** aus Datenbanken / Vektorstore an. 2. **Model-Calls & Outputs** * Orchestrator ruft Azure OpenAI (EU-Region / Data Zone) oder Self-hosted Model auf AKS per TLS auf.([Microsoft Learn][2]) * Outputs werden erneut durch Content Safety / Post-Filter geleitet (Policy-check; „Red-Team“-Regeln). * Relevante Parameter (Modell, Version, Confidence Scores, Decision IDs) werden geloggt. 3. **Logs & Auditing** * Alle Requests/Responses (ggf. pseudonymisiert) werden in Log Analytics und/oder Data Lake gespeichert. * Audit Logs für Admin-Aktivitäten (PIM, AKS-Cluster-Admin, Key Vault Access) werden zentral gesammelt. * Zugriff auf Logs nur via RBAC + PIM; Export zu Sentinel & Splunk für SOC-Auswertung. ### 5.2 Verschlüsselung (at rest / in transit) * **At rest** * Standardmäßig: Storage, Disk, SQL, Cosmos, Event Hubs, Service Bus → Transparent Data Encryption / SSE mit Microsoft-Managed Keys. * Für höhere Anforderungen: **Customer-Managed Keys (CMK)** in Key Vault / Managed HSM; z. B. für SQL, Storage, Event Hubs. * **In transit** * Erzwingen von TLS 1.2+/1.3 auf allen Endpoints (APIM, AKS Ingress, OpenAI, DBs, Message-Broker). * Interne Kommunikation über Private Endpoints + VNet. ### 5.3 Zugriffssteuerung & PAM * **Identity First**: * Alle User/Apps über **Entra ID** und **Managed Identities** authentifiziert. * RBAC für Azure-Ressourcen, Kubernetes-RBAC für Clusterebene, App-Rollenkonzepte im Frontend/API. * **PAM mit PIM**: * Admin-Rollen (Subscription Owner, AKS Admin, Key Vault Admin) nur als **Just-in-Time**-Rollen mit Approval und begrenzter Dauer. * **Zero Trust**: * Conditional Access (MFA, Compliant Device), kein direkter Zugriff auf Produktionsressourcen ohne PIM und Bastion. ### 5.4 Protokollierung, Auditability, Nachvollziehbarkeit * Protokollierung von: * Benutzeraktionen (Frontends, APIs) mit Korrelations-IDs. * Modellaufrufen: Prompt-Metadaten (ggf. pseudonymisiert), Modell-ID, Version, Entscheidung, Confidence. * Datenzugriffe (SQL, Storage, Cosmos) über native Audit-Funktionen. * Admin-Aktivitäten (PIM, Key Vault, AKS-Clusterrollen). * Speicherung: * Kurzfristig in **Log Analytics**, mittel-/langfristig in **Data Lake (immutable Storage)** zur Erfüllung gesetzlicher Aufbewahrungsfristen. ### 5.5 Data Residency & Souveränität * Alle Schlüsselressourcen (AKS, SQL, Storage, OpenAI, Event Hubs, etc.) werden in EU-Regionen angelegt. * Für Azure OpenAI: **EU-residente Konfiguration (Data Zones)**, um sicherzustellen, dass Prompts/Responses in der EU verarbeitet werden.([Microsoft Learn][2]) * Restriktive Firewall/NSG-Regeln, um ausgehenden Traffic zu begrenzen; optional Private DNS, keine Public Endpoints für interne Systeme. ### 5.6 Mitigation von Modell- & Prompt-Risiken * **Prompt Injection & Jailbreaks** * System-/Policy-Prompts zentral in Orchestrator verwaltet (nicht durch User überschreibbar). * Prompt-Filter in APIM + Content Safety; Blacklists/Regex und semantische Checks. * **Data Leakage** * Pseudonymisierung / Maskierung sensibler Daten vor der Übergabe an LLM. * Kein Speichern von Roh-Prompts in Logs ohne Maskierung; strikte Rollenrechte für Log-Zugriff. * **Bias, Fairness, Explainability** * Nutzung von Responsible-AI-Funktionen (z. B. Azure ML, externe Tooling) in Dev-/Testphase.([iks.fraunhofer.de][7]) --- ## 6. Betriebs- & Lifecycle-Konzept ### 6.1 Versionierung, Test & Deployment von KI-Modellen / Agents * **Repos & Branching** * Code & Konfig (Infrastructure + App + Agents) in Git (Mono- oder Multi-Repo), Feature-Branches, PR-Gates. * **Pipelines (CI/CD)** * Build: Linting, Tests, Security-Scans (SAST, Secrets-Scanning, Dependency-Scanning). * Container-Build in **Azure Container Registry** mit Signierung (Notary / cosign). * Deployment per Helm/Kustomize auf AKS (Blue-Green/Canary via Ingress Controller + APIM). * **MLOps** * Modellversionierung, Evaluation gegen Testdatensätze, automatisierte Regressionstests. * Staging-Umgebung mit Shadow Traffic, Auswertung von KPIs, Bias-/Drift-Checks, bevor Go-Live. ### 6.2 Monitoring, Alerting, Incident Response * **Monitoring** * Health-Checks auf API/Frontend/Agents (SLIs: Latenz, Error-Rate, Throughput). * Business-KPIs (z. B. akzeptierte Anträge, manuelle Overrides, Review-Raten). * **Alerting** * Schwellenwert-basierte Alerts aus Azure Monitor (z. B. Error Rate > x%, Response Time > y ms). * Security Alerts aus Defender / Sentinel (z. B. ungewöhnliche Zugriffe, Brute-Force, Anomalien). * **Incident Response** * Playbooks in **Sentinel** (z. B. automatisches Sperren eines API-Keys, Quarantäne von Nodes). * Runbooks in **Automation** für Routineoperationen (Log-Rollover, Skalierung, Rotationen). ### 6.3 Schwachstellenmanagement (Vulnerability Management) * **Container & Dependencies** * Defender for Containers scannt Container-Images in ACR & Laufzeitumgebung. * CVE-Reports → Integration in CI-Pipeline als Quality Gate. * **OS & PaaS** * Defender for Cloud überwacht VM-Guest-OS-Patching, Konfigurationsdrift, schwache Konfigurationen. * **Regelmäßige Reviews** * Monatliche Security-Review-Boards, Abgleich mit DORA/NIS2/ISO27001-Kontrollkatalogen. ### 6.4 Terraform & Konfigurationsmanagement * **State-Management** * Remote Backend (Azure Storage) mit RBAC, Private Endpoint, Soft Delete, Versioning aktiviert. * **Policies & Guardrails** * **Azure Policy** und **Blueprints** (oder Landing Zone Templates), um nur EU-Regionen, verschlüsselte Storage-Accounts, Private Endpoints etc. zuzulassen. * **Drift Detection** * Regelmäßige `terraform plan`-Runs und Compliance-Checks; Abweichungen werden als Incident behandelt. --- Wenn du möchtest, kann ich im nächsten Schritt: * ein **konkretes Beispiel-Setup** (Liste von Terraform-Ressourcen und Namespaces) skizzieren oder * die **Compliance-Tabelle** weiter detaillieren (z. B. auf Ebene einzelner ISO-27001-Kontrollen). [1]: https://artificialintelligenceact.eu/article/6/?utm_source=chatgpt.com "Article 6: Classification Rules for High-Risk AI Systems" [2]: https://learn.microsoft.com/en-us/azure/ai-foundry/responsible-ai/openai/data-privacy?view=foundry-classic&utm_source=chatgpt.com "Data, privacy, and security for Azure Direct Models in ..." [3]: https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai?utm_source=chatgpt.com "AI Act | Shaping Europe's digital future - European Union" [4]: https://learn.microsoft.com/de-de/azure/web-application-firewall/afds/afds-overview?utm_source=chatgpt.com "Was ist Azure Web Application Firewall für Azure Front Door?" [5]: https://learn.microsoft.com/en-us/azure/managed-grafana/overview?utm_source=chatgpt.com "What is Azure Managed Grafana?" [6]: https://21medien.de/en/library/azure-openai?utm_source=chatgpt.com "Azure OpenAI Service - 21medien AI Library" [7]: https://www.iks.fraunhofer.de/content/dam/iks/documents/whitepaper-eu-ai-act-fraunhofer-iks.pdf?utm_source=chatgpt.com "Whitepaper The European Artificial Intelligence Act" [8]: https://artificialintelligenceact.eu/article/26/?utm_source=chatgpt.com "Article 26: Obligations of Deployers of High-Risk AI Systems" [9]: https://artificialintelligenceact.eu/article/14/?utm_source=chatgpt.com "Article 14: Human Oversight | EU Artificial Intelligence Act"