Azure AI Architektur – EU‑konform, ISO 27001 & DORA bereit

1. Hoch‑Level Architekturdiagramm (Mermaid)

flowchart TD
    %% Externer Verkehr
    Internet([Internet]) --> WAF[WAF / Prompt‑Firewall]
    WAF --> LB[TLS‑Terminierende Lastenausgleichung]

    %% API-Schicht
    LB --> APIGW[Azure API Management (LLM‑Router)]
    APIGW --> AKS[Kubernetes Cluster]

    %% KI‑Kernservices
    AKS -->|LLM Adapter| AOAI[Azure OpenAI]
    AKS --> AIEngine[Agentic KI‑Engine]
    AIEngine -->|Prompt‑Routing| PromptFirewall
    AIEngine -->|Modellsscanning| SecScanner[KI‑Modell & Schnittstellen‑Scanner]

    %% Datenschicht
    subgraph DB[Datenlager]
        SQL[Azure SQL Database]:::db
        NoSQL[Cosmos DB (NoSQL)]:::db
        Blob[Azure Blob Storage]:::db
        VectDB[Qdrant in AKS (Vektor‑DB)]:::db
        Redis[Azure Cache for Redis]:::db
        GraphDB[Azure Cosmos DB (Gremlin API)]:::db
    end

    %% Big‑Data Pipeline
    subgraph BD[Big‑Data & Streaming]
        Synapse[Azure Synapse Analytics]:::pipeline
        Databricks[Azure Databricks]:::pipeline
        Kafka[Apache Kafka (AKS)]:::pipeline
        EH[Event Hubs]:::pipeline
    end

    %% Beobachtbarkeit & Sicherheit
    subgraph OBS[Beobachtbarkeit]
        Monitor[Azure Monitor]:::obs
        AppInsights[Application Insights]:::obs
        Grafana[Grafana auf AKS]:::obs
    end

    subgraph SEC[Sicherheit & Compliance]
        Defender[Defender for Cloud]:::sec
        SecCenter[Azure Security Center]:::sec
        Bastion[Bastion Host]:::sec
        KeyVault[Key Vault]:::sec
    end

    %% Orchestrierung & CI/CD
    subgraph DEV[DevOps]
        DevOps[Azure DevOps Pipelines]:::dev
        Terraform[Terraform (IaC)]:::dev
    end

    %% IAM & PAM
    subgraph AUTH[Identität]
        AD[AAD]:::auth
        PIM[Azure PIM]:::auth
    end

    %% Queue & Messaging
    subgraph MQ[Messaging]
        SB[Service Bus]:::mq
        EH --> SB
    end

    %% Verbindungen
    APIGW -->|Auth via AAD| AUTH
    AKS -->|Secrets from KV| KeyVault
    SecScanner -->|Logs to Monitor| Monitor
    AIEngine -->|Telemetry| AppInsights
    DevOps -->|Terraform| AKS
    DEV -->|Deploy to AKS| AKS
    DB -->|Access via Managed Identities| AKS
    BD -->|Ingress to AKS| AIEngine
    OBS -->|Logs & Metrics| Monitor
    SEC -->|Policy Enforcement| Defender

/* Mermaid diagram styles */
%% {font-family: monospace;}

::: note Das Diagramm ist bewusst vereinfacht – die reale Bereitstellung enthält zusätzliche Schichten wie interne VNET‑Peering, Azure Front Door für globale Routing und ggf. einen Azure AD Application Proxy. :::

2. Schichtbeschreibungen

Schicht	Zweck	Kern‑Azure‑Dienste
Frontend	TLS‑Terminierung, Ratenbegrenzung und WAF‑Schutz für gesamten eingehenden Verkehr.	Azure Front Door (oder Application Gateway mit WAF), TLS‑Terminierung via Azure Key Vault Zertifikate
API‑Schicht	Öffentlicher API‑Gateway, Routing zu LLM‑Router und internen Diensten.	Azure API Management (APIM), OpenAPI Definitionen, JWT‑Validierung via AAD
KI‑Kern	Ausführung von agentischen KI‑Workloads und LLM‑Inference.	Azure Kubernetes Service (AKS), Azure OpenAI, kundenspezifische Container‑Images für Agenten
Sicherheit & Scanning	Kontinuierliches Scannen von Modellen und Schnittstellen, Schutz vor bösartigen Prompts.	Azure Defender for Container Apps (oder AKS), benutzerdefinierte Prometheus Exporter, Azure Sentinel Logs
Daten‑Schicht	Persistente Speicherung für strukturierte und unstrukturierte Daten.	Azure SQL Database, Cosmos DB (SQL & Gremlin APIs), Blob Storage, Qdrant (Vektor‑DB) in AKS, Redis Cache
Big Data & Streaming	ETL‑Pipelines und Echtzeit‑Analytics.	Azure Synapse Analytics, Azure Databricks, Apache Kafka auf AKS, Event Hubs
Beobachtbarkeit	Metriken, Logs und Dashboards.	Azure Monitor, Application Insights, Grafana auf AKS
Compliance & Sicherheit	Richtlinien‑Durchsetzung, Schwachstellenmanagement.	Azure Defender for Cloud, Azure Security Center, Bastion Host, Key Vault
Identität & Zugriff	Rollenbasierter Zugriff und privilegiertes Identitäts‑Management.	Azure AD, Azure AD Connect (LDAP‑Sync), Azure PIM
DevOps	CI/CD, IaC und automatisierte Tests.	Azure DevOps Pipelines, Terraform, GitHub Actions (falls verwendet)
Messaging	Entkoppelter Austausch zwischen Diensten.	Azure Service Bus, Event Hubs

3. Komponenten‑Mapping & Zweck (Anforderung‑nach‑Anforderung)

Anforderung	Azure‑Dienst	Warum er die Anforderung erfüllt
AKS mit KI‑Workern	AKS	Managed Kubernetes, Auto‑Scaling, Integration mit Azure AD für RBAC
Agentic KI + LLM Adapter	Azure OpenAI + kundenspezifischer Container in AKS	Native LLM‑Unterstützung, keine externe PaaS
WAF & Prompt‑Firewall	Azure Front Door (WAF) + benutzerdefinierte ASP.NET Core Middleware in AKS	Layer‑7‑Filterung, Prompt‑Validierung
KI‑Modell & Schnittstellen Scanning	Azure Defender for Cloud (Container) + benutzerdefinierter Scanner‑Service	Kontinuierliche Schwachstellenbewertung
Frontend + Load Balancer	Azure Application Gateway (WAF) oder Front Door + TLS‑Terminierung via Key Vault
LLM‑Router & API Gateway	Azure APIM + benutzerdefinierte Routing‑Logik in AKS	Richtlinienbasierter Routing, Throttling
IAM (RBAC, LDAP via AAD Connect)	Azure AD + Azure AD Connect	Einheitliche Identität, rollenbasierter Zugriff
PAM (Azure PIM)	Azure Privileged Identity Management	Just‑in‑Time Zugriff, MFA
SQL / NoSQL / Blob / Vektor‑DB / Redis / Graph	Azure SQL, Cosmos DB (Core & Gremlin), Blob Storage, Qdrant in AKS, Azure Cache for Redis	Native Speicher‑Dienste, S3‑Kompatibilität via Blob API
Big‑Data Pipeline	Synapse, Databricks, Kafka (AKS), Event Hubs	Unified Analytics Plattform
Logging & Monitoring	Azure Monitor, Application Insights, Grafana	Metriken, Logs, Dashboards
Vulnerability Management	Defender for Cloud + Azure Security Center	Kontinuierliche Bewertung, Compliance‑Scans
Queue‑Services	Service Bus / Event Hubs	Zuverlässige Messaging
Build/Test/Deploy KI‑Agenten	Azure DevOps Pipelines, Terraform	CI/CD + IaC
Bastion Host	Azure Bastion	Sicherer RDP/SSH Zugriff
Splunk SIEM	Optional: Splunk Enterprise auf AKS oder Azure Sentinel (SIEM)
Public/private Zertifikate	Key Vault + Azure Front Door	Managed Zertifikate

4. Konfigurationshinweise

4.1 Azure Policy & Blueprints

Richtlinie	Ziel	Durchsetzung
Erlaubte Standorte	Alle Ressourcen	Verhindert Deployments außerhalb von EU‑Regionen
Tagging‑Anforderung	Alle Ressourcen	Erfordert `Owner`, `Environment`, `Compliance` Tags
Erlaubte SKUs	AKS, Azure SQL, Cosmos DB	Beschränkt auf EU‑Datencenter SKUs
Datenresidenz	Storage Accounts	Erzwingt `DataLocation=EU`
Key Vault‑Secret‑Schutz	Key Vault	Erzwingt `SoftDelete`, `PurgeProtection`

Verwende Azure Blueprints, um die Basis (VNET, NSG, Key Vault, AAD Connect) vor‑bereit zu stellen.

4.2 RBAC & Managed Identities

AKS‑Cluster: Aktiviere Azure AD Integration und weise die Rolle Azure Kubernetes Service RBAC AAD‑Gruppen zu.
Service Principals: Nutze Azure AD App‑Registrierungen für API Management und DevOps Pipelines. Erteile minimalen Rollenumfang (z.B. Reader, Contributor auf spezifische Resource Groups).
Managed Identities: Aktiviere sie für AKS‑Nodes, Databricks‑Workspaces und Synapse‑Pipelines, um Key Vault‑Secrets, Storage Accounts und Datenbanken zu nutzen.
Privileged Identity Management: Aktiviere JIT für Owner Rollen auf Produktions‑Resource Groups.

4.3 Key Vault Secrets & Zertifikate

Speichere alle Verbindungszeichenketten, API‑Keys (Azure OpenAI) und TLS‑Zertifikate im Key Vault.
Aktiviere SoftDelete + PurgeProtection.
Verwende Key Vault‑References in ARM/Terraform (z.B. @Microsoft.KeyVault(????)) zur Laufzeit‑Injektion.
Für TLS‑Terminierung importiere Zertifikate in Key Vault und referenziere sie im Front Door oder Application Gateway.

4.4 Netzwerke & Isolation

Stelle alle Ressourcen in ein VNet mit Subnetzen: api, k8s, storage, data‑lake, monitor.
Nutze Network Security Groups (NSGs) und Azure Firewall, um Egress/Ingress zu beschränken. Erlaube nur benötigte Ports (80, 443, 6443 für AKS etc.).
Aktiviere Private Endpoints für alle Storage Accounts und Datenbanken, um Traffic ins öffentliche Internet zu vermeiden.
Verwende Service Tags (z.B. AzureCloud, AzureKeyVault) in NSGs.

4.5 Logging & Retention

Azure Monitor: Aktiviere Diagnose‑Logs für alle Ressourcen. Speichere Logs in einem dedizierten Log Analytics Workspace mit Retention von 90 Tagen (oder länger, falls EU‑AI Act erfordert).
Application Insights: Aktiviere Telemetrie für API Gateway und AKS‑Workloads. Nutze benutzerdefinierte Dimensionen, um Anfragen nach model_id zu taggen.
Azure Sentinel: Ingestiere Logs von Key Vault, Defender, APIM und AKS. Erstelle Playbooks für automatisierte Incident‑Response.
Splunk: Falls nötig, betreibe Splunk Enterprise auf separatem AKS‑Cluster und ingestiere Daten über Splunk Connect for Microsoft Azure.

5. Compliance‑Check‑Plan

Aspekt	Check	Tool / Artefakt
EU‑AI Act	Modell‑Governance, Audit‑Trail, Bias‑Testing	Azure Machine Learning Model Registry, benutzerdefinierte Logging in APIM
DSGVO	Datenminimierung, Consent‑Management	Azure Key Vault für Verschlüsselungsschlüssel, Azure AD Consent Framework
DORA	Release‑Frequency, Deployment‑Automation	Azure DevOps Pipelines Metriken, Git Commit History
NIS 2	Incident‑Response, Supply‑Chain‑Security	Azure Sentinel Playbooks, Defender for Cloud Alerts
ISO 27001	Informationssicherheits‑Management	ISO‑27001 Audit‑Templates, Azure Policy Compliance Dashboard

5.1 Periodische Audits

Quartalsweise: Führe Azure Policy Compliance Scans durch, überprüfe IAM‑Rollenvergabe.
Halbjährlich: Führe Penetration‑Tests am API Gateway und AKS Cluster durch, verifiziere Key Vault Secret Rotation.
Jährlich: Führe vollständigen ISO 27001 Audit durch, EU‑AI Act Modell‑Compliance Review.

5.2 Monitoring & Alerting

Security Alerts: Defender for Cloud + Azure Sentinel erzeugen Alarme bei anomalen Logins, Schwachstellen‑Ergebnissen.
Compliance Alerts: Policy‑Verletzungen lösen Alarme in Azure Monitor aus und senden Benachrichtigungen an das Compliance‑Team.
Operational Alerts: APIM Throttling, AKS Node‑Fehler, Datenbankverbindungsfehler.

6. Bereitstellungs‑Blueprint (IaC)

Terraform‑Module für VNet, Subnetze, NSGs, Key Vault, AKS, APIM, Cosmos DB.
ARM‑Templates für Azure AD Connect und Key Vault‑References.
Azure DevOps Pipelines: getrennte Pipelines für Infrastruktur (IaC) und Anwendung (Container‑Build, Push zu ACR, Deploy zu AKS).
CI Secrets: gespeichert im Key Vault und über Azure DevOps Service‑Connections abgerufen.

7. Nächste Schritte

Erstelle das Azure Blueprint für Basis‑Compliance.
Deploye VNet und NSGs mit den oben genannten Regeln.
Erstelle Key Vault, importiere Zertifikate, erstelle Secrets für OpenAI‑Keys.
Deploye AKS mit Azure AD Integration und Managed Identities.
Richte Azure APIM ein, konfiguriere Policies (Rate‑Limit, JWT‑Validierung).
Deploye KI‑Engine Container‑Images zu AKS.
Konfiguriere Azure Sentinel mit Log‑Connectors.
Führe Compliance‑Scan-Suite aus und behebe eventuelle Lücken.

Alle Dienste werden in EU‑Regionen (z. B. West Europe, North Europe) gehostet, um Daten‑Residency‑Anforderungen zu erfüllen.

12 KiB Raw Blame History Unescape Escape

Azure AI Architektur – EU‑konform, ISO 27001 & DORA bereit