cbazza/azure-ki-infrastruktur
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
main
azure-ki-infrastruktur/anfragen-an-ki/azure_ai_architecture_gpt-oss-20b.md
T

12 KiB
Raw Permalink Blame History

Azure AI Architektur – EU‑konform, ISO 27001 & DORA bereit

1. Hoch‑Level Architekturdiagramm (Mermaid)

flowchart TD
    %% Externer Verkehr
    Internet([Internet]) --> WAF[WAF / Prompt‑Firewall]
    WAF --> LB[TLS‑Terminierende Lastenausgleichung]

    %% API-Schicht
    LB --> APIGW[Azure API Management (LLM‑Router)]
    APIGW --> AKS[Kubernetes Cluster]

    %% KI‑Kernservices
    AKS -->|LLM Adapter| AOAI[Azure OpenAI]
    AKS --> AIEngine[Agentic KI‑Engine]
    AIEngine -->|Prompt‑Routing| PromptFirewall
    AIEngine -->|Modells­scanning| SecScanner[KI‑Modell & Schnittstellen‑Scanner]

    %% Daten­schicht
    subgraph DB[Datenlager]
        SQL[Azure SQL Database]:::db
        NoSQL[Cosmos DB (NoSQL)]:::db
        Blob[Azure Blob Storage]:::db
        VectDB[Qdrant in AKS (Vektor‑DB)]:::db
        Redis[Azure Cache for Redis]:::db
        GraphDB[Azure Cosmos DB (Gremlin API)]:::db
    end

    %% Big‑Data Pipeline
    subgraph BD[Big‑Data & Streaming]
        Synapse[Azure Synapse Analytics]:::pipeline
        Databricks[Azure Databricks]:::pipeline
        Kafka[Apache Kafka (AKS)]:::pipeline
        EH[Event Hubs]:::pipeline
    end

    %% Beobachtbarkeit & Sicherheit
    subgraph OBS[Beobachtbarkeit]
        Monitor[Azure Monitor]:::obs
        AppInsights[Application Insights]:::obs
        Grafana[Grafana auf AKS]:::obs
    end

    subgraph SEC[Sicherheit & Compliance]
        Defender[Defender for Cloud]:::sec
        SecCenter[Azure Security Center]:::sec
        Bastion[Bastion Host]:::sec
        KeyVault[Key Vault]:::sec
    end

    %% Orchestrierung & CI/CD
    subgraph DEV[DevOps]
        DevOps[Azure DevOps Pipelines]:::dev
        Terraform[Terraform (IaC)]:::dev
    end

    %% IAM & PAM
    subgraph AUTH[Identität]
        AD[AAD]:::auth
        PIM[Azure PIM]:::auth
    end

    %% Queue & Messaging
    subgraph MQ[Messaging]
        SB[Service Bus]:::mq
        EH --> SB
    end

    %% Verbindungen
    APIGW -->|Auth via AAD| AUTH
    AKS -->|Secrets from KV| KeyVault
    SecScanner -->|Logs to Monitor| Monitor
    AIEngine -->|Telemetry| AppInsights
    DevOps -->|Terraform| AKS
    DEV -->|Deploy to AKS| AKS
    DB -->|Access via Managed Identities| AKS
    BD -->|Ingress to AKS| AIEngine
    OBS -->|Logs & Metrics| Monitor
    SEC -->|Policy Enforcement| Defender

/* Mermaid diagram styles */
%% {font-family: monospace;}

::: note Das Diagramm ist bewusst vereinfacht – die reale Bereitstellung enthält zusätzliche Schichten wie interne VNET‑Peering, Azure Front Door für globale Routing und ggf. einen Azure AD Application Proxy. :::

2. Schichtbeschreibungen

Schicht Zweck Kern‑Azure‑Dienste
Frontend TLS‑Terminierung, Ratenbegrenzung und WAF‑Schutz für gesamten eingehenden Verkehr. Azure Front Door (oder Application Gateway mit WAF), TLS‑Terminierung via Azure Key Vault Zertifikate
API‑Schicht Öffentlicher API‑Gateway, Routing zu LLM‑Router und internen Diensten. Azure API Management (APIM), OpenAPI Definitionen, JWT‑Validierung via AAD
KI‑Kern Ausführung von agentischen KI‑Workloads und LLM‑Inference. Azure Kubernetes Service (AKS), Azure OpenAI, kundenspezifische Container‑Images für Agenten
Sicherheit & Scanning Kontinuierliches Scannen von Modellen und Schnittstellen, Schutz vor bösartigen Prompts. Azure Defender for Container Apps (oder AKS), benutzerdefinierte Prometheus Exporter, Azure Sentinel Logs
Daten‑Schicht Persistente Speicherung für strukturierte und unstrukturierte Daten. Azure SQL Database, Cosmos DB (SQL & Gremlin APIs), Blob Storage, Qdrant (Vektor‑DB) in AKS, Redis Cache
Big Data & Streaming ETL‑Pipelines und Echtzeit‑Analytics. Azure Synapse Analytics, Azure Databricks, Apache Kafka auf AKS, Event Hubs
Beobachtbarkeit Metriken, Logs und Dashboards. Azure Monitor, Application Insights, Grafana auf AKS
Compliance & Sicherheit Richtlinien‑Durchsetzung, Schwachstellenmanagement. Azure Defender for Cloud, Azure Security Center, Bastion Host, Key Vault
Identität & Zugriff Rollenbasierter Zugriff und privilegiertes Identitäts‑Management. Azure AD, Azure AD Connect (LDAP‑Sync), Azure PIM
DevOps CI/CD, IaC und automatisierte Tests. Azure DevOps Pipelines, Terraform, GitHub Actions (falls verwendet)
Messaging Entkoppelter Austausch zwischen Diensten. Azure Service Bus, Event Hubs

3. Komponenten‑Mapping & Zweck (Anforderung‑nach‑Anforderung)

Anforderung Azure‑Dienst Warum er die Anforderung erfüllt
AKS mit KI‑Workern AKS Managed Kubernetes, Auto‑Scaling, Integration mit Azure AD für RBAC
Agentic KI + LLM Adapter Azure OpenAI + kundenspezifischer Container in AKS Native LLM‑Unterstützung, keine externe PaaS
WAF & Prompt‑Firewall Azure Front Door (WAF) + benutzerdefinierte ASP.NET Core Middleware in AKS Layer‑7‑Filterung, Prompt‑Validierung
KI‑Modell & Schnittstellen Scanning Azure Defender for Cloud (Container) + benutzerdefinierter Scanner‑Service Kontinuierliche Schwachstellenbewertung
Frontend + Load Balancer Azure Application Gateway (WAF) oder Front Door + TLS‑Terminierung via Key Vault
LLM‑Router & API Gateway Azure APIM + benutzerdefinierte Routing‑Logik in AKS Richtlinienbasierter Routing, Throttling
IAM (RBAC, LDAP via AAD Connect) Azure AD + Azure AD Connect Einheitliche Identität, rollenbasierter Zugriff
PAM (Azure PIM) Azure Privileged Identity Management Just‑in‑Time Zugriff, MFA
SQL / NoSQL / Blob / Vektor‑DB / Redis / Graph Azure SQL, Cosmos DB (Core & Gremlin), Blob Storage, Qdrant in AKS, Azure Cache for Redis Native Speicher‑Dienste, S3‑Kompatibilität via Blob API
Big‑Data Pipeline Synapse, Databricks, Kafka (AKS), Event Hubs Unified Analytics Plattform
Logging & Monitoring Azure Monitor, Application Insights, Grafana Metriken, Logs, Dashboards
Vulnerability Management Defender for Cloud + Azure Security Center Kontinuierliche Bewertung, Compliance‑Scans
Queue‑Services Service Bus / Event Hubs Zuverlässige Messaging
Build/Test/Deploy KI‑Agenten Azure DevOps Pipelines, Terraform CI/CD + IaC
Bastion Host Azure Bastion Sicherer RDP/SSH Zugriff
Splunk SIEM Optional: Splunk Enterprise auf AKS oder Azure Sentinel (SIEM)
Public/private Zertifikate Key Vault + Azure Front Door Managed Zertifikate

4. Konfigurationshinweise

4.1 Azure Policy & Blueprints

Richtlinie Ziel Durchsetzung
Erlaubte Standorte Alle Ressourcen Verhindert Deployments außerhalb von EU‑Regionen
Tagging‑Anforderung Alle Ressourcen Erfordert Owner, Environment, Compliance Tags
Erlaubte SKUs AKS, Azure SQL, Cosmos DB Beschränkt auf EU‑Datencenter SKUs
Daten­residenz Storage Accounts Erzwingt DataLocation=EU
Key Vault‑Secret‑Schutz Key Vault Erzwingt SoftDelete, PurgeProtection

Verwende Azure Blueprints, um die Basis (VNET, NSG, Key Vault, AAD Connect) vor‑bereit zu stellen.

4.2 RBAC & Managed Identities

  • AKS‑Cluster: Aktiviere Azure AD Integration und weise die Rolle Azure Kubernetes Service RBAC AAD‑Gruppen zu.
  • Service Principals: Nutze Azure AD App‑Registrierungen für API Management und DevOps Pipelines. Erteile minimalen Rollenumfang (z.B. Reader, Contributor auf spezifische Resource Groups).
  • Managed Identities: Aktiviere sie für AKS‑Nodes, Databricks‑Workspaces und Synapse‑Pipelines, um Key Vault‑Secrets, Storage Accounts und Datenbanken zu nutzen.
  • Privileged Identity Management: Aktiviere JIT für Owner Rollen auf Produktions‑Resource Groups.

4.3 Key Vault Secrets & Zertifikate

  • Speichere alle Verbindungszeichenketten, API‑Keys (Azure OpenAI) und TLS‑Zertifikate im Key Vault.
  • Aktiviere SoftDelete + PurgeProtection.
  • Verwende Key Vault‑References in ARM/Terraform (z.B. @Microsoft.KeyVault(????)) zur Laufzeit‑Injektion.
  • Für TLS‑Terminierung importiere Zertifikate in Key Vault und referenziere sie im Front Door oder Application Gateway.

4.4 Netzwerke & Isolation

  • Stelle alle Ressourcen in ein VNet mit Subnetzen: api, k8s, storage, data‑lake, monitor.
  • Nutze Network Security Groups (NSGs) und Azure Firewall, um Egress/Ingress zu beschränken. Erlaube nur benötigte Ports (80, 443, 6443 für AKS etc.).
  • Aktiviere Private Endpoints für alle Storage Accounts und Datenbanken, um Traffic ins öffentliche Internet zu vermeiden.
  • Verwende Service Tags (z.B. AzureCloud, AzureKeyVault) in NSGs.

4.5 Logging & Retention

  • Azure Monitor: Aktiviere Diagnose‑Logs für alle Ressourcen. Speichere Logs in einem dedizierten Log Analytics Workspace mit Retention von 90 Tagen (oder länger, falls EU‑AI Act erfordert).
  • Application Insights: Aktiviere Telemetrie für API Gateway und AKS‑Workloads. Nutze benutzerdefinierte Dimensionen, um Anfragen nach model_id zu taggen.
  • Azure Sentinel: Ingestiere Logs von Key Vault, Defender, APIM und AKS. Erstelle Playbooks für automatisierte Incident‑Response.
  • Splunk: Falls nötig, betreibe Splunk Enterprise auf separatem AKS‑Cluster und ingestiere Daten über Splunk Connect for Microsoft Azure.

5. Compliance‑Check‑Plan

Aspekt Check Tool / Artefakt
EU‑AI Act Modell‑Governance, Audit‑Trail, Bias‑Testing Azure Machine Learning Model Registry, benutzerdefinierte Logging in APIM
DSGVO Datenminimierung, Consent‑Management Azure Key Vault für Verschlüsselungs­schlüssel, Azure AD Consent Framework
DORA Release‑Frequency, Deployment‑Automation Azure DevOps Pipelines Metriken, Git Commit History
NIS 2 Incident‑Response, Supply‑Chain‑Security Azure Sentinel Playbooks, Defender for Cloud Alerts
ISO 27001 Informationssicherheits‑Management ISO‑27001 Audit‑Templates, Azure Policy Compliance Dashboard

5.1 Periodische Audits

  • Quartalsweise: Führe Azure Policy Compliance Scans durch, überprüfe IAM‑Rollenvergabe.
  • Halbjährlich: Führe Penetration‑Tests am API Gateway und AKS Cluster durch, verifiziere Key Vault Secret Rotation.
  • Jährlich: Führe vollständigen ISO 27001 Audit durch, EU‑AI Act Modell‑Compliance Review.

5.2 Monitoring & Alerting

  • Security Alerts: Defender for Cloud + Azure Sentinel erzeugen Alarme bei anomalen Logins, Schwachstellen‑Ergebnissen.
  • Compliance Alerts: Policy‑Verletzungen lösen Alarme in Azure Monitor aus und senden Benachrichtigungen an das Compliance‑Team.
  • Operational Alerts: APIM Throttling, AKS Node‑Fehler, Datenbankverbindungsfehler.

6. Bereitstellungs‑Blueprint (IaC)

  • Terraform‑Module für VNet, Subnetze, NSGs, Key Vault, AKS, APIM, Cosmos DB.
  • ARM‑Templates für Azure AD Connect und Key Vault‑References.
  • Azure DevOps Pipelines: getrennte Pipelines für Infrastruktur (IaC) und Anwendung (Container‑Build, Push zu ACR, Deploy zu AKS).
  • CI Secrets: gespeichert im Key Vault und über Azure DevOps Service‑Connections abgerufen.

7. Nächste Schritte

  1. Erstelle das Azure Blueprint für Basis‑Compliance.
  2. Deploye VNet und NSGs mit den oben genannten Regeln.
  3. Erstelle Key Vault, importiere Zertifikate, erstelle Secrets für OpenAI‑Keys.
  4. Deploye AKS mit Azure AD Integration und Managed Identities.
  5. Richte Azure APIM ein, konfiguriere Policies (Rate‑Limit, JWT‑Validierung).
  6. Deploye KI‑Engine Container‑Images zu AKS.
  7. Konfiguriere Azure Sentinel mit Log‑Connectors.
  8. Führe Compliance‑Scan-Suite aus und behebe eventuelle Lücken.

Alle Dienste werden in EU‑Regionen (z. B. West Europe, North Europe) gehostet, um Daten‑Residency‑Anforderungen zu erfüllen.

Reference in New Issue View Git Blame Copy Permalink