441 lines
31 KiB
Markdown
441 lines
31 KiB
Markdown
Alles klar – ich führe den Prompt jetzt aus und entwerfe dir die Architektur.
|
||
|
||
---
|
||
|
||
## 1. Überblick & Annahmen
|
||
|
||
**Annahmen (konkretisiert):**
|
||
|
||
* Branche: reguliertes Finanzinstitut oder KRITIS-Betreiber in der EU.
|
||
* Daten: überwiegend **personenbezogene Daten** (inkl. special categories möglich), daher **DSGVO hoch relevant**.
|
||
* KI-System eurer Lösung gilt als **„High-Risk AI System“** nach EU AI Act (z. B. Kreditentscheidungen, Risiko-Scoring).([Künstliche Intelligenz Gesetz EU][1])
|
||
* Alle produktiven Workloads laufen in **EU-Azure-Regionen** (z. B. *West Europe*, *North Europe*).
|
||
* Nutzung von **Azure OpenAI (EU Data Zone / EU-Residency-Option)** bzw. ausschließlich EU-datenresidente Endpunkte für Foundation Models.([Microsoft Learn][2])
|
||
* Ziel: Architektur soll **technisch belegbar** Anforderungen aus
|
||
|
||
* EU AI Act (insb. Logging, Risikomanagement, Human Oversight)([digital-strategy.ec.europa.eu][3])
|
||
* DSGVO,
|
||
* DORA, NIS 2 (Resilienz, Monitoring, Incident Handling),
|
||
* ISO 27001 (ISMS-Kontrollen)
|
||
adressieren.
|
||
|
||
---
|
||
|
||
## 2. Zielarchitektur (High Level)
|
||
|
||
### 2.1 Schichtenmodell (verbale Übersicht)
|
||
|
||
1. **User & Clients**
|
||
|
||
* interne Nutzer (Mitarbeitende), ggf. externe Kunden
|
||
* Zugriff über Browser / interne Portale / APIs
|
||
|
||
2. **Edge / Ingress / Security**
|
||
|
||
* **Azure Front Door mit WAF** (global, optional)
|
||
* **Azure Application Gateway mit WAF** (regional, TLS-Terminierung)([Microsoft Learn][4])
|
||
* DDoS Protection, Azure Firewall, Private Endpoints
|
||
|
||
3. **API & Orchestration Layer**
|
||
|
||
* **Azure API Management (APIM)** als API-Gateway
|
||
* „Prompt Firewall“ & Policies in APIM + Azure AI Content Safety
|
||
* LLM-Router als Microservice (AKS) hinter APIM
|
||
|
||
4. **KI-/Compute-Layer**
|
||
|
||
* **AKS-Cluster** mit GPU-Nodepools für KI-Workloads
|
||
* Agentic AI-Orchestrator (z. B. LangChain-/Semantic-Kernel-basiert) als Services auf AKS
|
||
* Azure OpenAI / Azure AI Foundry / Self-hosted Models auf AKS
|
||
|
||
5. **Data & Event Layer**
|
||
|
||
* Azure SQL, Cosmos DB, Blob Storage (Data Lake), Azure AI Search (Vektor)
|
||
* Event Hubs (Kafka-kompatibel), Service Bus, Stream Analytics / Data Explorer
|
||
|
||
6. **Observability & Security-Layer**
|
||
|
||
* Azure Monitor, Log Analytics, Application Insights
|
||
* Azure Managed Grafana für Metrik-Dashboards([Microsoft Learn][5])
|
||
* Microsoft Sentinel + Splunk-Anbindung als SIEM/SOC
|
||
* Defender for Cloud (inkl. Defender for Containers, Defender for APIs)
|
||
|
||
7. **DevOps / MLOps / IaC**
|
||
|
||
* Git-Repos (GitHub Enterprise oder Azure DevOps), CI/CD-Pipelines
|
||
* Terraform für IaC (State in verschlüsseltem Azure Storage)
|
||
* Azure ML / AI Studio / AI Foundry für MLOps (je nach Stack)
|
||
|
||
---
|
||
|
||
### 2.2 Textuelles Architekturdiagramm (Mermaid)
|
||
|
||
```mermaid
|
||
flowchart LR
|
||
subgraph Clients
|
||
U[User / Apps]
|
||
end
|
||
|
||
subgraph Edge
|
||
AFD[Azure Front Door + WAF]
|
||
AGW[Application Gateway WAF + TLS]
|
||
AFW[Azure Firewall]
|
||
end
|
||
|
||
subgraph API
|
||
APIM[Azure API Management\n(API Gateway + Policies)]
|
||
PF[Prompt Firewall\n(Content Safety + APIM Policies)]
|
||
end
|
||
|
||
subgraph AI_Compute[AI & Compute Layer (AKS)]
|
||
AKS[AKS Cluster\nGPU/CPU Node Pools]
|
||
LLMR[LLM Router Service]
|
||
AGENTS[Agentic AI Orchestrator\n(AI Agents)]
|
||
FE[Frontend Container]
|
||
end
|
||
|
||
subgraph AI_Services
|
||
AOAI[Azure OpenAI / Azure AI Foundry\n(EU Data Residency)]
|
||
MODELS[Self-hosted Models on AKS]
|
||
end
|
||
|
||
subgraph Data[Data & Storage Layer]
|
||
SQL[Azure SQL DB / MI]
|
||
COSMOS[Azure Cosmos DB\n(NoSQL + Graph)]
|
||
BLOB[Azure Data Lake / Blob Storage]
|
||
VECTOR[Azure AI Search\n(Vektorindex)]
|
||
REDIS[Azure Cache for Redis]
|
||
KUSTO[Azure Data Explorer / Synapse]
|
||
end
|
||
|
||
subgraph Events
|
||
EH[Azure Event Hubs (Kafka Endpoint)]
|
||
SB[Azure Service Bus (Queues/Topics)]
|
||
SA[Azure Stream Analytics]
|
||
end
|
||
|
||
subgraph Observability[Observability & Security]
|
||
AM[Azure Monitor + Log Analytics]
|
||
APPINS[Application Insights]
|
||
GRAF[Azure Managed Grafana]
|
||
SENT[Microsoft Sentinel]
|
||
SPL[SPLUNK (VM/AKS)]
|
||
DEF[Microsoft Defender for Cloud]
|
||
end
|
||
|
||
subgraph Identity_Sec[Identity & Access]
|
||
ENTRA[Azure Entra ID\n(RBAC, Conditional Access)]
|
||
PIM[Entra Privileged Identity Mgmt]
|
||
KV[Azure Key Vault + Managed HSM]
|
||
BAST[Azure Bastion]
|
||
end
|
||
|
||
subgraph DevOps[DevOps / MLOps / IaC]
|
||
GIT[GitHub / Azure DevOps Repos]
|
||
PIPE[CI/CD Pipelines\n(GitHub Actions / Azure Pipelines)]
|
||
TF[Terraform\n(State in Storage)]
|
||
end
|
||
|
||
U --> AFD --> AGW --> APIM --> PF --> LLMR --> AGENTS
|
||
AGENTS --> AOAI
|
||
AGENTS --> MODELS
|
||
LLMR --> AOAI
|
||
LLMR --> MODELS
|
||
|
||
AGENTS --> SQL
|
||
AGENTS --> COSMOS
|
||
AGENTS --> BLOB
|
||
AGENTS --> VECTOR
|
||
AGENTS --> REDIS
|
||
|
||
AGENTS --> EH
|
||
EH --> SA --> KUSTO
|
||
AGENTS --> SB
|
||
|
||
AKS --> AM
|
||
AKS --> APPINS
|
||
AM --> GRAF
|
||
AM --> SENT
|
||
AM --> SPL
|
||
DEF --> SENT
|
||
|
||
ENTRA --> APIM
|
||
ENTRA --> AKS
|
||
ENTRA --> GIT
|
||
PIM --> ENTRA
|
||
KV --> AGW
|
||
KV --> APIM
|
||
KV --> AKS
|
||
BAST --> AKS
|
||
|
||
GIT --> PIPE --> AKS
|
||
PIPE --> TF
|
||
TF --> AKS
|
||
TF --> Data
|
||
TF --> Networking((VNet/NSG/PE))
|
||
```
|
||
|
||
---
|
||
|
||
## 3. Azure-Service-Mapping pro Baustein
|
||
|
||
### 3.1 KI- und Compute-Layer
|
||
|
||
| Baustein | Azure-Service(s) | Zweck / Begründung |
|
||
| --------------------------------- | -------------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------ |
|
||
| Kubernetes-Cluster mit KI-Workern | **Azure Kubernetes Service (AKS)** | Managed Kubernetes mit Integration in Azure RBAC, Managed Identities, Auto-Scaling, GPU-Nodepools für KI/LLM-Workloads. |
|
||
| Container-/Cluster-Management | AKS + **Azure Monitor for Containers**, **Azure Policy** | Zentrales Management, Configuration Enforcement (PodSecurity, Gatekeeper), Ressourcenkontrolle, Compliance. |
|
||
| Agentic AI mit LLM-Adapter | Microservices auf AKS (z. B. .NET/Python), **Azure OpenAI** / Azure AI Foundry | Orchestrierung von Agents, Aufruf verschiedener Modelle (Azure OpenAI, lokale Modelle). EU-Residency-Optionen helfen bei DSGVO/AI-Act-Konformität.([Microsoft Learn][2]) |
|
||
| Build, Test, Deploy von AI Agents | **GitHub Enterprise / Azure DevOps Repos**, **GitHub Actions / Azure Pipelines**, **AKS**, optional **Azure Machine Learning** (MLOps) | End-to-End-CI/CD-Pipelines inkl. Build, Tests (unit, integration, eval), Deployment auf AKS; ML-spezifische Pipelines mit Modellversionierung. |
|
||
| LLM-Router | Custom Service auf AKS + **Azure API Management** (Routing/Policies) | Policy-gesteuertes Routing zwischen Modellen (Azure OpenAI, Self-hosted, ggf. Drittanbieter), A/B-Tests, Fallback-Strategien. |
|
||
|
||
---
|
||
|
||
### 3.2 Security & Governance
|
||
|
||
| Baustein | Azure-Service(s) | Zweck / Begründung |
|
||
| --------------------------------- | ---------------------------------------------------------------------------------------------------- | -------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
|
||
| WAF | **Azure Front Door WAF** und/oder **Application Gateway WAF** | Zentrale L7-Firewall gegen OWASP-Top-10, Bot-Protection, Geo-Blocking; unterstützt Compliance-Anforderungen.([Microsoft Learn][4]) |
|
||
| Prompt Firewall / Prompt Security | **Azure API Management Policies** + **Azure AI Content Safety** + Azure OpenAI Safety Filters | Vor- und Nachschaltung von Content-Filtern, Blockieren schädlicher Prompts/Outputs; wichtig für AI-Act-Risikomitigation und Grundrechtsschutz.([Microsoft Learn][2]) |
|
||
| AI-Model Scanning | **Microsoft Defender for Cloud** (Container/VM/Registry-Scanning), **Azure ML Responsible AI-Tools** | Scans von Container-Images/Abhängigkeiten, Modell-Governance (Bias, Fairness, Explainability) als Beitrag zu EU-AI-Act-Risikomanagement.([21medien.de][6]) |
|
||
| AI-Interface Scanning | **Microsoft Defender for APIs**, WAF-Logs, APIM Diagnostics | Schutz der API-Interfaces gegen Missbrauch, Anomalie-Erkennung, Angriffserkennung auf AI-Endpunkte. |
|
||
| Vulnerability Management | **Microsoft Defender for Cloud**, Defender for Containers, Qualys-Integration | Kontinuierliches Schwachstellenmanagement auf VMs, Containern, PaaS-Ressourcen – relevant für DORA/NIS2/ISO 27001. |
|
||
| IAM (RBAC, LDAP) | **Azure Entra ID**, Azure RBAC, Azure AD Connect / Entra Connect | Zentrale Identitäten, Rollen, Conditional Access; Integration mit On-Prem-LDAP/AD; Grundlage für least privilege & Zero Trust. |
|
||
| PAM | **Azure Entra Privileged Identity Management (PIM)** | Zeitlich begrenzte, genehmigungspflichtige Admin-Rollen, Governance & Justification-Logging – wichtig für ISO 27001, DORA. |
|
||
| Bastion Host | **Azure Bastion** | Sichere, browserbasierte RDP/SSH-Verbindungen ohne Public IPs auf VMs (z. B. Admin-Knoten, Jump Hosts). |
|
||
| Zertifikate & Secrets | **Azure Key Vault** (Secrets, Keys, Certificates) + ggf. **Managed HSM** | Zentrales Management von TLS-Zertifikaten, Schlüsseln (inkl. HSM-backed), Secret Rotation; Integrationen mit App Gateway, AKS, APIM, etc. |
|
||
|
||
---
|
||
|
||
### 3.3 Networking & Ingress
|
||
|
||
| Baustein | Azure-Service(s) | Zweck / Begründung |
|
||
| ---------------------------------- | -------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------ |
|
||
| Load Balancer mit TLS-Terminierung | **Application Gateway** (L7, TLS-Offload) + interne **Azure Load Balancer** | TLS-Termination, SNI, Path-based Routing; interne Lastverteilung zwischen AKS-Knoten/Pods. |
|
||
| API-Gateway | **Azure API Management** | Throttling, AuthN/AuthZ (JWT/OAuth2/Entra), Versionierung, Request/Response-Transformation, zentraler Audit-Log-Punkt. |
|
||
| Netzwerksegmentierung | **Azure Virtual Network**, **NSG**, **Azure Firewall**, **Private Endpoints**, **Hub-Spoke-Architektur** | Trennung nach Zonen (Edge, App, Data, Admin), erzwungener Zugriff über Firewall, private Kommunikation zu PaaS-Services. |
|
||
|
||
---
|
||
|
||
### 3.4 Daten- & Storage-Layer
|
||
|
||
| Baustein | Azure-Service(s) | Zweck / Begründung |
|
||
| -------------------------- | ------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------ |
|
||
| SQL-Datenbanken | **Azure SQL Database** / **Azure SQL Managed Instance** | Transaktionale Workloads, Konfigurationsdaten, Audit-Tables, referentielle Integrität. |
|
||
| NoSQL | **Azure Cosmos DB (Core API)** | Hochskalierbare, globale Dokument-/Key-Value-DB für Sessions, Konfiguration, Agent-States. |
|
||
| Object Store | **Azure Blob Storage / Data Lake Storage Gen2** | S3-ähnliche Object-Speicherung für Dokumente, Logs, Model-Checkpoints, Trainingsdaten. |
|
||
| Vektor-Datenbank | **Azure AI Search mit Vektorindex** | Verwaltete Vektorsuche für RAG, semantische Suche, Retrieval-Orchestrierung. |
|
||
| Redis Cache | **Azure Cache for Redis** | In-Memory-Cache für Sessions, Prompt-Kontext, Throttling, Rate-Limiting-Counter. |
|
||
| GraphDB | **Cosmos DB (Gremlin API)** oder **Azure SQL Graph** | Modellierung von Beziehungsnetzen (Entitäten, Events, Policies). |
|
||
| Big Data / Data Lake / DWH | **Data Lake Storage Gen2**, **Azure Synapse Analytics** oder **Fabric** | Historisierung, Advanced Analytics, Reporting, KI-Trainingsdaten. |
|
||
| Real-Time Analytics | **Azure Event Hubs**, **Stream Analytics**, **Azure Data Explorer / Synapse Data Explorer** | near real-time Monitoring, Fraud-Detection, Telemetrie-Auswertung. |
|
||
| Apache Kafka Router | **Azure Event Hubs (Kafka-kompatibler Endpoint)** | Kafka-API-kompatibles Event-Streaming ohne eigenen Kafka-Cluster. |
|
||
| Queues / MQ | **Azure Service Bus** (Queues/Topics) | Zuverlässige, transaktionale Nachrichten zwischen Services, Entkopplung. |
|
||
|
||
---
|
||
|
||
### 3.5 Frontend & Applikation
|
||
|
||
| Baustein | Azure-Service(s) | Zweck / Begründung |
|
||
| ------------------------ | --------------------------------------------------------------------------------------------- | -------------------------------------------------------------------------------------------------------- |
|
||
| Frontend als Container | Container auf **AKS** (separate Namespace) oder **Azure App Service for Containers** | Isoliertes Deployment der UI, Integration mit WAF/APIM, Identity via Entra ID (OIDC). |
|
||
| Git-Repos, Runner, CI/CD | **GitHub Enterprise** oder **Azure DevOps** (Repos, Pipelines), self-hosted Runner auf AKS/VM | Vollständige Code-Versionierung, Build/Deploy-Pipelines, Policy-Gates (Code-Scanning, Secrets-Scanning). |
|
||
| IDE-Integration | **GitHub Codespaces** / **Dev Box**, VS Code Remote | Sichere, cloudbasierte Dev- und Debug-Umgebungen mit Policy-Control. |
|
||
|
||
---
|
||
|
||
### 3.6 Observability & Operations
|
||
|
||
| Baustein | Azure-Service(s) | Zweck / Begründung |
|
||
| ------------------ | -------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------ |
|
||
| Logging | **Azure Monitor Logs + Log Analytics**, Diagnostics Settings, Export zu Blob/Event Hub | Zentrale Sammlung von Infrastruktur-, App-, API- und Sicherheits-Logs; Grundlage für EU-AI-Act-Logging-Pflichten und ISO 27001-Kontrollen.([iks.fraunhofer.de][7]) |
|
||
| Monitoring | **Azure Monitor**, **Application Insights**, Container Insights | Verfügbarkeit, Performance, End-to-End-Traceability. |
|
||
| Metriken / Grafana | **Azure Managed Grafana** | Visualisierung von Kennzahlen (Latenz, Request-Fehler, Modell-Auslastung, GPU-Nutzung) – vollständig verwalteter Dienst.([Microsoft Learn][5]) |
|
||
| SIEM / SOC | **Microsoft Sentinel** + Anbindung an **Splunk** | Korrelation sicherheitsrelevanter Events, Detection-Regeln, Playbooks; Integration in bestehende SOC-Landschaft. |
|
||
|
||
---
|
||
|
||
### 3.7 Infrastructure as Code (IaC)
|
||
|
||
| Baustein | Azure-Service(s) | Zweck / Begründung |
|
||
| -------------------- | ---------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------- |
|
||
| Terraform Deployment | **Terraform OSS/Cloud** + Backend in **Azure Storage** (verschlüsselt, private Endpoint) | Reproduzierbare Provisionierung von Netz, AKS, Datenbanken, Monitor, Sicherheitskomponenten. |
|
||
| Secrets für IaC | **Azure Key Vault** | Sichere Ablage von Service Principals, SSH-Keys etc.; Zugriff per Managed Identity der Pipelines. |
|
||
|
||
---
|
||
|
||
## 4. Compliance-Mapping (Tabelle – Auszug)
|
||
|
||
**Hinweis:** Stark vereinfacht; in einem echten Projekt würdest du pro Regulation eine viel granularere Kontrollliste pflegen.
|
||
|
||
| Regulierung / Anforderung | Architekturbaustein(e) | Technischer Beitrag |
|
||
| ------------------------------------------------------------------------------------------- | -------------------------------------------------------------------------------------- | -------------------------------------------------------------------------------------------------------------------------------------------------- |
|
||
| **EU AI Act – Logging & Traceability (Art. 12, 26)**([Künstliche Intelligenz Gesetz EU][8]) | Azure Monitor, Log Analytics, APIM-Logs, AKS Audit Logs, Data Lake für Log-Archiv | Vollständige Protokollierung von Input/Output, Modellaufrufen, Entscheidungen; Aufbewahrung > 6 Monate; revisionssichere Ablage. |
|
||
| **EU AI Act – Human Oversight (Art. 14)**([Künstliche Intelligenz Gesetz EU][9]) | Frontend Controls, Agent-Orchestrator, RBAC, Workflow-Engine (z. B. Logic Apps) | Manuelle Freigaben, Vier-Augen-Prinzip, Override- und Stop-Funktionen für KI-Entscheidungen. |
|
||
| **DSGVO – Datenminimierung & Zweckbindung** | Datenmodellierung in SQL/Cosmos, RAG-Architektur mit selektivem Kontext, APIM-Policies | Nur notwendige Attribute im Prompt-Kontext; strenge Scoping-Policies; Pseudonymisierung vor KI-Aufruf. |
|
||
| **DSGVO – Datenübermittlung & Residency** | Regionenauswahl EU (West/North Europe), Azure OpenAI EU Data-Zones | Sicherstellung, dass personenbezogene Daten die EU nicht verlassen; vertragliche & technische Kontrolle des Modellstandorts.([Microsoft Learn][2]) |
|
||
| **DSGVO – Sicherheit der Verarbeitung (Art. 32)** | Entra ID, RBAC, PIM, Key Vault, Verschlüsselung at rest/in transit | Starke AuthN/AuthZ, geringste Rechte, Verschlüsselung (Storage, DB, TLS), Schutz der Schlüssel. |
|
||
| **DORA – ICT Risk Management & Resilience** | Hub-Spoke-VNet, Azure Firewall, AKS mit Multi-AZ, Backup & DR-Strategie | Redundante Deployments, Netzsegmentierung, Backup/Restore, Test von Failover-Szenarien. |
|
||
| **DORA – Monitoring & Incident Reporting** | Azure Monitor, Sentinel, Defender for Cloud, SOC-Runbooks | Durchgängige Überwachung, Alarmierung, automatisierte Playbooks, strukturierte Incident-Daten für Reporting. |
|
||
| **NIS 2 – Security of Network & Information Systems** | VNet, NSGs, Firewall, WAF, Defender for Cloud | Schutz vor Netzangriffen, Härtung von Systemen, laufende Schwachstellen-Bewertung. |
|
||
| **ISO 27001 – A.9 Zugriffskontrolle** | Entra ID, RBAC, PIM, Bastion, APIM-Auth | Rollenbasierte Zugriffssteuerung, Just-in-Time-Privilegien, kontrollierte Admin-Zugriffe ohne Public IPs. |
|
||
| **ISO 27001 – A.12 Betriebs- & Änderungsmanagement** | Git-Repos, CI/CD, IaC (Terraform), Change-Approval Workflows | Versionierte Infrastruktur, klare Trennung von Umgebungen, dokumentierte Changes, Rückverfolgbarkeit. |
|
||
| **ISO 27001 – A.16 Incident Management** | Sentinel, Splunk, Playbooks, Runbooks | Standardisierte Erkennung, Behandlung und Dokumentation von Sicherheitsvorfällen. |
|
||
|
||
---
|
||
|
||
## 5. Security & Data Protection – Datenflüsse & Kontrollen
|
||
|
||
### 5.1 Datenflüsse
|
||
|
||
1. **Eingabe-Prompts & Kontextdaten**
|
||
|
||
* User → Frontend (TLS) → Front Door WAF → Application Gateway WAF → APIM
|
||
* APIM führt AuthN/AuthZ (Entra ID, OAuth2), Rate-Limiting und Input-Validierung durch.
|
||
* Prompt Firewall (APIM Policy + Content Safety) prüft Prompts auf **sensible Inhalte, PII, Policy-Verstöße**.
|
||
* Agent-Orchestrator auf AKS reichert Prompt mit **zugelassenem Kontext** aus Datenbanken / Vektorstore an.
|
||
|
||
2. **Model-Calls & Outputs**
|
||
|
||
* Orchestrator ruft Azure OpenAI (EU-Region / Data Zone) oder Self-hosted Model auf AKS per TLS auf.([Microsoft Learn][2])
|
||
* Outputs werden erneut durch Content Safety / Post-Filter geleitet (Policy-check; „Red-Team“-Regeln).
|
||
* Relevante Parameter (Modell, Version, Confidence Scores, Decision IDs) werden geloggt.
|
||
|
||
3. **Logs & Auditing**
|
||
|
||
* Alle Requests/Responses (ggf. pseudonymisiert) werden in Log Analytics und/oder Data Lake gespeichert.
|
||
* Audit Logs für Admin-Aktivitäten (PIM, AKS-Cluster-Admin, Key Vault Access) werden zentral gesammelt.
|
||
* Zugriff auf Logs nur via RBAC + PIM; Export zu Sentinel & Splunk für SOC-Auswertung.
|
||
|
||
### 5.2 Verschlüsselung (at rest / in transit)
|
||
|
||
* **At rest**
|
||
|
||
* Standardmäßig: Storage, Disk, SQL, Cosmos, Event Hubs, Service Bus → Transparent Data Encryption / SSE mit Microsoft-Managed Keys.
|
||
* Für höhere Anforderungen: **Customer-Managed Keys (CMK)** in Key Vault / Managed HSM; z. B. für SQL, Storage, Event Hubs.
|
||
* **In transit**
|
||
|
||
* Erzwingen von TLS 1.2+/1.3 auf allen Endpoints (APIM, AKS Ingress, OpenAI, DBs, Message-Broker).
|
||
* Interne Kommunikation über Private Endpoints + VNet.
|
||
|
||
### 5.3 Zugriffssteuerung & PAM
|
||
|
||
* **Identity First**:
|
||
|
||
* Alle User/Apps über **Entra ID** und **Managed Identities** authentifiziert.
|
||
* RBAC für Azure-Ressourcen, Kubernetes-RBAC für Clusterebene, App-Rollenkonzepte im Frontend/API.
|
||
* **PAM mit PIM**:
|
||
|
||
* Admin-Rollen (Subscription Owner, AKS Admin, Key Vault Admin) nur als **Just-in-Time**-Rollen mit Approval und begrenzter Dauer.
|
||
* **Zero Trust**:
|
||
|
||
* Conditional Access (MFA, Compliant Device), kein direkter Zugriff auf Produktionsressourcen ohne PIM und Bastion.
|
||
|
||
### 5.4 Protokollierung, Auditability, Nachvollziehbarkeit
|
||
|
||
* Protokollierung von:
|
||
|
||
* Benutzeraktionen (Frontends, APIs) mit Korrelations-IDs.
|
||
* Modellaufrufen: Prompt-Metadaten (ggf. pseudonymisiert), Modell-ID, Version, Entscheidung, Confidence.
|
||
* Datenzugriffe (SQL, Storage, Cosmos) über native Audit-Funktionen.
|
||
* Admin-Aktivitäten (PIM, Key Vault, AKS-Clusterrollen).
|
||
* Speicherung:
|
||
|
||
* Kurzfristig in **Log Analytics**, mittel-/langfristig in **Data Lake (immutable Storage)** zur Erfüllung gesetzlicher Aufbewahrungsfristen.
|
||
|
||
### 5.5 Data Residency & Souveränität
|
||
|
||
* Alle Schlüsselressourcen (AKS, SQL, Storage, OpenAI, Event Hubs, etc.) werden in EU-Regionen angelegt.
|
||
* Für Azure OpenAI: **EU-residente Konfiguration (Data Zones)**, um sicherzustellen, dass Prompts/Responses in der EU verarbeitet werden.([Microsoft Learn][2])
|
||
* Restriktive Firewall/NSG-Regeln, um ausgehenden Traffic zu begrenzen; optional Private DNS, keine Public Endpoints für interne Systeme.
|
||
|
||
### 5.6 Mitigation von Modell- & Prompt-Risiken
|
||
|
||
* **Prompt Injection & Jailbreaks**
|
||
|
||
* System-/Policy-Prompts zentral in Orchestrator verwaltet (nicht durch User überschreibbar).
|
||
* Prompt-Filter in APIM + Content Safety; Blacklists/Regex und semantische Checks.
|
||
* **Data Leakage**
|
||
|
||
* Pseudonymisierung / Maskierung sensibler Daten vor der Übergabe an LLM.
|
||
* Kein Speichern von Roh-Prompts in Logs ohne Maskierung; strikte Rollenrechte für Log-Zugriff.
|
||
* **Bias, Fairness, Explainability**
|
||
|
||
* Nutzung von Responsible-AI-Funktionen (z. B. Azure ML, externe Tooling) in Dev-/Testphase.([iks.fraunhofer.de][7])
|
||
|
||
---
|
||
|
||
## 6. Betriebs- & Lifecycle-Konzept
|
||
|
||
### 6.1 Versionierung, Test & Deployment von KI-Modellen / Agents
|
||
|
||
* **Repos & Branching**
|
||
|
||
* Code & Konfig (Infrastructure + App + Agents) in Git (Mono- oder Multi-Repo), Feature-Branches, PR-Gates.
|
||
* **Pipelines (CI/CD)**
|
||
|
||
* Build: Linting, Tests, Security-Scans (SAST, Secrets-Scanning, Dependency-Scanning).
|
||
* Container-Build in **Azure Container Registry** mit Signierung (Notary / cosign).
|
||
* Deployment per Helm/Kustomize auf AKS (Blue-Green/Canary via Ingress Controller + APIM).
|
||
* **MLOps**
|
||
|
||
* Modellversionierung, Evaluation gegen Testdatensätze, automatisierte Regressionstests.
|
||
* Staging-Umgebung mit Shadow Traffic, Auswertung von KPIs, Bias-/Drift-Checks, bevor Go-Live.
|
||
|
||
### 6.2 Monitoring, Alerting, Incident Response
|
||
|
||
* **Monitoring**
|
||
|
||
* Health-Checks auf API/Frontend/Agents (SLIs: Latenz, Error-Rate, Throughput).
|
||
* Business-KPIs (z. B. akzeptierte Anträge, manuelle Overrides, Review-Raten).
|
||
* **Alerting**
|
||
|
||
* Schwellenwert-basierte Alerts aus Azure Monitor (z. B. Error Rate > x%, Response Time > y ms).
|
||
* Security Alerts aus Defender / Sentinel (z. B. ungewöhnliche Zugriffe, Brute-Force, Anomalien).
|
||
* **Incident Response**
|
||
|
||
* Playbooks in **Sentinel** (z. B. automatisches Sperren eines API-Keys, Quarantäne von Nodes).
|
||
* Runbooks in **Automation** für Routineoperationen (Log-Rollover, Skalierung, Rotationen).
|
||
|
||
### 6.3 Schwachstellenmanagement (Vulnerability Management)
|
||
|
||
* **Container & Dependencies**
|
||
|
||
* Defender for Containers scannt Container-Images in ACR & Laufzeitumgebung.
|
||
* CVE-Reports → Integration in CI-Pipeline als Quality Gate.
|
||
* **OS & PaaS**
|
||
|
||
* Defender for Cloud überwacht VM-Guest-OS-Patching, Konfigurationsdrift, schwache Konfigurationen.
|
||
* **Regelmäßige Reviews**
|
||
|
||
* Monatliche Security-Review-Boards, Abgleich mit DORA/NIS2/ISO27001-Kontrollkatalogen.
|
||
|
||
### 6.4 Terraform & Konfigurationsmanagement
|
||
|
||
* **State-Management**
|
||
|
||
* Remote Backend (Azure Storage) mit RBAC, Private Endpoint, Soft Delete, Versioning aktiviert.
|
||
* **Policies & Guardrails**
|
||
|
||
* **Azure Policy** und **Blueprints** (oder Landing Zone Templates), um nur EU-Regionen, verschlüsselte Storage-Accounts, Private Endpoints etc. zuzulassen.
|
||
* **Drift Detection**
|
||
|
||
* Regelmäßige `terraform plan`-Runs und Compliance-Checks; Abweichungen werden als Incident behandelt.
|
||
|
||
---
|
||
|
||
Wenn du möchtest, kann ich im nächsten Schritt:
|
||
|
||
* ein **konkretes Beispiel-Setup** (Liste von Terraform-Ressourcen und Namespaces) skizzieren oder
|
||
* die **Compliance-Tabelle** weiter detaillieren (z. B. auf Ebene einzelner ISO-27001-Kontrollen).
|
||
|
||
[1]: https://artificialintelligenceact.eu/article/6/?utm_source=chatgpt.com "Article 6: Classification Rules for High-Risk AI Systems"
|
||
[2]: https://learn.microsoft.com/en-us/azure/ai-foundry/responsible-ai/openai/data-privacy?view=foundry-classic&utm_source=chatgpt.com "Data, privacy, and security for Azure Direct Models in ..."
|
||
[3]: https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai?utm_source=chatgpt.com "AI Act | Shaping Europe's digital future - European Union"
|
||
[4]: https://learn.microsoft.com/de-de/azure/web-application-firewall/afds/afds-overview?utm_source=chatgpt.com "Was ist Azure Web Application Firewall für Azure Front Door?"
|
||
[5]: https://learn.microsoft.com/en-us/azure/managed-grafana/overview?utm_source=chatgpt.com "What is Azure Managed Grafana?"
|
||
[6]: https://21medien.de/en/library/azure-openai?utm_source=chatgpt.com "Azure OpenAI Service - 21medien AI Library"
|
||
[7]: https://www.iks.fraunhofer.de/content/dam/iks/documents/whitepaper-eu-ai-act-fraunhofer-iks.pdf?utm_source=chatgpt.com "Whitepaper The European Artificial Intelligence Act"
|
||
[8]: https://artificialintelligenceact.eu/article/26/?utm_source=chatgpt.com "Article 26: Obligations of Deployers of High-Risk AI Systems"
|
||
[9]: https://artificialintelligenceact.eu/article/14/?utm_source=chatgpt.com "Article 14: Human Oversight | EU Artificial Intelligence Act"
|