azure-ki-infrastruktur/anfragen-an-ki/2025-12-08-Optimierter_Prompt_Azure-KI-Architekturentwurf_ChatGPT_5.1_Thinking.md

Hier ist eine leicht gestraffte und weiter präzisierte Version, die du so verwenden kannst:

---

Du bist **Azure Cloud Senior Architect** mit Schwerpunkt **Security, Compliance und KI-Plattformen** in regulierten Umgebungen (Finanz, Kritische Infrastrukturen, Behörden).

---

### 1. Auftrag

Erstelle einen **detaillierten Architekturvorschlag** für den **Betrieb von KI-Workloads auf Microsoft Azure**, der **konform** ist zu:

* **EU AI Act** (insb. Risikoklassen, Technical & Organizational Measures, Logging, Human Oversight)
* **DSGVO (GDPR)**
* **DORA**
* **NIS 2**
* **ISO 27001**

Die Architektur soll sowohl **sicherheits-** als auch **compliance-orientiert** sein und klar zeigen, wie regulatorische Anforderungen **technisch umgesetzt** werden.

Treffe, falls nötig, eigene **Annahmen** (z. B. Branche, Datenklassifizierung, Kritikalität) und liste sie zu Beginn explizit auf.

---

### 2. Rahmenbedingungen & Zielbild

Die Lösung basiert **vollständig auf Microsoft Azure** (Azure-native oder Azure-verwaltete Services) und stellt den Betrieb in **EU-Regionen** sicher (z. B. *West Europe* / *North Europe*) zur Erfüllung von **Data Residency**-Anforderungen.

Folgende technische Komponenten sind zu berücksichtigen und jeweils konkret mit Azure-Services zu hinterlegen:

#### 2.1 KI- und Compute-Layer

* Kubernetes-Cluster mit KI-Workern und Container-/Cluster-Management
* Agentic AI mit LLM-Adapter (z. B. orchestrierte KI-Agents)
* Build, Test und Deploy von AI Agents (MLOps / AIOps)
* LLM-Router (Routing zwischen verschiedenen Modellen / Providern, inkl. Azure OpenAI und ggf. Self-Hosted Models)

#### 2.2 Security & Governance

* Web Application Firewall (WAF)
* Prompt Firewall / Prompt Security
* AI-Model Scanning (Model Security, Supply Chain Security)
* AI-Interface Scanning (Security von APIs / Endpoints / UIs)
* Vulnerability Management
* IAM (RBAC, Anbindung an LDAP/Azure Entra ID)
* PAM (Privileged Access Management)
* Bastion Host
* Öffentliche und private Zertifikate inkl. Lifecycle- und Secrets-Management

#### 2.3 Networking & Ingress

* Load Balancer mit TLS-Terminierung
* API-Gateway
* Netzwerksegmentierung, Private Endpoints, ggf. Hub-Spoke-Architektur und Zero-Trust-Prinzipien

#### 2.4 Daten- & Storage-Layer

* Datenbank-Layer mit:

  * SQL-Datenbanken
  * NoSQL-Datenbanken
  * Object Stores (S3-ähnlich / Blob Storage)
  * Vektor-Datenbank
  * Redis Cache
  * GraphDB
* Big Data / Data Lake / Data Warehouse
* Real-Time Analytics
* Apache Kafka Router (Event Streaming)
* Queues / Message Queues (MQ)

#### 2.5 Frontend & Applikations-Layer

* Frontend als Container-Deployment
* Git-Repositories, Runner, CI/CD-Pipelines und IDE-Integration

#### 2.6 Observability & Operations

* Logging (zentrale, revisionssichere Protokollierung)
* Monitoring
* Metriken (z. B. Visualisierung über Grafana)
* SIEM/SOC-Integration (z. B. Splunk, Azure-native Alternativen)

#### 2.7 Infrastructure as Code

* Deployment mit Terraform (inkl. State-Handling, Workspaces, Pipelines)

---

### 3. Konkrete Anforderungen an deine Antwort

#### 3.1 Azure-Service-Mapping (sehr detailliert)

* Nenne **für jede** der oben genannten Komponenten die **konkreten Azure-Services**, z. B.:

  * „Azure Kubernetes Service (AKS) für …“
  * „Azure API Management für …“
  * „Azure Front Door / Azure Application Gateway mit WAF für …“
  * „Azure Key Vault für Zertifikats- und Secrets-Management“
  * „Azure Monitor / Log Analytics / Application Insights für …“
  * usw.
* Erkläre **kurz den Zweck** jedes Services in dieser Architektur und **warum** er für den jeweiligen Baustein geeignet ist.
* Wenn es **mehrere Optionen** gibt (z. B. Front Door vs. Application Gateway), begründe die **präferierte Wahl**.

Nutze nach Möglichkeit eine **Tabelle „Azure-Service vs. Zweck“**.

---

#### 3.2 Compliance-Mapping

Erstelle eine **Tabelle**, die zeigt, welche Architekturbausteine (Services / Patterns) **welche Anforderungen** aus

* EU AI Act
* DSGVO
* DORA
* NIS 2
* ISO 27001

adressieren, z. B.:

* Logging & Audit
* Data Residency & Data Protection
* Verschlüsselung at rest / in transit
* Zugriffskontrolle (RBAC, PAM, Least Privilege)
* Risikomanagement & Schwachstellenmanagement
* Monitoring, Incident Detection & Incident Response
* Business Continuity / Resilienz / Verfügbarkeit

---

#### 3.3 Architekturübersicht

* Beschreibe zunächst eine **High-Level-Architektur** (Schichtenmodell), z. B.:
  **User → Edge/WAF → API Gateway → LLM Router / AI Agents (auf AKS) → Data Layer → Observability / Security Layer**
* Ergänze ein **textuelles Architekturdiagramm** (z. B. in **Mermaid** oder alternativ als klar strukturierte hierarchische Liste), das die wichtigsten Komponenten und ihre Beziehungen zeigt.

---

#### 3.4 Security- & Data-Protection-Aspekte

Gehe explizit auf **Datenflüsse** ein (Eingabe-Prompts, Kontextdaten, Model-Outputs, Logs) und erkläre, wie:

* Daten **verschlüsselt** werden (at rest / in transit) inkl. Nutzung von Managed Identities, TLS und Key Vault
* **Zugriffe gesteuert** werden (RBAC, Azure Entra ID, PAM, Just-in-Time Access / JIT-Access)
* **Protokollierung, Auditability und Nachvollziehbarkeit** umgesetzt werden (z. B. Audit-Logs, Access-Logs, Model-Usage-Logs)
* **Data Residency** (EU-Regionen, ggf. strikte Datenlokation) sichergestellt wird
* **Modell- und Prompt-Risiken** (Prompt Injection, Data Leakage, Model Abuse) mitigiert werden (z. B. Prompt Firewall, Content Filter, Policy Enforcement)

---

#### 3.5 Betrieb & Lifecycle

Erläutere, wie:

* neue KI-Modelle / Agents **versioniert, getestet und ausgerollt** werden

  * CI/CD-Pipelines (z. B. GitHub Actions / Azure DevOps)
  * Blue-Green- / Canary-Deployment auf AKS
  * Rollback-Strategien
* **Monitoring, Alerting und Incident Response** organisiert sind

  * Metriken, Logs, Traces
  * Alerts (z. B. via Azure Monitor)
  * Integration in SOC / SIEM (Splunk oder Microsoft Sentinel)
* **Schwachstellenmanagement** (Vulnerability Management) in Container-Images, Bibliotheken und Modellen integriert wird

  * Image-Scanning, Dependency-Scanning
  * regelmäßige Security-Updates / Patch-Mechanismen

---

### 4. Ausgabeformat

Strukturiere deine Antwort mit folgenden Hauptüberschriften:

1. Überblick & Annahmen
2. Zielarchitektur (High Level)
3. Azure-Service-Mapping pro Baustein
4. Compliance-Mapping (Tabelle)
5. Security & Data Protection
6. Betriebs- & Lifecycle-Konzept

Verwende mindestens diese **Tabellen**:

* **Tabelle 1:** Azure-Komponenten vs. Zweck / Layer
* **Tabelle 2:** Regulatorische Anforderung vs. Architekturbaustein (Service / Pattern)

Antworte auf **Deutsch**, **präzise und technisch**, mit **konkreten Azure-Service-Namen** und **technischen Details** statt allgemeiner Beschreibungen.