AI

·

Integration

Obsah ano, jména ne. Třídění e-mailů na helpdesk se SAP Generative AI Hub

Patrik Majer

Nedávno jsem řešil velmi běžný problém podpory: sdílenou schránku helpdesku, do které každé ráno přijdou desítky nových e-mailů. Než může kdokoli pomoct, musí někdo každý e-mail přečíst a rozhodnout, o co jde, jak je to naléhavé a kterého systému se to týká. Přesně taková práce se hodí pro LLM.

Háček je v tom, že každý z těch e-mailů obsahuje osobní údaje. Jména, e-mailové adresy, telefonní čísla. Poslat je externímu modelu tak, jak jsou, žádný pověřenec pro ochranu osobních údajů neschválí.

Můj první nápad byla malá aplikace, která volá API poskytovatele modelu napřímo. V tomto článku ukážu, proč je to slepá ulička a jak to udělat správně pomocí orchestration služby v SAP AI Core a Generative AI Hub, kde se osobní údaje zamaskují dřív, než je model vůbec uvidí.

Do detailů, jak zprovoznit SAP AI Core a SAP AI Launchpad, zacházet nebudu. Návod najdete v tomto tutoriálu od SAP.

1. Proč je přímé volání modelu slepá ulička

Jsou tu dvě pasti:

  • Past 1: každá aplikace drží klíč poskytovatele. Každá aplikace, která volá OpenAI, Anthropic nebo Google napřímo, potřebuje vlastní API klíč, vlastní smlouvu a vlastní bezpečnostní posouzení. Neexistuje jedno místo, kde je vidět, kdo volá jaký model, a když model skončí (deprecation), musí se měnit každá aplikace.

  • Past 2: osobní údaje jdou do modelu beze změny. Text e-mailu je prompt. Pokud si sami nepostavíte detekci a maskování jmen, e-mailových adres a telefonních čísel a pak hodnoty nevrátíte zpátky do odpovědi, odchází to všechno z firmy s každým voláním.

S přímým voláním tedy dostanete fungující klasifikátor, ale ne takový, který můžete pustit na skutečná data z helpdesku.

2. Řešení: Orchestration v Generative AI Hub

Generative AI Hub v SAP AI Core dává jeden endpoint s autentizací přes BTP k modelům od více poskytovatelů. Orchestration služba obalí volání modelu řetězcem modulů, které konfigurujete, ne programujete:


Title: Moduly orchestrace: grounding, templating, input translation, data masking, input filtering, model configuration, output filtering, output translation - Description: Moduly orchestrace: grounding, templating, input translation, data masking, input filtering, model configuration, output filtering, output translation

 

Klíčový je modul Data Masking. Běží uvnitř SAP AI Core, před voláním modelu. V režimu pseudonymize se původní hodnoty po odpovědi vrátí zpátky, takže model pracuje se zástupnými hodnotami a uživatel přesto dostane odpověď se skutečnými jmény.

Princip je tento:

  • aplikace zná jen service key k AI Core, žádné klíče poskytovatelů

  • prompt žije v Generative AI Hub jako verzovaná šablona

  • osobní údaje se před voláním modelu zamaskují a po něm vrátí

  • vstupní a výstupní filtry blokují nevhodný obsah oběma směry

3. Nastavení SAP AI Core a AI Launchpad

Krok 3a: Entitlements

V BTP cockpitu přidejte do subaccountu tyto service plány:

  • SAP AI Core, plán extended

  • SAP AI Launchpad, plán standard

    Poznámka: Generative AI Hub je dostupný jen v plánu extended služby SAP AI Core. S plánem free nebo standard žádné foundation modely neuvidíte.

Krok 3b: Připojení a resource group

Vytvořte instanci SAP AI Core a service key, pak se přihlaste k odběru AI Launchpad. V AI Launchpad jděte do Workspaces → Add a vytvořte připojení s hodnotami ze service key. Vyberte resource group default.

Poznámka: orchestration deployment se automaticky vytvoří jen v resource group default. Pokud si vytvoříte vlastní resource group, musíte v ní založit konfiguraci se scénářem orchestration a executable orchestration a nasadit ji sami.

4. Konfigurace orchestrace

V AI Launchpad jděte do Generative AI Hub → Orchestration a vytvořte novou konfiguraci, například helpdesk-triage.

Prompt Template

Prompt žádá striktní výstup v JSON. E-mail je proměnná:

...You are a helpdesk triage assistant for an SAP support team.

Read the e-mail and return JSON with:

- category: incident | question | access_request | complaint | other

- priority: low | medium | high

- system: e.g. SAP FI, SAP MM, BTP app, unknown

- references: invoice numbers, order numbers, user IDs found in the text

- summary: one sentence

- suggested_reply: a short, polite first reply in the e-mail's language

 

E-mail:

{{?email_body}}
...You are a helpdesk triage assistant for an SAP support team.

Read the e-mail and return JSON with:

- category: incident | question | access_request | complaint | other

- priority: low | medium | high

- system: e.g. SAP FI, SAP MM, BTP app, unknown

- references: invoice numbers, order numbers, user IDs found in the text

- summary: one sentence

- suggested_reply: a short, polite first reply in the e-mail's language

 

E-mail:

{{?email_body}}
...You are a helpdesk triage assistant for an SAP support team.

Read the e-mail and return JSON with:

- category: incident | question | access_request | complaint | other

- priority: low | medium | high

- system: e.g. SAP FI, SAP MM, BTP app, unknown

- references: invoice numbers, order numbers, user IDs found in the text

- summary: one sentence

- suggested_reply: a short, polite first reply in the e-mail's language

 

E-mail:

{{?email_body}}

Proměnné se zapisují do dvou složených závorek s otazníkem: {{?email_body}}. Launchpad proměnnou automaticky zobrazí v sekci Variable Definitions, kde jí můžete nastavit i výchozí hodnotu pro testování.

Title: Modul Prompt Template s promptem pro třídění e-mailů a proměnnou email_body - Description: Modul Prompt Template s promptem pro třídění e-mailů a proměnnou email_body

 

Model Configuration

Vyberte model a jeho parametry. Na klasifikaci a vytahování údajů obvykle stačí menší model a teplota 0 drží výstup stabilní. Všechny dostupné modely najdete v Model Library.

Title: Model Library v SAP AI Launchpad s modely od Anthropic, OpenAI a Google - Description: Model Library v SAP AI Launchpad s modely od Anthropic, OpenAI a Google

Data Masking

Zapněte přepínač Advanced, aby se zobrazily volitelné moduly, a aktivujte Data Masking:

•     Mode: Pseudonymize

•     Masked Data Types: Person Names, Email Addresses, Phone Numbers

Title: Modul Data Masking v režimu pseudonymize se zaškrtnutými jmény, e-mailovými adresami a telefonními čísly - Description: Modul Data Masking v režimu pseudonymize se zaškrtnutými jmény, e-mailovými adresami a telefonními čísly

Poznámka: Anonymize hodnoty nahradí natrvalo. Odpověď modelu by pak začínala „Hi MASKED_PERSON_1“. Pro návrh odpovědi potřebujete Pseudonymize.

Poznámka: Organizations záměrně nemaskuji. Název firmy pomáhá se směrováním a nejde o osobní údaj. Hodnoty, které se nesmí maskovat nikdy, třeba názvy vašich produktů, patří do Allow List.

Input a Output Filtering

Aktivujte oba moduly a nechte výchozí prahy pro nenávist, násilí, sebepoškozování a sexuální obsah. Na helpdesk chodí i dost barvité e-maily a nechcete je posílat modelu ani dostat vygenerovanou odpověď ve stejném tónu.

Konfiguraci uložte. Prompt se uloží do Prompt Management, verzovaný a seskupený podle scénáře, takže se na něj aplikace odkazuje jménem a změna promptu nevyžaduje nové nasazení aplikace.

Title: Prompt Management s verzovanými šablonami pro scénáře helpdesk a AP inbox - Description: Prompt Management s verzovanými šablonami pro scénáře helpdesk a AP inbox

 

Volání z aplikace

Se SAP Cloud SDK for AI je volání z Node.js nebo CAP aplikace krátké. Autentizaci vůči AI Core zařídí SDK:

import { OrchestrationClient } from '@sap-ai-sdk/orchestration';

const client = new OrchestrationClient({

  promptTemplating: {

    model: { name: 'gpt-4o-mini' },

    prompt: { template: [{ role: 'user', content: TRIAGE_PROMPT }] }

  }

});



const response = await client.chatCompletion({

  placeholderValues: { email_body: mail.text }

});
import { OrchestrationClient } from '@sap-ai-sdk/orchestration';

const client = new OrchestrationClient({

  promptTemplating: {

    model: { name: 'gpt-4o-mini' },

    prompt: { template: [{ role: 'user', content: TRIAGE_PROMPT }] }

  }

});



const response = await client.chatCompletion({

  placeholderValues: { email_body: mail.text }

});
import { OrchestrationClient } from '@sap-ai-sdk/orchestration';

const client = new OrchestrationClient({

  promptTemplating: {

    model: { name: 'gpt-4o-mini' },

    prompt: { template: [{ role: 'user', content: TRIAGE_PROMPT }] }

  }

});



const response = await client.chatCompletion({

  placeholderValues: { email_body: mail.text }

});

const ticket = JSON.parse(response.getContent());

SDK se umí odkázat i na konfiguraci uloženou v Generative AI Hub, místo aby ji definovalo v kódu. Maskování a filtry tak zůstanou na jednom místě a nejsou zdvojené v kódu.

5. Testování

Spusťte konfiguraci v Launchpadu s typickým e-mailem na helpdesk:

Hi, this is Jana Nováková from ACME (jana.novakova@acme-example.com, +420 601 123 456). Since this morning I can't post invoice 2026-10045 in FB60 – it says the period is closed. Could you help urgently? We have a payment run tomorrow.

Tohle model skutečně dostane:

Hi, this is MASKED_PERSON_1 from ACME (MASKED_EMAIL_1, MASKED_PHONE_NUMBER_1). Since this morning I can't post invoice 2026-10045 in FB60 – it says the period is closed. …

A tohle se vrátí do aplikace:

{

  "category": "incident",

  "priority": "high",

  "system": "SAP FI",

  "references": ["2026-10045", "FB60"],

  "summary": "User cannot post an invoice in FB60 because the posting period is closed; payment run is tomorrow.",

  "suggested_reply": "Hi Jana, thank you for letting us know. We're checking the posting period settings and will get back to you today, before your payment run."

}
{

  "category": "incident",

  "priority": "high",

  "system": "SAP FI",

  "references": ["2026-10045", "FB60"],

  "summary": "User cannot post an invoice in FB60 because the posting period is closed; payment run is tomorrow.",

  "suggested_reply": "Hi Jana, thank you for letting us know. We're checking the posting period settings and will get back to you today, before your payment run."

}
{

  "category": "incident",

  "priority": "high",

  "system": "SAP FI",

  "references": ["2026-10045", "FB60"],

  "summary": "User cannot post an invoice in FB60 because the posting period is closed; payment run is tomorrow.",

  "suggested_reply": "Hi Jana, thank you for letting us know. We're checking the posting period settings and will get back to you today, before your payment run."

}

Model jméno nikdy neviděl, a přesto odpověď začíná „Hi Jana“. Orchestrace ho vrátila zpátky.

Negativní testy

Ty ukazují, že ochrana funguje, a pomáhají lépe pochopit princip.

Anonymize místo Pseudonymize. Přepněte režim a spusťte znovu. V odpovědi je teď místo jména zástupná hodnota, protože anonymizované hodnoty se nevracejí.

Urážlivý e-mail. Pošlete e-mail s hrubými výrazy. Vstupní filtr ho zastaví a model se vůbec nezavolá.

Odtud už jde jen o to, kam ticket pošlete: do ticketovacího nástroje, do SAP workflow, do kanálu v Teams nebo jako koncept odpovědi do schránky.

Doporučuji ještě dvě věci:

  • Nedávejte do šablony skutečná data. Výchozí hodnoty ve Variable Definitions se ukládají spolu s konfigurací. Používejte jen vymyšlené testovací e-maily.

  • Nechte v procesu člověka. Navržená odpověď je koncept. Než se odešle, někdo z týmu ji schválí.


Shrnutí

S orchestrací v Generative AI Hub se e-mail na helpdesk zamaskuje uvnitř SAP AI Core ještě před voláním modelu a skutečné hodnoty se vrátí do odpovědi. Aplikace drží jen service key k AI Core, prompt je verzovaná šablona a přechod na jiný model je změna konfigurace.

S přímým voláním poskytovatele modelu potřebuje každá aplikace vlastní klíč a osobní údaje jdou do modelu tak, jak jsou, pokud si maskování nepostavíte sami.

Stejná konfigurace funguje i mimo helpdesk: e-maily od dodavatelů do Accounts Payable, potvrzení objednávek nebo žádosti o schválení. Mění se jen šablona promptu.

Shrnuto jako best practice: pokud má LLM číst e-maily s osobními údaji, volejte ho přes orchestraci v Generative AI Hub s modulem Data Masking v režimu Pseudonymize. Přímá volání poskytovatelů si nechte pro prototypy nad vymyšlenými daty.

Snímky obrazovky z dokumentace SAP AI Launchpad © SAP SE, použité v souladu s licencí CC BY 4.0

SMARTER TECH, SMARTER BUSINESS

Cloud, AI a parťáci. Integrace, vývoj, automatizace a AI na SAP Business Technology Platform a Microsoft.

Napište nám →

© 2026 CLAIMATE · CLOUD · AI · MATES

SAP PartnerEdge · Microsoft Partner

SMARTER TECH, SMARTER BUSINESS

Cloud, AI a parťáci. Integrace, vývoj, automatizace a AI na SAP Business Technology Platform a Microsoft.

Napište nám →

© 2026 CLAIMATE · CLOUD · AI · MATES

SAP PartnerEdge · Microsoft Partner

SMARTER TECH, SMARTER BUSINESS

Cloud, AI a parťáci. Integrace, vývoj, automatizace a AI na SAP Business Technology Platform a Microsoft.

Napište nám →

© 2026 CLAIMATE · CLOUD · AI · MATES

SAP PartnerEdge · Microsoft Partner

AI

Obsah ano, jména ne. Třídění e-mailů na helpdesk se SAP Generative AI Hub