☁️

Opsætning af AI-modeller i Azure til Promte

Promte benytter en række AI-modeller fra Azure. Nedenfor er instruktioner til at opsætte de forskellige modeller samt hvilke informationer i bedes dele med Promte for at sætte modellerne op i jeres løsning.

Evt. opsætning af ressourcegruppe og subscription i Azure

Det er et krav at have oprettet en ressourcegruppe og subscription for at kunne deploye AI-modellerne i Azure. Så det skal oprettes, hvis det ikke allerede eksisterer.

Følg disse trin for at opsætte en subscription og ressourcegruppe i Azure:

Log ind på Azure-portalen

Gå til Azure-portalen og log ind med din konto.

Opret en subscription Hvis du ikke har en aktiv subscription, skal du oprette en:

Naviger til Subscriptions i menuen.
Klik på + Add eller gå til Create a subscription.
Vælg en passende subscription-type (Pay-As-You-Go med mindre andet er relevant).
Udfyld nødvendige oplysninger og afslut oprettelsen.

Opret en ressourcegruppe

Naviger til Resource groups i menuen.
Klik på + Create for at oprette en ny ressourcegruppe.
Udfyld følgende:

Subscription: Vælg den subscription, du lige har oprettet eller ønsker at tilknytte ressourcegruppen til.
Resource group name: Indtast et unikt navn til ressourcegruppen.
Region: Vælg den region, hvor dine ressourcer skal hostes. Promte anbefaler (Europe) Sweden Central, da den er det hurtigste AI-server inden for EU.

Klik på “Review + Create” og derefter “Create”.

Herefter kan AI-modeller deployes i Azure.

Opsætning af Reranker-model

Til optimering af søgning i tekst anbefaler Promte at deploye følgende model:

Cohere-rerank-v3-multilingual

Følg disse trin for at deploye modellen og dele oplysninger med Promte:

Gå til Azure AI Foundry
Naviger til Model catalog i sidebar til venstre
Find modellen Cohere-rerank-v3-multilingual vælg Deploy og herefter Continue to deploy
Giv deployment et unikt navn og tryk Deploy.
I boksen til højre under Endpoint kan du finde følgende oplysninger, som skal deles med Promte:

Target URI
Key

Opsætning af Embeddingmodeller

Til søgning i tekst anbefaler Promte at deploye følgende model:

text-embedding-ada-002

Følg disse trin for at deploye modellen og dele oplysninger med Promte:

Gå til Azure OpenAI Service i Azure AI Foundry
Naviger til Deployments i sidebar til venstre.
Vælg Deploy model → Deploy base model i toppen
Find og vælg modellen text-embedding-ada-002 og tryk Confirm
Navnet og Deployment type kan forblive uændret. Vælg Customize i Deployment details.

Ændr Tokens per Minute Rate Limit til det højest mulige for at undgå rate limits, når der trænes nye chatbots i Promte

Tryk herefter Deploy.
I boksen til højre under Endpoint kan du finde følgende oplysninger, som skal deles med Promte:

Target URI
Key

Opsætning af LLMs

Til tekstgenerering anbefaler Promte at deploye to forskellige modeller:

gpt-4o (højeste kvalitet i svar, høj hastighed, højere priser pr. besked)
gpt-4o-mini (lavere kvalitet, højere hastighed, lavere priser pr. besked)

Følg disse trin for at deploye modellen og dele oplysninger med Promte:

Gå til Azure OpenAI Service i Azure AI Foundry
Naviger til Deployments i sidebar til venstre.
Vælg Deploy model → Deploy base model i toppen
Find og vælg modellen gpt-4o og tryk Confirm
Navnet og Deployment type kan forblive uændret. Vælg Customize i Deployment details.

Ændr Tokens per Minute Rate Limit til det højest mulige for at undgå rate limits, når der trænes nye chatbots i Promte

Tryk herefter Deploy.
I boksen til højre under Endpoint kan du finde følgende oplysninger, som skal deles med Promte:

Target URI
Key

Gentag herefter step 3-7 med modellen: gpt-4o-mini

Valgfrit: Opsætning af dikterings-model (til indtaling af beskeder)

Hvis det ønskes kan diktering- og højtlæsningsfunktioner slås til.

Whisper-model i Azure:

Gå til Azure OpenAI Service i Azure AI Foundry.
Naviger til Deployments i sidebar til venstre.
Vælg Deploy model → Deploy base model i toppen
Find og vælg modellen Whisper og tryk Confirm
Navnet og Deployment type kan forblive uændret. Vælg Customize i Deployment details.

Ændr Tokens per Minute Rate Limit til det højest mulige for at undgå rate limits, når der trænes nye chatbots i Promte

Tryk herefter Deploy.
I boksen til højre under Endpoint kan du finde følgende oplysninger, som skal deles med Promte:

Target URI
Key
Bemærk: Whisper-modeller har en standard rate limit på 3 requests pr. minut, hvilket kan være lavt for jeres behov. I kan anmode om at få det hævet til 10 requests (eller potentielt mere) via denne anmodningsformular.