AI Gateway ва MCP дар WSO2: назорати трафики моделҳои забонӣ

AI Gateway ва MCP дар WSO2: назорати трафики моделҳои забонӣ

Вақте ки ҳар даста мустақиман ба як модели забонӣ мепайвандад, калидҳо пароканда мешаванд, хароҷот аз назорат мебарояд ва маълумоти ҳассос бе назорат берун меравад. Ғояи AI Gateway ин аст, ки трафики моделҳо низ мисли API-ҳои дигар аз як қабати марказӣ бигзарад.

AI Gateway дар API Manager

  • Масирдиҳӣ миёни чанд модел ва таъминкунанда бо стратегияҳои Round-robin ва Failover.
  • Маҳдудияти истеъмол бар асоси токен ва ҷудокунии хароҷот миёни бахшҳо.
  • Ҳифзҳои ёрирасон (Guardrails): санҷиши маъноии prompt, пинҳонкунии маълумоти шахсӣ ва санҷиши тарҳи JSON.
  • Кэши маъноӣ (Semantic Cache) барои кам кардани хароҷоти пурсишҳои монанд.
  • Ҳамгиросозӣ бо таъминкунандагоне мисли OpenAI, Azure AI, AWS Bedrock, Anthropic, Mistral ва Gemini.

Таърифи MCP

MCP ё Model Context Protocol усули стандартист, ки агентҳои ҳушманд бо он абзор ва хидматро пайдо ва садо мезананд. Аз API Manager 4.6 метавон API-ҳои REST-ро ба сервери MCP табдил дод ва трафики онро мисли API-ҳои дигар бехатар ва маҳдуд нигоҳ дошт. Нусхаи 4.7 идоракунӣ ва таҳлили махсуси MCP-ро низ илова кардааст. Micro Integrator низ имкони сохтани сервери MCP дорад.

Пеш аз оғоз

  • Муайян кунед, ки кадом маълумот иҷозат дорад ба модел бирасад; модел берунӣ аст ё дохилӣ?
  • Имкониятҳо ба нусха вобастаанд; ҳуҷҷатҳои ҳамон нусхаро бинед.
  • Бо як намунаи аввалияи хурд оғоз кунед ва истеъмол ва хароҷотро бисанҷед.

Ин мақола бар пояи ҳуҷҷатҳои расмии WSO2 навишта шудааст ва метавонад бо нусхаи шумо андаке фарқ дошта бошад. Агар иштибоҳе дидед, хабар диҳед.