WSO2 da AI Gateway va MCP: til modellari trafigini nazorat qilish

WSO2 da AI Gateway va MCP: til modellari trafigini nazorat qilish

Har bir jamoa til modeliga toʻgʻridan-toʻgʻri ulansa, kalitlar tarqalib ketadi, xarajat nazoratdan chiqadi va maxfiy maʼlumot nazoratsiz tashqariga chiqadi. AI Gateway gʻoyasi shuki, modellar trafigi ham boshqa API lar kabi bitta markaziy qatlamdan oʻtsin.

API Manager dagi AI Gateway

  • Round-robin va Failover strategiyalari bilan bir necha model va taʼminotchi oʻrtasida marshrutlash.
  • Token asosida isteʼmol cheklovi va xarajatni boʻlimlar oʻrtasida ajratish.
  • Xavfsizlik toʻsiqlari (Guardrails): promptni semantik tekshirish, shaxsiy maʼlumotni maskalash va JSON sxemasini tekshirish.
  • Oʻxshash soʻrovlar xarajatini kamaytirish uchun semantik kesh (Semantic Cache).
  • OpenAI, Azure AI, AWS Bedrock, Anthropic, Mistral va Gemini kabi taʼminotchilar bilan integratsiya.

MCP taʼrifi

MCP yoki Model Context Protocol — aqlli agentlar vosita va servislarni topadigan va chaqiradigan standart usul. API Manager 4.6 dan boshlab REST API larni MCP serveriga aylantirish va uning trafigini boshqa API lar kabi xavfsiz va cheklangan saqlash mumkin. 4.7 versiyasi MCP uchun maxsus boshqaruv va tahlilni ham qoʻshgan. Micro Integrator ham MCP serverini yaratish imkonini beradi.

Boshlashdan oldin

  • Qanday maʼlumot modelga yetib borishiga ruxsat berilishini aniqlang; model tashqimi yoki ichkimi?
  • Imkoniyatlar versiyaga bogʻliq; shu versiya hujjatlarini koʻring.
  • Kichik dastlabki namuna bilan boshlang va isteʼmol hamda xarajatni oʻlchang.

Bu maqola WSO2 ning rasmiy hujjatlari asosida yozilgan va sizning versiyangizdan biroz farq qilishi mumkin. Xato koʻrsangiz, xabar bering.