وقتی هر تیم مستقیم به یک مدل زبانی وصل می‌شود، کلیدها پراکنده می‌شوند، هزینه از دست می‌رود و اطلاعات حساس بی‌کنترل بیرون می‌رود. ایده AI Gateway این است که ترافیک مدل‌ها هم مثل بقیه APIها از یک لایه مرکزی بگذرد.
AI Gateway در API Manager
- مسیریابی میان چند مدل و ارائه‌دهنده با راهبردهای Round-robin و Failover.
- محدودیت مصرف بر اساس توکن و تفکیک هزینه میان بخش‌ها.
- حفاظ‌های ایمنی (Guardrails): اعتبارسنجی معنایی پرامپت، ماسک اطلاعات شخصی و بررسی طرح JSON.
- حافظه نهان معنایی (Semantic Cache) برای کاهش هزینه پرسش‌های مشابه.
- یکپارچگی با ارائه‌دهندگانی مانند OpenAI، Azure AI، AWS Bedrock، Anthropic، Mistral و Gemini.
تعریف MCP
MCP یا Model Context Protocol روش استانداردی است که عامل‌های هوشمند با آن ابزار و سرویس را پیدا و صدا می‌زنند. از API Manager نسخه ۴.۶ می‌توان APIهای REST را به سرور MCP تبدیل کرد و ترافیک آن را مثل بقیه APIها امن و محدود نگه داشت. نسخه ۴.۷ حاکمیت و تحلیل مخصوص MCP را هم اضافه کرده است. Micro Integrator نیز امکان ساخت سرور MCP دارد.
پیش از شروع
- تعیین کنید چه داده‌ای مجاز است به مدل برسد؛ مدل بیرونی یا مدل داخلی؟
- ویژگی‌ها به نسخه وابسته است؛ مستندات همان نسخه را ببینید.
- با یک نمونه اولیه کوچک شروع کنید و مصرف و هزینه را اندازه بگیرید.
این مقاله بر پایه مستندات رسمی WSO2 نوشته شده است و ممکن است با نسخه شما کمی تفاوت داشته باشد. اگر اشتباهی دیدید، خبر بدهید.