روتر هوش مصنوعی Cloudflare برای انتخاب خودکار مدل‌ها

روتر هوش مصنوعی Cloudflare با نام Auto Router در بتای عمومی AI Gateway عرضه شد. توسعه‌دهندگان با انتخاب مدل cloudflare/auto می‌توانند انتخاب مدل را به یک طبقه‌بند بسپارند؛ سیستمی که برای هر درخواست، کیفیت مورد انتظار را در برابر هزینه می‌سنجد.

این فرایند ابتدا مدل‌های ناسازگار با قالب درخواست را کنار می‌گذارد و تنظیمات اعتبارنامه، پرداخت، کنترل دسترسی و سقف هزینه را اعمال می‌کند. سپس مدلی چندسری روی GPUهای لبه Cloudflare، درخواست را در ۱۴ دسته وظیفه طبقه‌بندی و پیچیدگی، ابهام، حساسیت و وابستگی به متن قبلی را از ۱ تا ۵ امتیازدهی می‌کند.

طبقه‌بندی فقط بر تازه‌ترین نوبت‌های گفتگو و حداکثر ۸ کیبی‌بایت متن تکیه دارد. این محدودیت برای کارهای حساس می‌تواند مسئله‌ساز باشد؛ چون ممکن است زمینه‌ای مانند «بازپرداخت مشتری» در بخش‌های قدیمی‌تر گفتگو باقی مانده باشد. تیم‌ها می‌توانند مدل‌ها یا ارائه‌دهندگان مجاز را در هر درخواست محدود کنند و انتخاب نهایی را با سرآیندهای پاسخ بررسی کنند.

آزمون Cloudflare روی ۹۷ وظیفه، با سه نمونه از هر مدل و ۱۰ هزار بازنمونه‌گیری، از ۱۰ امتیاز قابلیت اتکای بیشتر در برابر حدود یک‌سوم هزینه خبر می‌دهد. بدون شناسه نشست، درخواست‌های یک گفتگو ممکن است به مدل‌های متفاوت برسند و از کش پرامپت استفاده نکنند. این قابلیت در دوره بتا رایگان است، از WebSocket پشتیبانی نمی‌کند و برای تیم‌هایی که از Cloudflare Workers استفاده می‌کنند، امکان ارزیابی‌پذیرتر کردن انتخاب مدل را فراهم می‌کند.

منبع: InfoQ