منصة BerriAI مفتوحة المصدر LiteLLM Agent، تدعم نشر العديد من وكلاء الذكاء الاصطناعي في بيئة الإنتاج

robot
إنشاء الملخص قيد التقدم
AIMPACT رسالة، 17 مايو (UTC+8)، أعلنت BerriAI عن إطلاق منصة وكيل LiteLLM مفتوحة المصدر، وهي منصة بنية تحتية مستضافة ذاتيًا تعتمد على Kubernetes، مصممة لتشغيل عدة وكلاء ذكاء اصطناعي في بيئة الإنتاج، وتوفر عزل بيئة اختبار على مستوى الفريق وإدارة جلسات مستمرة. تقوم المنصة بتنفيذ بيئة عزل مستقلة على مستوى الجلسة من خلال CRD الخاص بـ agent-sandbox في Kubernetes، لحل مشكلات إدارة الحالة، واستمرارية الجلسة بعد إعادة تشغيل الحاوية، وعزل بيئات الفرق. للاستخدام المحلي، يتم استخدام kind (Kubernetes في Docker)، ويوصى باستخدام AWS EKS في بيئة الإنتاج. من ناحية التقنية، تعتمد المنصة على Next.js لبناء لوحة الإدارة، مع نسبة TypeScript تصل إلى 92.8%، وPostgreSQL للتخزين المستمر. تم بناء منصة وكيل LiteLLM فوق LiteLLM Gateway، الذي يتولى توجيه النماذج، وتتبع التكاليف، وتقييد المعدلات. يتطلب التشغيل المحلي أمرين فقط: bin/kind-up.sh لإعداد مجموعة kind، وdocker compose up لتشغيل الخدمة. يستخدم المشروع رخصة MIT، وهو في مرحلة المعاينة العامة ألفا.
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
  • أعجبني
  • 7
  • إعادة النشر
  • مشاركة
تعليق
إضافة تعليق
إضافة تعليق
AirdropArchivist
· منذ 1 س
تصميم agent-sandbox CRD لديه بعض الميزات، وأخيرًا لم يعد من الضروري إنشاء عجلة خاصة بك لعزل الفرق المختلفة
شاهد النسخة الأصليةرد0
GasFeesForNightRuns
· منذ 1 س
تشغيل أمرين معًا فعلاً رائع، لكن لم يُذكر في الوثيقة عن عنق الزجاجة في أداء استمرارية الجلسة
شاهد النسخة الأصليةرد0
TheProphetOfToast
· منذ 1 س
إدارة الحالة + تقنية إعادة التشغيل والاستعادة، أخيرًا يمكن لخدمة الوكيل التي تعمل لفترة طويلة أن تأخذ قسطًا من الراحة
شاهد النسخة الأصليةرد0
Lemon-FlavoredLiquidation
· منذ 1 س
أخيرًا، أصبح هناك تنفيذ مفتوح المصدر جدي لتنظيم وكلاء متعددين، سابقًا كانت كلها مشاريع ألعاب.
شاهد النسخة الأصليةرد0
Front-RunningArbitrage
· منذ 1 س
نظرًا لوجود عائق مستوى Kubernetes في مجال الاستضافة الذاتية، هل هناك حل تراجع يعتمد فقط على Docker Compose؟
شاهد النسخة الأصليةرد0
GateUser-991fc58a
· منذ 1 س
رخصة MIT ضمير جيد، لكن هل يجرؤ على الانتقال إلى الإنتاج في المرحلة ألفا؟
شاهد النسخة الأصليةرد0
WatercolorGlassBottle
· منذ 1 س
أخيرًا قام فريق ما بإنهاء مهمة تخزين حالة الوكيل، وميزة التشغيل بنقرة واحدة من Kind سهلة جدًا للمطورين.
شاهد النسخة الأصليةرد0
  • مُثبت