LLM Selector: ניתוב מודלים חכם

בחירת מודל LLM הפכה למטרה נעה

נוף ה-AI הגנרטיבי מתפתח בקצב מסחרר. עם LLMs חדשים - קנייניים (GPT-4, Claude 3, Gemini) ופתוחי מקור (Llama 3, Mistral) - שמשתחררים שבועית, צוותי הנדסה ניצבים בפני פרדוקס הבחירה. בחירת המודל האופטימלי אינה עוד החלטה סטטית; זוהי בעיית אופטימיזציה דינמית הכוללת פשרות בין השהיה, עלות, גודל חלון הקשר ויכולת הסקה. קידוד קשיח של מודל יחיד הוא מתכון לחוב טכני וחשבונות תשתית מנופחים.

השוואת ביצועים בנוף משתנה במהירות

בניית מסגרת אמינה לבחירת מודלים מסובכת על ידי מספר גורמים:

• ספציפיות המשימה: מודל מצוין בכתיבה יצירתית עשוי להיכשל בחילוץ JSON או יצירת קוד. ציוני בנצ'מארק גנריים מטעים.
• עלויות נסתרות: תמחור טוקנים ישיר קל למדידה; עלויות עקיפות כמו נטישת משתמשים עקב השהיה קשות לכימות.
• סחף מודל: עדכוני ספק למשקלי מודל או תשתית הגשה עלולים להרע את הביצועים בשקט על משימות ספציפיות ללא אזהרה.

שכבת ניתוב חכמה

טנדרס לאב בנתה את LLM Selector - מידלוור ניתוב דינמי הממוקם בין שכבת האפליקציה לספקי המודלים. הוא פועל כבקר תנועת AI, מנתב כל פרומפט למודל היעיל ביותר בהתבסס על אילוצים בזמן אמת.

1. מסגרת הערכה אוטומטית

צינור השוואת ביצועים רציף באמצעות "LLM-as-a-Judge": מודל עליון (כגון GPT-4o) מעריך מודלים קטנים וזולים יותר על סט מדרג של פרומפטים ספציפיים למשימה. זה מייצר מטריצת ביצועים גרעינית המדרגת כל מודל על דיוק, קוהרנטיות ועמידה בהנחיות - מתעדכנת ברציפות.

2. פרופיל השהיה ועלות

המערכת עוקבת ברציפות אחר זמני תגובת API ועלויות טוקן בכל הספקים המחוברים, ובונה פרופיל בזמן אמת של "עלות ליחידת אינטליגנציה" ו"שניות לטוקן" לכל מודל - עם התאמה לעומס שעות שיא וזמינות אזורית.

3. ניתוב פרומפטים דינמי

כאשר מגיעה בקשה, ה-Selector מנתח את מורכבות הפרומפט. משימות פשוטות (ניתוח סנטימנט, חילוץ) מנותבות למודלים מהירים וזולים יותר (Llama 3 8B, GPT-3.5). הסקה מורכבת מועברת למודלי חזית (GPT-4o, Claude 3.5 Sonnet). מדיניות הניתוב ניתנת להגדרה: "מקסם איכות", "מזער עלות", או אילוצים מותאמים אישית.

הפחתת עלות של 60% ללא פגיעה באיכות

• הפחתת עלות משולבת של 60% לבקשה: על ידי ניתוב משימות פשוטות למודלים יעילים תוך שמירת מודלי חזית להסקה מורכבת.
• יתירות מובנית: אם API אחד נופל, התנועה מנותבת מיידית לחלופה הטובה ביותר הבאה - ללא התערבות ידנית.
• תשתית עמידה לעתיד: ניתן להוסיף מודלים חדשים לקבוצת הניתוב מבלי לשנות שורת קוד אחת של האפליקציה, ומאפשר לצוותים לאמץ יכולות מתקדמות ביום הראשון.