ניתוב מודלים: לא רק ביצועים, גם העדפות
הרצאה מכנס AI Engineer מציגה גישה חדשנית לניתוב מודלים, המתבססת על העדפות משתמשים ולא רק על מדדי ביצועים יבשים. גישה זו פותחת אפשרויות חדשות לייעול שימוש בLLMs.
ארצ'נה קאמת' וטיילר גילאם מDigitalOcean הציגו בכנס AI Engineer גישה מרתקת לניתוב מודלים. במקום להסתמך אך ורק על ציוני ביצועים בבנצ'מרקים, הם מציעים לשלב העדפות משתמשים בתהליך קבלת ההחלטות. הדבר מאפשר התאמה מדויקת יותר של המודל למשימה ולצרכים הספציפיים.
עבור חברות ישראליות ועסקים קטנים ובינוניים, גישה זו יכולה להיות קריטית בייעול השימוש במודלי שפה גדולים. היא מאפשרת לבחור את המודל האופטימלי לא רק מבחינת דיוק, אלא גם בהתחשב בעלויות, מהירות ודרישות ספציפיות של הלקוח או הפרויקט, ובכך למקסם את התועלת מהשקעה בAI.
קריאה נוספת ←