Falcon 180B
הכתבה סוקרת את מודל השפה Falcon 180B, מודל קוד פתוח מוביל, ומסבירה את הדרישות הטכניות והעלויות הכרוכות בהרצתו באופן מקומי או בענן. קוראים ילמדו על האתגרים והאפשרויות להפעלת מודלים גדולים כאלה, ויקבלו תובנות לגבי ההשלכות הכלכליות והטכנולוגיות.
אז כמה כסף יעלה לכם להריץ בבית את המודל השפה Falcon 180B?
שנחשב למודל השפה הגדול בקוד פתוח והטוב ביותר בעולם ( פותח ע"י המכון לחדשנות טכנולוגית (TII) שבאיחוד האמירויות).
על המחשב האישי שלכם, אתם צריכים אאמ.. כ 8 כרטיסים גרפיים מתקדמים של נוידיה שיעלו לכם בערך 800,000 שקלים! אפשר להזמין בפלונטר
https://www.plonter.co.il/detail.tmpl?sku=NVA100TCGPU80KIT
אם תרצו להריץ את כל העוצמה הזאת על הענן של Amazon SageMaker זה יעלה לכם כ22,000 דולר לחודש, גם עם כרטיסי גרפיקה פחות מתקדמים.
נראה שהאופציה היחידה המעשית להריץ מודל כזה עבור משתמשים פרטיים היא על ענן ציבורי ולא באופן מקומי.
מעניין להבין את העלויות העצומות שטמונות בהרצת מודלים כאלה. אז עכשיו אתם יכולים להעריך את הגרסאות המסחריות של ChatGPT וClaude תמורת 20$/לחודש ?😉
האמת שעם חומרה ביתית סטנדרטית ניתן כבר היום להריץ מודלים מתקדמים למדי שמספקים תוצאות טובות, גם אם עדיין נופלים משמעותית מהמודלים הענקיים ביותר. כאן מדובר במפלצת של 180 מיליארד פרמטרים.
מודלי השפה בקוד פתוח מבטיחים הרבה, זו תהיה מהפכה, זה יהיה מאובטח יותר ופעולות העיבוד יתבצעו במחשב האישי שלנו אבל הם עדיין יקרים מאוד להפעלה למשתמש הבודד. אז בינתיים, השימוש בגרסאות הענן נראה כמו האופציה הטובה ביותר עבור רובנו.
אתר של Falcon LLM
https://falconllm.tii.ae/