העולם המופלא של FLUX

9.11.2024 · 9 דקות קריאה · AI

Flux הוא מודל AI מתקדם לפיתוח תמונות, שפותח על ידי Black Forest ומתמקד ביצירת תוצרים איכותיים ומותאמים אישית. בשילוב עם LoRA – טכניקה שמאפשרת לאמן את המודל על כמות קטנה של נתונים – ניתן למקד את האימון על פרצופים או חפצים באופן שמביא לדיוק מרשים בפרטים ואסתטיקה עשירה.

Flux הוא מודל AI מתקדם לפיתוח תמונות, שפותח על ידי Black Forest ומתמקד ביצירת תוצרים איכותיים ומותאמים אישית. בשילוב עם LoRA (LowRank Adaptation) – טכניקה שמאפשרת לאמן את המודל על כמות קטנה של נתונים – ניתן למקד את האימון על פרצופים או חפצים באופן שמביא לדיוק מרשים בפרטים ואסתטיקה עשירה. השילוב בין Flux ללורה יוצר פתרון גמיש ויעיל, שמאפשר אמנים ומפתחים להגיע לתוצאות מותאמות באופן אישי תוך ניצול אופטימלי של המשאבים.

תוכן עניינים

מושגים

| מושג | הגדרה | שימוש/הקשר | רמת טכניות | דוגמאות או הערות | | | | | | | | Flux | מודל AI מתקדם לפיתוח תמונות, שפותח על ידי Black Forest | משמשת כבסיס לאימון לורות (LoRA) עבור מגוון אפליקציות. | בסיסי | Flux משמש לעיתים קרובות בפרויקטים של AI כמו יצירת תמונות או עיבוד שפה. | | LoRA (LowRank Adaptation) | טכניקה לאימון מודלים על כמות קטנה של נתונים לשיפור התאמה. | מאפשרת התאמה מהירה למודלים גדולים בפרויקטים שונים. | מתקדם | שימוש נפוץ ביצירת דמויות מדויקות באפליקציות של עיבוד תמונה. | | Epoch | מחזור שלם של אימון המודל על כל הנתונים. | משמש בקביעת כמות האימון שהמודל מקבל, משפיע על התוצאות הסופיות. | בסיסי | מספר גבוה מדי עלול לגרום לoverfitting. | | VRAM (Video RAM) | זיכרון של כרטיס המסך, חשוב לאימון מודלים גדולים. | נדרש במיוחד לאימון מודלים עם Batch Size גדול או כמות נתונים גדולה. | בסיסי | RTX 4090 עם 24GB VRAM מאפשר להתמודד עם משימות כבדות. | | Learning Rate | קצב הלימוד של המודל בזמן האימון. | משפיע על האופן שבו המודל לומד מהנתונים; ערך לא נכון עלול לפגוע בתוצאות. | מתקדם | ערך גבוה מדי עלול לגרום לדילוג על פרטים חשובים, ערך נמוך מדי עלול להאט את האימון. | | Rank | מידת הדחיסה של המודל בעת אימון LoRA. | משפיע על כמות המשאבים שנדרשים ועל איכות המודל הסופי. | מתקדם | ערך גבוה יותר דורש יותר זיכרון ועיבוד. | | Batch Size | מספר הדוגמאות שמעובדות במקביל בזמן האימון. | משפיע על מהירות האימון והזיכרון הנדרש. | מתקדם | Batch Size גדול יכול להאיץ את האימון אך דורש יותר VRAM. | | Autotagging | תהליך שבו התמונות מסומנות אוטומטית בתגים לתיאור התוכן שלהן. | משפר את דיוק המודל ע"י מיפוי מדויק של תכנים לתגים. | בסיסי | משמש לעיתים קרובות בפרויקטים של עיבוד תמונה. | | Colab Notebook | מחברת אינטרנטית של גוגל להרצת קוד Python בענן. | משמשת לאימון מודלים של למידת מכונה בצורה נגישה. | בסיסי | כלי פופולרי במיוחד עבור מפתחים בתחילת הדרך. | | Overfitting | תופעה שבה המודל מתאים את עצמו יותר מדי לנתוני האימון. | פוגע ביכולת המודל לפעול היטב על נתונים חדשים ולא מאומנים. | מתקדם | קורה כאשר הEpochs גבוהים מדי. | | Training Steps | מספר הצעדים בהם המודל מתעדכן במהלך האימון. | משפיע על כמות הזמן והמשאבים שנדרשים לאימון. | מתקדם | מספר גבוה של צעדים יכול לשפר את דיוק המודל, אך דורש יותר זמן ומשאבים. | | Preprocessing | תהליך הכנת הנתונים לפני הזנתם למודל, כולל שינוי גודל, חיתוך, נרמול ועוד. | משפיע על מה שהמודל לומד ועל יכולת ההכללה שלו. | מתקדם | הבדלים בשיטות Preprocessing בין פלטפורמות יכולים להסביר הבדלים בתוצאות. | | Augmentations | טכניקות להגדלת מגוון וכמות הנתונים, כמו היפוך, סיבוב, שינוי צבע ועוד. | מסייע בשיפור איכות המודל ע"י הגדלת המגוון בנתוני האימון. | מתקדם | סוגים ועוצמות שונות של Augmentations משפיעים על תוצאות האימון. | | Guidance Scale | פרמטר שמשפיע על מידת ההתאמה של התמונה המיוצרת לטקסט. | ערך גבוה יותר יוצר תמונות שמתאימות יותר לטקסט, אך עלול לפגוע בלכידות. | בסיסי | ערכים בין 2.2 ל3 נחשבים לטווח אופטימלי ברוב המקרים. | | ClassifierFree Guidance (CFG) | טכניקה ליצירת תמונות ע"י שילוב של תחזיות מהמודל עם ובלי בקרת טקסט. | מאפשרת שליטה טובה יותר על התוכן של התמונות המיוצרות. | מתקדם | משמש לעיתים קרובות בשילוב עם LoRA כדי לשפר את התוצאות. |

FLUX בפלטפורמת KREA.AI

https://www.krea.ai/apps/image/flux

בKREA, מה שבולט הוא הפשטות והמהירות בתהליך יצירת התמונות. עם FLUX, הכל מתבצע במקום אחד – אין צורך לעבור בין כלים שונים. המשתמש יכול בקלות לעבור בין גרסאות קודמות, לשנות את יחס הגובהרוחב ולקבל רעיונות יצירתיים בלחיצה אחת. תוך כ15 שניות מתקבלות ארבע תמונות, ולאחר מכן ניתן לשפר כל אחת מהן בקלות בעזרת כלי השיפור של KREA. הפלטפורמה שמה דגש על חוויית משתמש פשוטה ואינטואיטיבית, מה שהופך את תהליך יצירת התמונות למהיר, ברור ונגיש לכל רמות המשתמש.

שירותים מקוונים

למה אני אוהב דווקא את Replicate

https://phishingtackle.com/articles/replicateaiflawenablesattackerstoaccesscustomerdata/

Replicate

1. Replicate הוא API בענן המאפשר למשתמשים להריץ בקלות ובמהירות מודלים של למידת מכונה בקוד פתוח באמצעות מספר שורות קוד בלבד. הוא מספק דרך פשוטה להריץ ולפרוס מודלים מבלי צורך בידע מעמיק בלמידת מכונה.
2. התכונות העיקריות של Replicate כוללות:
3. מאגר עצום של אלפי מודלים מוכנים לשימוש
4. יכולת לפרוס מודלים מותאמים אישית באמצעות הכלי Cog בקוד פתוח
5. יצירת API אוטומטי ויכולת הסקלה
6. תמחור לפי שנייה, כך שמשלמים רק על המשאבים שבהם נעשה שימוש
7. Replicate מארח מודלים פופולריים רבים כולל מודלים ליצירת תמונות כמו FLUX, מודלים לשחזור תמונות, מודלים לטקסט לדיבור ועוד. משתמשים יכולים לחקור ולהשתמש במודלים אלו באופן מיידי.
8. Replicate מציע תקופת ניסיון חינמית, שלאחריה יש צורך להזין כרטיס אשראי ולשלם על בסיס השימוש. תחזיות מחויבות לפי שנייה, כאשר העלות לשנייה משתנה בהתאם לחומרה שבה נעשה שימוש.
9. עלויות טיפוסיות נעות בטווח של 12 סנט ליצירת תמונה, ויכולות להצטבר לכמה דולרים בחודש עבור משתמשים כבדים שמייצרים מאות תמונות. עם זאת, ניתן להגדיר מגבלות הוצאה כדי לשלוט בעלויות.
10. Replicate מספק תנאי שימוש מפורטים המסדירים את השימוש בפלטפורמה, רכישות, מנויים, קניין רוחני ועוד. בנוסף, קיימת תיעוד קפדני וקהילה פעילה לתמיכה.

לסיכום, Replicate.com כפלטפורמה עוצמתית אך נגישה להרצת מודלים בקוד פתוח של למידת מכונה ולפריסת מודלים מותאמים אישית. למרות שהיא אינה חינמית, התמחור סביר לאור היכולות שמסופקות, במיוחד עם האפשרות להגדיר מגבלות הוצאה. הפלטפורמה עשויה להיות כלי רב ערך למדעני נתונים, מפתחים ואף משתמשים שאינם טכניים המחפשים לנצל את למידת המכונה

Astria

אודות Astria

Astria היא פלטפורמה מתקדמת המתמחה באימון מודלים של Flux, ומציעה פתרון נוח ויעיל ליצירת לורות (LoRA) מותאמות אישית.

מחירים ועלויות

• אימון Flux עולה $5.00 לכל 1,000 צעדים
• יצירת תמונות עולה $0.23 ל8 תמונות
• ברירת המחדל היא 100 צעדים לכל תמונת אימון

תהליך העבודה

• הרשמה פשוטה לאתר
• העלאת דאטהסט של כ30 תמונות
• הגדרת סוג המודל (LoRA) ובחירת מודל הבסיס (למשל Flux Dev)
• קביעת מספר צעדי האימון (לדוגמה 3,000 צעדים)

יתרונות הפלטפורמה

• ממשק משתמש ידידותי
• תוצאות איכותיות במיוחד
• אפשרות להורדת המודל המאומן לשימוש מקומי
• תמיכה בסגנונות שונים כולל דמויות, חיות ושפה גרפית

הגבלות ותנאים

• תמונות עירום אסורות
• המודלים נשמרים למשך 30 יום
• אחסון מודל מורחב עולה $0.50 לחודש למודל
• מינימום לעיבוד כרטיס אשראי הוא $5.00[2]

Civitai

מהו מאמן LoRA של Civitai? אימון מודלים של LoRA הוא עסק מורכב! יש את הסקריפטים הנדרשים, התלויות; Python, Torch 2.0, כל המונחים המורכבים, וכשכבר תופסים את זה, יש את הדרישות הכבדות של החומרה! ניתן לאמן מודלים של Stable Diffusion 1.5 עם כמות יחסית נמוכה של VRAM (זיכרון כרטיס גרפי), אבל עבור אימון SDXL תצטרך יותר ממה שרוב האנשים יכולים לספק!

עקפנו את כל הבעיות הללו על ידי יצירת מאמן LoRA מבוססרשת!

אנחנו רוצים שהאימון של LoRA יהיה נגיש ככל האפשר, ולכן עשינו את המאמן פשוט ככל שיכולנו עבור משתמשים חדשים שאולי מעולם לא אימנו שום דבר, אבל גם כלול אפשרויות מתקדמות למשתמשים מנוסים.

המאמן עדיין בשלב בטא, יש הרבה שינויים שצריך לעשות ותכונות שצריך להוסיף, אבל הרכיבים והפונקציונליות המרכזיים קיימים, ואנחנו מתרגשים לתת לכם להתחיל להשתמש בזה!

המדריך הזה יעודכן ויורחב עם הזמן! נלקח מהאתר של Civitai

הכנת מאגר הנתונים

1. אסוף 2030 תמונות באיכות גבוהה הקשורות למושג או לסגנון שברצונך לאמן. השתדל להשתמש בתמונות ברזולוציה של כ512x512 פיקסלים.
2. ודא שיש מגוון מסוים בתמונות, אך שמור אותן ממוקדות על המושג המרכזי.
3. כתוב כיתובים בשפה טבעית עבור כל תמונה, כאילו היית כותב פקודה לFlux ליצירת התמונה. הימנע משימוש בתגיות מופרדות בפסיקים כמו בכיתובי Danbooru.
4. הוסף לתמונות הרגילות גם תמונות רגולריזציה כדי למנוע התאמת יתר. תמונות אלו צריכות להיות כאלה שהמודל הבסיסי ייצר בדרך כלל עבור הכיתובים שכתבת.
5. ארוז את כל התמונות וקובצי הכיתוב לקובץ zip.

אימון על Civitai

1. עבור לדף האימון של LoRA בCivitai: https://civitai.com/models/train
2. בחר באפשרות "Engines" ובחר "XFlux".
3. העלה את קובץ הzip המכיל את התמונות והכיתובים.
4. הגדר את פרמטרי האימון:
5. שלבים: 1000
6. אפוקים (epochs): 1
7. רזולוציה: 512x512
8. קצב למידה, גודל מחזור: השתמש בברירות המחדל
9. בחר שם עבור הLoRA שלך והתחל את תהליך האימון.
10. האימון אמור לקחת כ12 שעות בהתאם לעומס התור. תקבל הודעה כאשר האימון יושלם.

טיפים לתוצאות מיטביות

• השתמש במילת מפתח נדירה בכיתובים שלך כדי להקל על יצירת פקודות מאוחר יותר.
• יותר שלבי אימון לא בהכרח משפרים את התוצאות. 10002000 שלבים נראים אופטימליים ברוב המקרים.
• מאגרי נתונים גדולים מ2030 תמונות עשויים להפחית את הגמישות ביצירת הפקודות, אז כדאי להתחיל קטן.
• אם אתה מאמן סגנון, ייתכן שתצטרך יותר מ30 תמונות. נסה וראה מה עובד בצורה הטובה ביותר.

בעזרת הLoRA המאומן, תוכל ליצור תמונות בסגנון או במושג שאימנת עליו על ידי הכללת מילת המפתח בפקודות שלך. בהצלחה באימון!

• Civitai מציעים אימון לורה בעלות של 2000 "באז" (המטבע הפנימי שלהם), שזה בערך 2.50 דולר לכל לורה.
• כדי להגיע לתוצאות טובות, מומלץ להשתמש בכ20 תמונות מגוונות, לבצע 10 חזרות ולהתאים את מספר הepochs לכ1000 צעדים.
• עם זאת, חלק מהמשתמשים דיווחו על תוצאות לא עקביות, כאשר התמונות המתקבלות לא תמיד תואמות לתמונות הבסיסיות, גם בשימוש באוטותגים.

Fal.ai

• Fal.ai נותנים תוצאות טובות יותר לאימון לורה מאשר Replicate, לפי בדיקה של משתמש מסוים, למרות שReplicate זולים פי שניים.
• השירות מאפשר הורדה של מודל הלורה המאומן.

אימון מקומי

Kohyass

• אפשרות פופולרית לאימון לורה מקומי, עם מחברת Colab פשוטה שנקראת "Lora Trainer".
• השירות מציע אפשרויות רבות להתאמה כמו קצב לימוד, דירוג, גודל מינימכולה ועוד.
• ניתן לאמן לורות איכותיות, אך ייתכן שתידרש ניסוי וטעייה כדי למצוא את ההגדרות האופטימליות.

AiToolkit

• פתרון נוסף מוביל לאימון לורה מקומי, שנחשב שווה ערך לKohyass.
• המערכת משנה אוטומטית את גודל התמונות ומחלקת אותן למינימכולות לצורך האימון.
• מתפקד היטב על מערכות Windows עם כרטיסי גרפיקה כמו RTX 4090 עם 24GB VRAM.

טיפים להשגת תוצאות מיטביות

• השתמשו ב15 עד 50 תמונות איכותיות ומגוונות של הנושא.
• 1000 עד 3000 צעדי אימון מספיקים לרוב לאימון דמויות ואנשים.
• כתבו כיתובים תיאוריים לכל תמונה, תוך דגש על מאפיינים מרכזיים.
• נסו לערוך ניסויים עם קצבי לימוד שונים, ערכי דירוג (rank) ומספרי epochs.
• לאמן את המודל הבסיסי שעליו תשתמשו בלורה לקבלת התוצאות הטובות ביותר.

לסיכום, השירותים המקוונים כמו Civitai, Replicate וfal.ai מציעים אפשרויות אימון נוחות, בעוד Kohyass וAiToolkit מציעים פתרונות מתקדמים לאימון מקומי. הבחירה בין האופציות תלויה בצרכים הספציפיים שלכם, התקציב ורמת הנוחות שלכם עם הכלים הטכניים. הקפדה על שיטות עבודה מומלצות כמו גודל ואיכות מאגר התמונות, כיתוב לתמונות והתאמת פרמטרים יכולה לשפר באופן משמעותי את המודל הסופי.

באתר גיז ניתן למצוא מדריך נרחב על סגנונות של מודל פלאקס.

https://www.giz.ai/flux1promptguide/

מדריכים טובים מהרשת

📺 צפו בסרטון

https://www.finetuners.ai/post/trainingloraonfluxbestpracticessettings

https://www.finetuners.ai/post/indepthguidefortraininglogoswithaifluxdev