למה המינימום מתפספס לחלוטין אם נבחר learning rate של 0.5?

אני לא מצליחה לדמיין איך היא נראית ולכן מסתבכת עם זה

כדי להבין למה קצב למידה (Learning\ Rate) גבוה מדי, כמו 0.5 בדוגמה שלך, גורם לפספוס המינימום, צריך לדמיין את הצעדים שאנחנו עושים על פני פונקציית ההפסד (Loss Function).

📉 דמיון ויזואלי: קפיצה מעבר למינימום

דמייני שאת עומדת על הר ואת רוצה להגיע לנקודה הנמוכה ביותר בעמק (המינימום הגלובלי).

1. מהו הגרדיאנט?

הגרדיאנט הוא השיפוע בנקודה שבה את נמצאת. הוא אומר לך באיזה כיוון הפונקציה עולה הכי מהר. בירידה בגרדיאנט, אנחנו לוקחים צעד בכיוון הנגדי לגרדיאנט, כדי לרדת.

2. מהו קצב הלמידה (\eta)?

קצב הלמידה (\eta, או Learning\ Rate) קובע את אורך הצעד שאת עושה.

* צעד קטן (Learning\ Rate קטן): את יורדת לאט, בזהירות, ומבטיחה שלא תפספסי את העמק.

* צעד גדול (Learning\ Rate גדול, כמו 0.5): את קופצת.

3. תופעת ה-"Over Shooting" (קפיצת יתר)

כאשר קצב הלמידה גדול מדי:

* את נמצאת בנקודה כלשהי על ההר. השיפוע (הגרדיאנט) מראה לכיוון העמק.

* במקום לעשות צעד קטן שמקרב אותך לקרקעית העמק, את עושה קפיצה עצומה (בגלל \eta=0.5).

* הקפיצה הזו מעבירה אותך מעבר למינימום ובמעלה הצד השני של ההר.

* עכשיו את בצד השני, ונקודת המינימום נמצאת מאחורייך.

* באיטרציה הבאה, המערכת מזהה שהיא שוב גבוהה מדי, עושה קפיצה עצומה נוספת חזרה לכיוון המינימום, אבל שוב נוחתת מעבר לו.

4. התוצאה: הסתעפות ואי-התכנסות

במקום להתכנס בהדרגה לעמק, המערכת מתחילה לנוע קדימה ואחורה בין שני צדי המינימום, בגובה הולך ועולה (או בגובה משתנה מאוד, תלוי בצורה המדויקת של הפונקציה).

* הפסד המודל (Loss) לא יורד או אפילו עולה מאיטרציה לאיטרציה.

* המשקולות (\theta) מתחילות להתבדר (Diverge), כלומר, ערכיהן נעשים גדולים יותר ויותר במהירות.

הנוסחה לתיקון המשקולות היא:

כאשר:

* J(\theta) היא פונקציית ההפסד.

* \nabla J(\theta) הוא הגרדיאנט (השיפוע).

* \eta הוא קצב הלמידה.

אם \eta גדול מדי, הערך \eta \cdot \nabla J(\theta_{old}) יהיה גדול מאוד, והעדכון של \theta יהיה גדול מדי, מה שיגרום לדילוג מעל המינימום כפי שתואר.

כדי להתכנס, \eta צריך להיות קטן מספיק כדי שנוכל "לגעת" בתחתית העמק ולא לקפוץ מעליו. קצב למידה טיפוסי הוא הרבה יותר קטן, למשל 0.01 או 0.001.

עם "לדמיין" דברים

אבל הסתדרתי בסוף, נשארה שאלה אחרונה

בהצלחה לי וזה

לא עובדות.

אז צריך להאשים מישהו …

ההבטחה של החזו"א שבבני ברק לא יפלו טילים | מתוך דורות | מבית תוכן אחד #פודקאסט #חרדים #תוכןאחד

זה בגלל שזה לא כיפה שחורה

ושזה ארה"ב ששולחת את הטילים.

כשאין נפילה בבני ברק אומרים ה' מכוון , זה השגחה פרטית, בזכות לומדי התורה, כשנופל בבני ברק- זה הציונים שרוצים להרוג אותנו.

משעשע בעיניי.

הם האליטה הרי

מתי לנו הבבונים תהיה אליטה משלנו

סעמק

כי הם מדברים מרגשי נחיתות ממה שחוו מהנאצים.

תדע לך

גם המשיח ספרדי

בגלל שלא יקבלו אותו הוא עוד לא הגיע. הבנת?

שלומו פנק פנק אותה בעוד עמבה על הטחינה

חחחחח

הגינוני מלכות שלי? זה שאני מלכה ומהממת ומדהימה זה לא קשור

למה לבנים קוראים זכרים אם הם לא זוכרים כלום?

כדי שהסגולה תעבוד - ככה עם זכר לבנים 😉

אלא אם תאמר שלולא קראו לכם זכרים המצב היה יותר גרוע..

בנות, לעומת זאת, זוכרות ונוקמות ונוטרות.

האיראנים. כולם צאצאים של שבטים איראנים שרומיים או צפוניים

יורים על המדינה שלהם כדי לגייס את החרדים. הכל מזימה של הבונים החפשיים שיצאו לחופש בחג החירות

בא לי לפרוק

לפרוק כל שטות שעוברת לי בראש

כמו פורום ריק ומוסתר | ערוץ 7

או פורומים לא פעילים שניקים משתלטים עליהם…

לשטויות שלי. בשבי לזה יש שריטות לייות

ותכתוב בגוף ההודעה "לא להגיב!"

כמו מופע סטנדפ בהלוויה