למידת מכונה: מבוא לקווי שגיאות בריבוע ורגרסיה

מבוא

מאמר זה יעסוק בשיטה הסטטיסטית המשמעות של שגיאה בריבוע , ואתאר את הקשר בין שיטה זו לקו הרגרסיה .

הדוגמה מורכבת מנקודות על הציר הקרטזיאני. נגדיר פונקציה מתמטית שתיתן לנו את הקו הישר שעובר הכי טוב בין כל הנקודות על הציר הקרטזיאני.

ובדרך זו נלמד את הקשר בין שתי השיטות הללו, וכיצד התוצאה של הקשר שלהן נראית יחד.

הסבר כללי

זו ההגדרה מויקיפדיה:

בסטטיסטיקה, השגיאה הממוצעת בריבוע (MSE) של אומדן (של הליך לאמידת כמות שלא נצפתה) מודדת את ממוצע הריבועים של השגיאות - כלומר ההפרש הממוצע בריבוע בין הערכים המשוערים לבין מה שאומד. MSE היא פונקציית סיכון, המתאימה לערך הצפוי של אובדן השגיאות בריבוע. העובדה ש- MSE כמעט תמיד חיובי בהחלט (ולא אפס) היא בגלל אקראיות או מכיוון שהאומדן אינו מתחשב במידע שיכול להפיק אומדן מדויק יותר.

מבנה המאמר

• קבל תחושה של הרעיון, הדמיה גרפית, משוואת שגיאות בריבוע ממוצעת.
• החלק המתמטי המכיל מניפולציות אלגבריות ונגזרת של פונקציות דו-משתנות למציאת מינימום. חלק זה מיועד למי שרוצה להבין כיצד נקבל את הנוסחאות המתמטיות מאוחר יותר, אתה יכול לדלג עליו אם זה לא מעניין אותך.
• הסבר לנוסחאות המתמטיות שקיבלנו ולתפקיד של כל משתנה בנוסחה.
• דוגמאות

קבל תחושה של הרעיון

נניח שיש לנו שבע נקודות, והמטרה שלנו היא למצוא קו שמצמצם את המרחקים בריבוע לנקודות שונות אלה.

בואו ננסה להבין את זה.

אקח דוגמא ואשרטט קו בין הנקודות. כמובן שהציור שלי לא הכי טוב, אבל זה רק למטרות הדגמה.

אולי אתה שואל את עצמך, מהו הגרף הזה?

• נקודה הסגולות הן נקודה על הגרף. לכל נקודה יש ​​קואורדינטה ו- x.
• הקו הכחול הוא קו התחזית שלנו. זהו קו שעובר בכל הנקודות ומתאים להן בצורה הטובה ביותר. שורה זו מכילה את הנקודות החזויות.
• הקו האדום בין כל נקודה סגולה קו התחזית הם הטעויות. כל שגיאה היא המרחק מהנקודה לנקודה החזויה שלה.

עליכם לזכור משוואה זו מימי בית הספר, y = Mx + B , כאשר M הוא שיפוע הקו ו- B הוא יירוט y של הקו.

אנו רוצים למצוא M (שיפוע) ו- B (יירוט y) שממזער את השגיאה בריבוע!

נגדיר משוואה מתמטית שתתן לנו את השגיאה הממוצעת בריבוע לכל הנקודות שלנו.

בואו ננתח את המשמעות של המשוואה הזו.

• במתמטיקה הדמות שנראית כמו E מוזרה נקראת סיכום (סיגמה יוונית). זהו סכום רצף המספרים, מ- i = 1 ועד n. בואו נדמיין את זה כמו מערך נקודות, בו אנו עוברים את כל הנקודות, מהראשונה (i = 1) ועד האחרונה (i = n).
• עבור כל נקודה אנו לוקחים את קואורדינטת ה- y של הנקודה ואת ה- y'-קואורדינטה. התאם y הוא הנקודה הסגולה שלנו. נקודת ה- y יושבת על הקו שיצרנו. אנו מפחיתים את ערך הקואורדינטות y מערך הקואורדינטות y 'ומחושבים את הריבוע של התוצאה.
• החלק השלישי הוא לקחת את הסכום של כל הערכים (y-y ') ², ולחלק אותו ב- n, שייתן את הממוצע.

המטרה שלנו היא למזער את הממוצע הזה, שיספק לנו את השורה הטובה ביותר שעוברת על כל הנקודות.

ממושג למשוואות מתמטיות

חלק זה מיועד לאנשים שרוצים להבין כיצד הגענו למשוואות המתמטיות . אתה יכול לדלג לחלק הבא אם תרצה.

כידוע, משוואת הקו היא y = mx + b, כאשר m הוא השיפוע ו- b הוא היירוט y.

ניקח כל נקודה בגרף, ונבצע את החישוב שלנו (y-y ') ².

אבל מה זה y ', ואיך נחשב את זה? אין לנו את זה כחלק מהנתונים.

אך אנו יודעים שכדי לחשב את y ', עלינו להשתמש במשוואת הקו שלנו, y = mx + b, ולשים את ה- x במשוואה.

מכאן אנו מקבלים את המשוואה הבאה:

בוא נשכתב את הביטוי הזה כדי לפשט אותו.

נתחיל בפתיחת כל הסוגריים במשוואה. צבעתי את ההבדל בין המשוואות כדי להקל על ההבנה.

עכשיו, בואו נפעיל מניפולציה נוספת. ניקח כל חלק ונרכיב אותו. ניקח את כל y, ו- (-2ymx) וכו ', ונשים את כולם זה לצד זה.

בשלב זה אנחנו מתחילים להיות מבולגנים, אז בואו ניקח את הממוצע של כל הערכים בריבוע עבור y, xy, x, x².

בואו נגדיר, עבור כל אחד מהם, דמות חדשה שתייצג את הממוצע של כל הערכים בריבוע.

בואו נראה דוגמא, בואו ניקח את כל ערכי y ונחלק אותם ב- n מכיוון שזה הממוצע, ונקרא לזה y (HeadLine).

אם נכפיל את שני צידי המשוואה ב- n נקבל:

מה שיוביל אותנו למשוואה הבאה:

אם נסתכל על מה שקיבלנו, נוכל לראות שיש לנו משטח תלת ממדי. זה נראה כמו כוס, שעולה בחדות כלפי מעלה.

אנו רוצים למצוא M ו- B שממזערים את הפונקציה. נכין נגזרת חלקית ביחס ל- M ונגזרת חלקית ביחס ל- B.

מכיוון שאנחנו מחפשים נקודת מינימום, ניקח את הנגזרות החלקיות ונשווה ל -0.

בוא ניקח את שתי המשוואות שקיבלנו, נבודד את המשתנה b משניהם, ונחסיר את המשוואה העליונה מהמשוואה התחתונה.

בואו נגרע את המשוואה הראשונה מהמשוואה השנייה

בואו ניפטר מהמשוואה מהמשמעות.

ושם נלך, זו המשוואה למצוא את M, בוא ניקח את זה ונרשום את משוואת B.

משוואות לשיפוע וליירט y

בואו נספק את המשוואות המתמטיות שיעזרו לנו למצוא את השיפוע והיירטוט הנדרש.

אז אתה בטח חושב לעצמך, מה לעזאזל המשוואות המוזרות האלה?

הם פשוט פשוטים להבנה, אז בואו נדבר עליהם קצת.

עכשיו, לאחר שהבנו את המשוואות שלנו, הגיע הזמן לאחד את כל הדברים ולהראות כמה דוגמאות.

דוגמאות

תודה גדולה לאקדמיה של חאן על הדוגמאות.

דוגמה מס '1

ניקח 3 נקודות, (1,2), (2,1), (4,3).

בואו נמצא M ו- B עבור המשוואה y = mx + b.

לאחר שחישבנו את החלקים הרלוונטיים עבור משוואת M שלנו ומשוואת B, בואו נכניס את הערכים הללו למשוואות ונקבל את השיפוע ואת יירוט ה- y.

בואו ניקח את התוצאות הללו ונקבע אותן בתוך משוואת הקו y = mx + b.

בואו בואו נמתח את הקו ונראה איך הקו עובר דרך הקווים בצורה כזו שהוא ממזער את המרחקים בריבוע.

דוגמה מס '2

ניקח 4 נקודות, (-2, -3), (-1, -1), (1,2), (4,3).

בואו נמצא M ו- B עבור המשוואה y = mx + b.

אותו דבר כמו קודם, בואו נכניס את הערכים הללו למשוואות שלנו כדי למצוא את M ו- B.

בואו ניקח את התוצאות הללו ונקבע אותן בתוך משוואת הקו y = mx + b.

בואו בואו נמתח את הקו ונראה איך הקו עובר דרך הקווים בצורה כזו שהוא ממזער את המרחקים בריבוע.

לסיכום

כפי שאתה יכול לראות, כל הרעיון פשוט. אנחנו רק צריכים להבין את החלקים העיקריים ואיך אנחנו עובדים איתם.

אתה יכול לעבוד עם הנוסחאות כדי למצוא את הקו בגרף אחר, ולבצע חישוב פשוט ולקבל את התוצאות עבור השיפוע ומיירט ה- y.

זה הכל, פשוט אה? ?

כל תגובה וכל משוב יתקבלו בברכה - אם יש בכך צורך, אתקן את המאמר.

אתם מוזמנים ליצור איתי קשר ישירות בלינקדאין - לחצו כאן.