انحدار خطي بسيط

الانحدار الخطي البسيط هو حساب المربعات الصغرى من نموذج الانحدار الخطي مع متغير تفسيري واحد. وبعبارة أخرى، الانحدار الخطي البسيط هو خط مستقيم يمر بمجموعة من النقاط بطريقة تجعل مجموع مربع النقط المتبقية من النموذج (أي، المسافات الرأسية بين النقطة المتبقية والخط) أقل ما يمكن. هذا يشير الي حقيقة أن الانحدار هو واحد من أبسط الأساليب المستخدمة في مجال الإحصاء حيث أن ميل الخط يساوي العلاقة بين y و x مصححة بنسبة الانحرافات المعيارية لهذه المتغيرات. نقطة تقاطع الخط مع محور الصادات هي مركز كتلة نقاط البيانات (x, y). توجد طرق انحدار أخرى بجانب المربعات الصغرى البسيطة (انظر الانحدار الخطي). علي وجه الخصوص، عندما يريد شخص أن يقوم بفعل الانحدار عن طريق العين فانه يميل عادة الي رسم خط حاد قليلا ويكون قريبا من ذلك الذي ينتج من طريقة أقل مربعات كليه. يحدث هذا لأنه طبيعي أكثر لعقل الإنسان ملاحظة المسافات المتعامدة علي خط الانحدار بدلا من تلك الراسية كما يحدث في طريقة المربعات الصغرى.

عمل خط الانحدار

افترض ان لديك عدد n من النقاط {(X_i,Y_i),i=1,2,.....n} فان الدالة التي تصف Y و X هي: y_i = α + β x_i + ε_i والهدف هو ايجاد معادلة الخط المستقيم y = α + β x التي تعطي أفضل تمثيل للنقاط. هنا الأفضل يعرف بأنه طريقة المربعات الصغيرة: الخط الذي يقلل مجموع مربعات المتبقيات لنموذج الانحدار الخطي. وبعبارة أخرى، α (نقطة التقاطع مع محور y) و β (الميل) يشاركوا في حل مشكلة التقليل التالية: ${\text{Find }}\min _{\alpha ,\,\beta }Q(\alpha ,\beta ),\qquad {\text{for }}Q(\alpha ,\beta )=\sum _{i=1}^{n}\varepsilon _{i}^{\,2}=\sum _{i=1}^{n}(y_{i}-\alpha -\beta x_{i})^{2}\$

باستخدام الحساب هندسة المساحات الداخلية للشكل أو التوسع البسيط للحصول علي معادلة من الدرجة الثانية في α و β ، فإنه من الممكن ايجاد قيم α و β التي تقلل الدالة كالتالي:

${\begin{aligned}{\hat {\beta }}&={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}\\[6pt]&={\frac {\sum _{i=1}^{n}{x_{i}y_{i}}-{\frac {1}{n}}\sum _{i=1}^{n}{x_{i}}\sum _{j=1}^{n}{y_{j}}}{\sum _{i=1}^{n}{x_{i}^{2}}-{\frac {1}{n}}(\sum _{i=1}^{n}{x_{i}})^{2}}}\\[6pt]&={\frac {{\overline {xy}}-{\bar {x}}{\bar {y}}}{{\overline {x^{2}}}-{\bar {x}}^{2}}}\\&={\frac {\operatorname {Cov} [x,y]}{\operatorname {Var} [x]}}\\&=r_{xy}{\frac {s_{y}}{s_{x}}},\\[6pt]{\hat {\alpha }}&={\bar {y}}-{\hat {\beta }}\,{\bar {x}},\end{aligned}}$

حيث r_xy هو معامل الارتباط بين x و y

s_x هو الانحراف المعياري ل x

s_y هو الانحراف المعياري ل y الخط الأفقي علي فوق الكمية يعبر عن المتوسط. فعلى سبيل المثال: ${\overline {xy}}={\tfrac {1}{n}}\sum _{i=1}^{n}x_{i}y_{i}.$

بالتعويض بالمعادلة السابقة في $f={\hat {\alpha }}+{\hat {\beta }}x,$ يؤدي ذلك الي: ${\frac {f-{\bar {y}}}{s_{y}}}=r_{xy}{\frac {x-{\bar {x}}}{s_{x}}}$

و هذا يدل علي الدور الذي يقوم به r_xy في خط الانحدار لنقط البيانات. وفي بعض الأحيان يكون من المفيد حساب r_xy من البيانات بشكل مستقل باستخدام المعادلة التالية:

$r_{xy}={\frac {{\overline {xy}}-{\bar {x}}{\bar {y}}}{\sqrt {({\overline {x^{2}}}-{\bar {x}}^{2})({\overline {y^{2}}}-{\bar {y}}^{2})}}}$

معامل التحديد (R تربيع) يساوي $r_{xy}^{2}$ عندما يكون النموذج خطي وبه متغير مستقل واحد. انظر نموذج معامل الارتباط لتفاصيل أكثر

انحدار خطي بدون جزء التقاطع

في بعض الأحيان، يعتبر الناس نموذج الانحدار الخطي البسيط دون جزء التقاطع y = βx في مثل هذه الحالة، تقدير OLS لايجاد β يبسط ل ${\hat {\beta }}={\frac {\sum _{i=1}^{n}{x_{i}y_{i}}}{\sum _{i=1}^{n}{x_{i}^{2}}}}={\frac {\overline {xy}}{\overline {x^{2}}}}$

ويصبح معامل ارتباط العينة: $r_{xy}={\frac {\overline {xy}}{\sqrt {({\overline {x^{2}}})({\overline {y^{2}}})}}}$

خصائص عددية

1. الخط يمر عبر نقطة مركز الكتلة (x, y)
2. مجموع المتبقيات يساوي صفر إذا وجد ثابت في النموذج: $\textstyle \sum _{i=1}^{n}{\hat {\varepsilon }}_{i}=0.$
3. التركيبة الخطية للمتبقيات، في حالة المعاملات هي قيم x، تساوي صفر: $\textstyle \sum _{i=1}^{n}x_{i}{\hat {\varepsilon }}_{i}=0.$

خصائص ايجاد نموذج

وصف الخصائص الإحصائية للمقدرات من الانحدار الخطي البسيط يتطلب استخدام نموذج احصائي. التالي يعتمد علي افتراض صحة النموذج في حالة أن التقديرات مثالية. ومن الممكن أيضا لحساب الخصائص تحت قيود افتراضات أخرى، مثل عدم التجانس، ولكن يتم مناقشة ذلك في أماكن أخرى.

عدم التحيز

حساب ${\hat {\alpha }}$ و ${\hat {\beta }}$ هي منحازة وهذا يتطلب أن نفسر المقدرات كمتغيرات عشوائية وعلينا أن نفترض أن لكل قيمة ل x القيمة المقابلة لها في y تنتج كنتيجة متوسطة α + βx بالإضافة الي قيمة متغير عشوائي اضافي ε يسمي الخطأ. هذا الخطأ يجب أن يساوي صفر عند حساب المتوسط لكل قيمة ل x وتحت هذا التفسير، تقدير المربعات الصغيرة ${\hat {\alpha }}$ و ${\hat {\beta }}$ سوف يكونوا متغيرات عشوائية وسوف تحسب القيم الحقيقية ل α و β بدون تحيز.

فترات التأكيد

المعادلات المعطاة في الجزء السابق تمكننا من حساب تقديرات النقط ل α و β وهم معاملات خط الانحدار لمجموعة معينة من البيانات. ومع ذلك، هذه المعادلات لا تخبرنا مدي الدقة في التقديرات أي كم المقدرات ${\hat {\alpha }}$ و ${\hat {\beta }}$ تختلف من نموذج لاخر لحجم العينة المحدد. لذا وضع ما يسمي فترات التأكيد لتعطي مجموعة معقولة من القيم التي يمكن تقديرها إذا كررت التجربة عدد هائل من المرات. الطريقة التقليدية لحساب فترات التأكيد لمعاملات الانحدار الخطي تعتمد علي فرض الثبات الذي له ما يبرره إذا ما:

1. الخطأ في الانحدار كان متوزع طبيعي (ما يسمي افتراض الانحدار الكلاسيكي)
2. عدد الملاحظات n كان كبير بشكل كافي في حالة المقدرات كانت موزعة تقريبا بشكل طبيعي

هذا ما يبرر الحالة الأخيرة من نظرية حدود المركز

افتراض الوضع الطبيعي

في ظل الافتراض الأول أعلاه، الذي من طبيعته وجود خطأ، تقدير معامل الميل سوف يوزع بشكل طبيعي بمتوسط β وتباين $\sigma ^{2}/\sum (x_{i}-{\bar {x}})^{2},$ حيث σ² هو الفرق في الخطأ (انظر البراهين التي تنطوي علي المربعات الصغري). في نفس الوقت، مجموع مربع المتبقيات Q يوزع بالتناسب مع χ² بعدد درجات حرية n-2 وبشكل مستقل عن ${\hat {\beta }}.$ وهذا يسمح لنا بعمل احصائية t. $t={\frac {{\hat {\beta }}-\beta }{s_{\hat {\beta }}}}\ \sim \ t_{n-2},$

حيث

$s_{\hat {\beta }}={\sqrt {\frac {{\tfrac {1}{n-2}}\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}^{\,2}}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}}$

هو الخطأ المعياري للمقدر احصائية t لديها توزيع t للطلاب بعدد n-2 درجة حرية وباستخدامها نستطيع تكوين فترة تأكيد ل β:

$\beta \in \left[{\hat {\beta }}-s_{\hat {\beta }}t_{n-2}^{*},\ {\hat {\beta }}+s_{\hat {\beta }}t_{n-2}^{*}\right],$

في مستوي التأكيد (1−γ) حيث $t_{n-2}^{*}$ هي (1−γ/2)-th من توزيع t_n−2 على سبيل المثال، إذا γ = 0.05 ثم مستوي التأكيد 95% وبالمثل، فترة التأكيد لمعامل الاعتراض α يعطي ب

$\alpha \in \left[{\hat {\alpha }}-s_{\hat {\alpha }}t_{n-2}^{*},\ {\hat {\alpha }}+s_{\hat {\alpha }}t_{n-2}^{*}\right],$

في مستوي التأكيد (1−γ) حيث

$s_{\hat {\alpha }}=s_{\hat {\beta }}{\sqrt {{\tfrac {1}{n}}\textstyle \sum _{i=1}^{n}x_{i}^{2}}}={\sqrt {{\tfrac {1}{n(n-2)}}\left(\textstyle \sum _{j=1}^{n}{\hat {\varepsilon }}_{j}^{\,2}\right){\frac {\sum _{i=1}^{n}x_{i}^{2}}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}}}$

انحدار بفترة تأكيد 95%.

فترة التأكيد ل α وβ تعطينا الفكرة الرئيسية حيث معاملات الانحدار من الأرجح أن تكون. على سبيل المثال، في قانون Okun الانحدار ظاهر في بداية المقال النقط المقدرة هي ${\hat {\alpha }}=0.859,\qquad {\hat {\beta }}=-1.817.$

و فترة التأكيد لهذه المقدرات 95%: $\alpha \in \left[0.76,0.96\right],\qquad \beta \in \left[-2.06,-1.58\right].$

من أجل تمثيل هذه المعلومات بيانيا في شكل فترات تأكيد ول خط الانحدار فعلي الشخص أن يمضي بحذر وحساب التوزيع المشترك للمقدرات. ويمكن أن تظهر أنه في فترة التأكيد (1−γ) رابطة التأكيد تأخذ شكل قطع زائد يعطي بالمعادلة:

${\hat {y}}|_{x=\xi }\in \left[{\hat {\alpha }}+{\hat {\beta }}\xi \pm t_{n-2}^{*}{\sqrt {\left({\frac {1}{n-2}}\sum {\hat {\varepsilon }}_{i}^{\,2}\right)\cdot \left({\frac {1}{n}}+{\frac {(\xi -{\bar {x}})^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}\right)}}\right].$

الافتراضات التقريبية

الافتراض الثاني البديل ينص علي أنه عندما يكون عد النقاط كبير بشكل كاف، وقانون الأعداد الكبيرة ونظرية حدود المركز قابلين للتطبيق، ومن ثم توزيع المقدرات أمر طبيعي تقريبا. تحت هذا الافتراض جميع الصيغ المشتقة في القسم السابق لا تزال سارية المفعول، مع استثناء وحيد وهو أن t*_n−2 لتوزيع t من الطلاب يتم استبداله ب q* من التوزيع الطبيعي القياسي. أحيانا الكسر 1/n−2 يتم استبداله ب 1/n في حالة n تكون كبيرة ومثل هذا التغير لا يغير النتائج بشكل ملحوظ.

مثال عددي

هذا المثال يتعلق بمجموعة بيانات من المربعات الصغري العادية. هذه المجموعة تعطي متوسط كتل السيدات كدالة في طولهم في عينة من النساء الأمريكان في عمر 39-30 . وعلى الرغم أن OLS تقول أنه من الأكثر ملائمة عمل انحدار من الدرجة الثانية لهذه البيانات لكن الانحدار الخطي البسيط يمكن تطبيقه هنا بدلا من ذلك.

xi	1.47	1.50	1.52	1.55	1.57	1.60	1.63	1.65	1.68	1.70	1.73	1.75	1.78	1.80	1.83	Height (m)
yi	52.21	53.12	54.48	55.84	57.20	58.57	59.93	61.29	63.11	64.47	66.28	68.10	69.92	72.19	74.46	Mass (kg)

يوجد عدد النقاط (n=15) في هذه البيانات ويتم بدأ الحسابات باليد بحساب المجاميع الخمسة التالية:

${\begin{aligned}&S_{x}=\sum x_{i}=24.76,\quad S_{y}=\sum y_{i}=931.17\\&S_{xx}=\sum x_{i}^{2}=41.0532,\quad S_{xy}=\sum x_{i}y_{i}=1548.2453,\quad S_{yy}=\sum y_{i}^{2}=58498.5439\end{aligned}}$

هذه الكميات تستخدم لحساب معاملات الانحدار وأخطائهم القياسية

${\begin{aligned}{\hat {\beta }}&={\frac {nS_{xy}-S_{x}S_{y}}{nS_{xx}-S_{x}^{2}}}=61.272\\{\hat {\alpha }}&={\tfrac {1}{n}}S_{y}-{\hat {\beta }}{\tfrac {1}{n}}S_{x}=-39.062\\s_{\varepsilon }^{2}&={\tfrac {1}{n(n-2)}}\left(nS_{yy}-S_{y}^{2}-{\hat {\beta }}^{2}(nS_{xx}-S_{x}^{2})\right)=0.5762\\s_{\beta }^{2}&={\frac {ns_{\varepsilon }^{2}}{nS_{xx}-S_{x}^{2}}}=3.1539\\s_{\alpha }^{2}&=s_{\beta }^{2}{\tfrac {1}{n}}S_{xx}=8.63185\end{aligned}}$

0.975 من توزيع t للطلاب ب 13 درجة حرية يكون t^*₁₃=2.1604 وبالتالي 95% فترة تأكيد ل α and β تكون:

${\begin{aligned}&\alpha \in [\,{\hat {\alpha }}\mp t_{13}^{*}s_{\alpha }\,]=[\,{-45.4},\ {-32.7}\,]\\&\beta \in [\,{\hat {\beta }}\mp t_{13}^{*}s_{\beta }\,]=[\,57.4,\ 65.1\,]\end{aligned}}$

و يمكن أيضا حساب ناتج معامل تصحيح الارتباط كالتالي:

${\hat {r}}={\frac {nS_{xy}-S_{x}S_{y}}{\sqrt {(nS_{xx}-S_{x}^{2})(nS_{yy}-S_{y}^{2})}}}=0.9945$

هذا المثال يوضح أن الحسابات المعقدة لن تتغلب علي استخدام البيانات المعدة بشكل سيئ. الأطوال أعطت بالبوصة وقد تم تحويلها لأقرب سنتيمتر. ولأن معامل التحويل هو 2.54 فهذا تحويل غير صحيح لأن البوصة الأصلية يمكن استردادها بحوالي (x/0.0254) ومن ثم إعادة تحويلها لمتر. إذا فعلت ذلك تصبح النتئج:

${\hat {\beta }}=61.6746,\qquad {\hat {\alpha }}=-39.7468.$

و بالتالي اختلاف صغير في البيانات لديه تأثير حقيقي

الاشتقاق من متغيرات الانحدار الخطي

نحن نبحث عن ${\hat {\alpha }},{\hat {\beta }}$ التي تقلل مجموع مربع الخطأ، ${\underset {{\hat {\alpha }},{\hat {\beta }}}{\mathrm {min} }}\,\mathrm {SSE} \left({\hat {\alpha }},{\hat {\beta }}\right)$ التي تعرف كالتالي $\mathrm {SSE} \left({\hat {\alpha }},{\hat {\beta }}\right)=\sum _{i=1}^{n}\left(y_{i}-{\hat {\alpha }}-{\hat {\beta }}x_{i}\right)^{2}$

لايجاد الأقل نقوم بالاشتقاق الجزئي بالنسبة ل ${\hat {\alpha }}$ و ${\hat {\beta }}$

${\begin{aligned}{\frac {\partial \,\mathrm {SSE} \left({\hat {\alpha }},{\hat {\beta }}\right)}{\partial {\hat {\alpha }}}}=-2\sum _{i=1}^{n}\left(y_{i}-{\hat {\alpha }}-{\hat {\beta }}x_{i}\right)=0\end{aligned}}$

${\begin{aligned}\sum _{i=1}^{n}\left(y_{i}-{\hat {\alpha }}-{\hat {\beta }}x_{i}\right)=0\end{aligned}}$

${\begin{aligned}\sum _{i=1}^{n}y_{i}=\sum _{i=1}^{n}{\hat {\alpha }}+{\hat {\beta }}\sum _{i=1}^{n}x_{i}\end{aligned}}$

بضرب الطرفين في ${\frac {1}{n}}$

${\begin{aligned}{\frac {1}{n}}\sum _{i=1}^{n}y_{i}={\hat {\alpha }}{\frac {1}{n}}\sum _{i=1}^{n}1+{\hat {\beta }}{\frac {1}{n}}\sum _{i=1}^{n}x_{i}.\end{aligned}}$

نحصل علي:

${\begin{aligned}{\bar {y}}={\hat {\alpha }}+{\hat {\beta }}{\bar {x}}\end{aligned}}$

قب الاشتقاق الجزئي بالنسبة ل ${\hat {\beta }}$ عوض بالنتيجة السابقة ل ${\hat {\alpha }}$

${\begin{aligned}{\underset {{\hat {\alpha }},{\hat {\beta }}}{\mathrm {min} }}\sum _{i=1}^{n}\left(y_{i}-\left({\bar {y}}-{\hat {\beta }}{\bar {x}}\right)-{\hat {\beta }}x_{i}\right)^{2}\end{aligned}}$

${\begin{aligned}{\underset {{\hat {\alpha }},{\hat {\beta }}}{\mathrm {min} }}\sum _{i=1}^{n}\left[\left(y_{i}-{\bar {y}}\right)-{\hat {\beta }}\left(x_{i}-{\bar {x}}\right)\right]^{2}\end{aligned}}$

الآن، اشتق جزئيا بالنسبة ل ${\hat {\beta }}$:

${\begin{aligned}{\frac {\partial \,\mathrm {SSE} \left({\hat {\alpha }},{\hat {\beta }}\right)}{\partial {\hat {\beta }}}}=-2\sum _{i=1}^{n}\left[\left(y_{i}-{\bar {y}}\right)-{\hat {\beta }}\left(x_{i}-{\bar {x}}\right)\right]\left(x_{i}-{\bar {x}}\right)=0\end{aligned}}$

${\begin{aligned}\sum _{i=1}^{n}\left(y_{i}-{\bar {y}}\right)\left(x_{i}-{\bar {x}}\right)-{\hat {\beta }}\sum _{i=1}^{n}\left(x_{i}-{\bar {x}}\right)^{2}=0\end{aligned}}$

${\begin{aligned}{\hat {\beta }}={\frac {}{}}{\frac {\sum _{i=1}^{n}\left(y_{i}-{\bar {y}}\right)\left(x_{i}-{\bar {x}}\right)}{\sum _{i=1}^{n}\left(x_{i}-{\bar {x}}\right)^{2}}}={\frac {Cov\left(x,y\right)}{Var\left(x\right)}}\end{aligned}}$

و في النهاية عوض ب ${\hat {\beta }}$ لتحديد ${\hat {\alpha }}$

${\begin{aligned}{\hat {\alpha }}={\bar {y}}-{\hat {\beta }}{\bar {x}}\end{aligned}}$