class: inverse, center, middle ## Tema 2 <html><div style='float:left'></div><hr color='#EB811B' size=1px width=796px></html> ### Regresión lineal simple: geometría ###### (actualizadas el 07-07-2023) --- class: middle ### Tema 2. Regresión lineal simple: geometría 2.1 El modelo de regresión lineal simple <br> 2.2 Estimación de los coeficientes por MCO <br> 2.3 Interpretación de los coeficientes <br> 2.4 Propiedades descriptivas del modelo de regresión <br> 2.5 Medidas de bondad de ajuste: coeficiente de determinación <br> <html><div style='float:left'></div><hr color='#EB811B' size=1px width=796px></html> **Bibliografía** - Ezequiel Uriel (2013): Capítulo 2 (excepto 2.5) - Wooldridge (2015): Capítulo 2 (2.1 a 2.3) - Stock y Watson (2012): Capítulo 4 (4.1 a 4.3) --- class: inverse, center, middle ### 2.1 El modelo de regresión lineal simple <html><div style='float:left'></div><hr color='#EB811B' size=1px width=796px></html> #### De forma abreviada MRLS --- - La Econometría se ocupa de formular relaciones entre variables económicas, **cuantificarlas** y valorar los resultados obtenidos (AFG). - Un análisis econométrico empírico suele comenzar con la formulación de una pregunta. Por ejemplo: **¿Cómo afectan las horas de estudio a la nota obtenida en un examen?** - Supongamos que nos interesa analizar la variable `\(y\)`. Pensamos que `\(y\)` está relacionada con la variable `\(x\)` ; por lo tanto, **trataremos de analizar y cuantificar la relación entre `\(x\)` e `\(y\)`**. ¿Cómo? - Recogemos datos de `\(x\)` e `\(y\)`. Aquí los tenemos ... **¿y ahora qué?** <img src="data:image/png;base64,#../imagenes/tema_02_img_01a.png" width="95%" style="display: block; margin: auto;" /> --- ##### Definiendo el MRLS - Vamos a utilizar el MRLS para analizar y cuantificar la relación entre `\(x\)` e `\(y\)`. - El MRLS parte de suponer que una variable `\((y)\)` depende de otra `\((x)\)`: `\(y = f(x)\)` - ¿Qué forma tiene esa relación? El MRLS supone que la **relación entre `\(x\)` e `\(y\)` es lineal**: `\(y = \beta_{1} + \beta_{2} x\)` - El anterior modelo es **determinista**. Sin embargo las relaciones económicas no son deterministas, siempre hay un cierto grado de incertidumbre o aleatoriedad. - Por lo tanto en el MRLS se introduce una variable o término adicional `\((u)\)` llamado .bg-yellow[perturbación aleatoria], de forma que, tendremos un modelo estocástico: `$$y = \beta_{1} + \beta_{2} x + u$$` --- ##### Terminología .bg-washed-green.b--dark-green.ba.bw2.br3.shadow-5.ph1.mt2[ `\begin{align} y=\beta_1+\beta_2x+u \end{align}` ] - Nos referiremos a la variable `\(y\)` como variable dependiente, variable a explicar, **regresando** , ... - Nos referiremos a la variable `\(x\)` como: variable independiente, variable explicativa, **regresor** , ... - Nos referiremos a la variable `\(u\)` como: término de error, **perturbación** aleatoria, perturbación estocástica, ... - `\(\beta_{1}\)` y `\(\beta_{2}\)` son **parámetros**, que no conocemos, y queremos estimar <br> ##### principal objetivo El objetivo primordial del análisis de regresión, es estimar los parámetros poblacionales ( `\(\beta\)` ) partiendo de una muestra dada de datos. --- ##### Interpretación del MRLS - El MRLS supone que cada observación de `\(y\)` es explicado por dos variables: `\(x\)` y la perturbación aleatoria ( `\(u\)` ) `$$y = \beta_{1} + \beta_{2} x + u$$` - De forma que podemos pensar que `\(y\)` tiene dos partes: - parte determinista o **explicada por `\(x\)`**: `\(\beta_{1} + \beta_{2} x\)` - parte estocástica o **no explicada por `\(x\)`**: `\(u\)` ##### Objetivo inmediato - Cuantificar la relación entre `\(x\)` e `\(y\)`; es decir, aproximarnos, **estimar** los parámetros `\(\beta_{1}\)` y `\(\beta_{2}\)` . ##### ¿Cómo lo haremos? - Utilizando datos y métodos estadísticos ([análisis de regresión](https://es.wikipedia.org/wiki/An%C3%A1lisis_de_la_regresi%C3%B3n)). --- ##### Interpretación de `\(u\)` - En el MRLS ( `\(y = \beta_{1} + \beta_{2} x + u\)` ), la perturbación aleatoria representa todos los factores/variables (aparte de `\(x\)`) que afectan o influyen en la variable `\(y\)`. - Por ejemplo, en el modelo: `\(salario = \beta_{1} + \beta_{2} educacion + u\)` - ¿Qué variables pueden estar detrás de `\(u\)` en este ejemplo? - Aún así imagine que incluimos en el modelo todas esas variables ¿tendría sentido no incluir `\(u\)` en nuestro modelo? ##### la perturbación .... - La variable ( `\(u_{i}\)` ), a la que llamamos perturbación aleatoria aproxima: ‐ Variables no incluidas en el modelo ‐ errores de medida ‐ aleatoriedad intrínseca en todo fenómeno <hr class="linea-black"> - "No hay modelos correctos, hay modelos útiles". La [frase original](https://en.wikipedia.org/wiki/All_models_are_wrong) es de G. Box --- ##### Interpretación de los parámetros - El modelo `\(y = \beta_{1} + \beta_{2} x + u\)` define una relación lineal entre `\(x\)` e `\(y\)` - `\(\beta_{1}\)` gráficamente es la **ordenada en el origen** - `\(\beta_{2}\)` **gráficamente** es la **pendiente** - `\(\beta_{2}\)` matemáticamente es la **derivada parcial** de `\(y\)` respecto de `\(x\)` - Pero, los parámetros no nos interesan, generalmente, por su interpretación gráfica o matemática, sino por su **interpretación económica**: - ceteris paribus (si el resto de factores no cambian) `\(\beta_{2}\)` representa el **efecto marginal** de `\(x\)` sobre `\(y\)` - al ser el modelo lineal implica que el **efecto marginal de `\(x\)` es constante** (e igual a `\(\beta_{2}\)` ): si `\(x\)` aumentase en 1 unidad, `\(y\)` aumentaría en `\(\beta_{2}\)` unidades. <br> <hr class="linea-black"> - Por ejemplo: `\(nota = 0.5 + 3 horas + u\)` --- ##### Por si acaso... otra vez lo mismo - Supongamos que conocemos los parámetros (en la realidad habrá que estimarlos): `\(nota = 0.5 + 3 horas + u\)` <img src="data:image/png;base64,#../imagenes/tema_02_img_02.png" width="95%" style="display: block; margin: auto;" /> --- ##### Modelo Teórico (hipótetizando...o racionalizando la procedencia de los datos) - Supongamos (otra vez) que conocemos los parámetros: `$$nota = 0.5 + 3 horas + u$$` <br> <img src="data:image/png;base64,#../imagenes/tema_02_img_03a.png" width="95%" style="display: block; margin: auto;" /> --- ##### En la realidad ... - En la realidad sólo observaremos `\(y\)` y `\(x\)`. No observaremos por separado sus “dos componentes hipotetizados”, no observaremos ni "la nota que se merece" ni la perturbación ( `\(u\)` ). - Gráficamente ... los datos reales no estarán perfectamente alineados <img src="data:image/png;base64,#../imagenes/tema_02_img_04a.png" width="41%" style="display: block; margin: auto;" /> ##### ¿Cómo estimar los parámetros? - ¿Cómo hallar/recuperar/**estimar** los valores de `\(\beta_{1}\)` y `\(\beta_{2}\)`? Podemos pensar que los datos realmente están generados por el modelo `\(y_{i} = \beta_{1} + \beta_{2} x_{i} + u_{i}\)` , y pensar que `\(y\)` es explicado fundamentalmente por `\(x\)`, mientras que el componente aleatorio ( `\(u\)` ) es de menor importancia. --- class: inverse, center, middle ## 2.2 Estimación de los coeficientes por MCO <html><div style='float:left'></div><hr color='#EB811B' size=1px width=796px></html> #### MCO: mínimos cuadrados ordinarios --- ##### Estimando los `\(\beta\)` .... ¡a ojo! - Como una primera aproximación se podría trazar una recta que **pasase lo más cerca posible** de las observaciones.... pero no es un criterio muy científico <img src="data:image/png;base64,#../imagenes/tema_02_img_05.png" width="50%" style="display: block; margin: auto;" /> ##### ¿Qué recta elegimos? - **¿Qué recta elegimos?** En realidad me estoy preguntando cuales son los “mejores” valores para los parámetros `\(\beta_{1}\)` y `\(\beta_{2}\)` - Parece lógico elegir la recta que esté más próxima a los datos. ¿Más próxima? - **Hay que definir un criterio** --- ##### ¿Cómo elegimos la recta? - En realidad ¿cómo estimamos `\(\beta_{1}\)` y `\(\beta_{2}\)` ? - En abstracto lo tenemos claro: elegiremos como estimaciones de `\(\beta\)` aquellos valores que seleccionen la recta que se aproxime más a los datos observados; es decir, **la que menos se equivoque**. - De momento no vamos a estimar sino que vamos a elegir una recta que suponemos la más próxima. A esta recta más próxima a los datos la representamos como: `\(\hat{y} = \hat{\beta_{1}} + \hat{\beta_{2}} x\)` ##### ahora tenemos 2 modelos - Fijaros que ahora tenemos 2 ecuaciones, tenemos 2 "modelos": - **Modelo teórico**: `\(y = \beta_{1} + \beta_{2} x + u\)` - **Modelo estimado**: `\(\hat{y} = \hat{\beta_{1}} + \hat{\beta_{2}} x\)` --- ##### Ahora tenemos más elementos - El **modelo estimado** (o recta de regresión): `\(\hat{y} = \hat{\beta_{1}} + \hat{\beta_{2}} x\)` - `\(\hat{y}\)` : la `\(y\)`**-estimada** - `\(\hat{\beta_{1}}\)` y `\(\hat{\beta_{2}}\)`: los "**beta-estimados**" <br> ##### ... y va a aparecer una tercera "ecuación" - Definimos `\(\hat{u} = y - \hat{y}\)` y lo llamamos **residuo**. <br> ##### Las 3 "ecuaciones" - **Modelo teórico**: `\(y_{i} = \beta_{1} + \beta_{2} x_{i} + u_{i}\)` - **Modelo estimado**: `\(\hat{y_{i}} = \hat{\beta_{1}} + \hat{\beta_{2}} x_{i}\)` - **Residuos**: `\(\hat{u_{i}} = y_{i} - \hat{y_{i}}\)` --- ##### Hay que entenderlo <img src="data:image/png;base64,#../imagenes/tema_02_img_06.png" width="105%" style="display: block; margin: auto;" /> <br> ##### Hay que “reconocer” cada uno de los elementos de nuestro esquema - **Modelo teórico** versus **modelo estimado** ¿Cuál es observable? ¿Cuándo? - **Y-real** ( `\(y\)`) vs. **Y-estimada** ( `\(\hat{y}\)` ) ¿Cómo se interpretan? ¿Son observables? - **Perturbación** ( `\(u\)` ) vs. **residuo** ( `\(\hat{u}\)` ) ¿Qué son? ¿son observables? - **Parámetros** ( `\(\beta\)` ) vs **estimaciones/estimadores** ( `\(\hat{\beta}\)` ) --- ##### Otra vez... esto es básico para entender la materia - Para cada observación (o individuo i) hay un valor predicho por el modelo estimado ( `\(\hat{y_{i}}\)`) y un error de estimación ( `\(\hat{u_{i}}\)` ). - **No confundir** datos reales `\(\big(x_{i} , y_{i} \big)\)` con datos predichos `\(\big( \hat{y_{i}}\big)\)` - **No confundir** perturbaciones ( `\(u_{i}\)` ) con residuos ( `\(\hat{u_{i}}\)` ). <br> ##### Ok, pero .... - Aún no hemos dicho cómo vamos a obtener el **modelo estimado**, cómo vamos a obtener estimaciones de `\(\beta_{1}\)` y `\(\beta_{2}\)` - Sí, sabemos que tenemos que elegirlos/obtenerlos de forma que la recta estimada se equivoque lo menos posible, que pase **lo más cerca posible** de los datos reales - Vamos a ello --- ##### ¿Cómo estimamos los parámetros del modelo teórico? - ¿Cómo obtenemos los `\(\hat{\beta}\)` ? Es decir, ¿cómo obtenemos el modelo estimado? - Una vez que hemos definido los residuos ( `\(\hat{u}\)` ) ya podemos establecer un criterio: nuestra recta-estimada será aquella que haga lo más pequeños posibles las equivocaciones o residuos. - ¿Por qué el siguiente criterio no es válido? `$$Min \sum_{i=1}^{N}\hat{u}_{i} = Min \; ( \hat{u}_{1} + \hat{u}_{2} + \hat{u}_{3} + .... \hat{u}_{N} )$$` - El criterio que vamos a utilizar consistirá en **Minimizar** la **suma de los residuos al cuadrado** (MCO): `$$Min \sum_{i=1}^{N}\hat{u}_{i}^{2} = Min \; ( \hat{u}_{1}^{2} + \hat{u}_{2}^{2} + \hat{u}_{3}^{2} + .... \hat{u}_{N}^{2} )$$` - La suma de los cuadrados de los residuos muchas veces se expresa como **SCR** --- ##### Estimación del MRLS con el método MCO (mínimo-cuadrático) - **Criterio MCO**: `\(Min \sum\hat{u}_{i}^{2}\)` - OK, pero como `\(\hat{u_{i}} = y_{i} - \hat{y_{i}}\)` - Y como además `\(\hat{y_{i}} = \hat{\beta_{1}} + \hat{\beta_{2}} x_{i}\)` - Al final tenemos que: `\(\hat{u_{i}} = y_{i} - ( \hat{\beta_{1}} + \hat{\beta_{2}} x_{i}) \; = \; y_{i} - \hat{\beta_{1}} - \hat{\beta_{2}} x_{i}\)` <br> - Con lo que al final el criterio MCO puede expresarse como: `$$Min \sum_{i=1}^{N} \; (y_{i} - \hat{\beta_{1}} - \hat{\beta_{2}} x_{i})^{2}$$` - Para obtener el mínimo de una expresión hemos de igualar la primera derivada a cero - ¿Sobre que variables tenemos que derivar la expresión anterior? <br> --- ##### Derivando para obtener el mínimo de SCR Derivamos `\(\sum_ \; (y_{i} - \hat{\beta_{1}} - \hat{\beta_{2}} x_{i})^{2}\)` respecto a `\(\hat{\beta_{1}}\)` y `\(\hat{\beta_{2}}\)` ##### las derivadas quedan como `$$\frac{\partial SCR}{\partial \hat{\beta_{1}}} = -2 \sum \; (y_{i} - \hat{\beta_{1}} - \hat{\beta_{2}} x_{i})$$` `$$\frac{\partial SCR}{\partial \hat{\beta_{2}}} = -2 \sum \; (y_{i} - \hat{\beta_{1}} - \hat{\beta_{2}} x_{i}) x_{i}$$` ##### Igualamos las derivadas a cero - `\(\sum \; (y_{i} - \hat{\beta_{1}} - \hat{\beta_{2}} x_{i}) \; = \; 0\)` - `\(\sum \; (y_{i} - \hat{\beta_{1}} - \hat{\beta_{2}} x_{i}) x_{i} \; = \; 0\)` <br> - Queda arreglar (un poco) para obtener las **ecuaciones normales** --- ##### las ecuaciones normales - `\(\sum y_{i} = N \hat{\beta_{1}} + \sum \hat{\beta_{2}} x_{i}\)` - `\(\sum y_{i} x_{i} = \hat{\beta_{1}} \sum x_{i} + \hat{\beta_{2}} \sum x_{i}^{2}\)` <br> ##### Resolvemos el sistema de ecuaciones normales - Despejando `\(\hat{\beta_{1}}\)` de la primera ecuación, obtenemos: `\(\hat{\beta_{1}} = \overline{y} - \hat{\beta_{2}} \; \overline{x}\)` - Sustituyendo `\(\hat{\beta_{1}}\)` en la segunda ecuación normal, obtenemos: `$$\hat{\beta_{2}} = \dfrac{\sum (x_i-\overline{x})(y_i-\overline{y})}{\sum (x_i-\overline{x})^2 } \; = \; \frac{Cov(x, y)}{Var(x)}$$` <br> - Como veis, hemos obtenido, finalmente, **los estimadores MCO**, y ... podremos obtener estimaciones de los parámetros del modelo a partir de estadísticos básicos de las variables involucradas: medias, varianzas y covarianzas. --- ##### Estimadores versus estimaciones - Los estimadores MCO: `$$\hat{\beta_{1}} = \overline{y} - \hat{\beta_{2}} \; \overline{x}$$` <br> `$$\hat{\beta_{2}} = \dfrac{\sum (x_i-\overline{x})(y_i-\overline{y})}{\sum (x_i-\overline{x})^2 } \; = \; \frac{Cov(x, y)}{Var(x)}$$` <br> - Cuando (con una muestra de datos) obtengamos unos valores concretos para `\(\hat{\beta_{1}}\)` y `\(\hat{\beta_{2}}\)` , entonces tendremos **estimaciones MCO**. --- ##### Ejemplo de estimación (a mano!!) <img src="data:image/png;base64,#../imagenes/tema_02_img_07.png" width="95%" style="display: block; margin: auto;" /> - ¿podéis obtener los estimadores? - ¿y las estimaciones? - ¿podéis obtener la `\(\hat{y_{i}}\)`? - ¿y los residuos ( `\(\hat{u_{i}}\)` )? ##### **Claro que podemos!!!!!** --- ##### Claro que podemos!!!!! - El modelo o recta estimada es: `\(\hat{y_{i}} = 15 - 1.8 x_{i}\)` - Gráficamente: <img src="data:image/png;base64,#../imagenes/tema_02_img_08.png" width="95%" style="display: block; margin: auto;" /> --- ##### Obtenemos los valores de `\(\hat{y_{i}}\)` y los residuos ( `\(\hat{u_{i}}\)` ) - `\(\hat{y_{i}} = 15 - 1.8 x_{i}\)` - Los valores de `\(\hat{y_{i}}\)` y los residuos ( `\(\hat{u_{i}}\)` ) <img src="data:image/png;base64,#../imagenes/tema_02_img_09.png" width="95%" style="display: block; margin: auto;" /> --- ##### Estimamos el mismo modelo, **con los mismos datos**, pero ahora con Gretl <img src="data:image/png;base64,#../imagenes/tema_02_img_10.png" width="95%" style="display: block; margin: auto;" /> <br><br> - ¿Recordáis cómo se interpretaban las estimaciones? Claro!! --- ##### PRÁCTICA: datos_bolmad_95 <img src="data:image/png;base64,#../imagenes/tema_02_img_11.png" width="75%" style="display: block; margin: auto;" /> <br> - Interpreta las estimaciones MCO de los parámetros --- ##### seguimos con datos_bolmad_95 <img src="data:image/png;base64,#../imagenes/tema_02_img_12.png" width="75%" style="display: block; margin: auto;" /> <br> - Calcula la y-estimada ( `\(\hat{y_{i}}\)` ) y el residuo ( `\(\hat{u_{i}}\)` ) para Bankinter. --- class: inverse, center, middle ## 2.3 Interpretación de los coeficientes <html><div style='float:left'></div><hr color='#EB811B' size=1px width=796px></html> #### Hay que ser consciente de la diferencia conceptual entre parámetros y estimadores/estimaciones --- ##### los parámetros ( `\(\beta\)` ) En el **Modelo teórico**: `\(y = \beta_{1} + \beta_{2} x + u\)` - `\(\beta_{1}\)` es el término independiente. - Gráficamente sería la **ordenada en el origen**; es decir sería el valor de `\(y\)` si el resto de variables ( `\(x\)` , `\(u\)`) fuesen cero. - Generalmente **no tiene** una interpretación con sentido económico o teórico. - `\(\beta_{2}\)` es el parámetro que acompaña a la variable `\(x\)`. - Gráficamente es la **pendiente**. - Matemáticamente es la derivada parcial de `\(y\)` respecto de `\(x\)` - **Económicamente** representa, o es, el **efecto marginal** de `\(x\)` sobre `\(y\)`; es decir, indica cuantas unidades aumentaría `\(y\)` si, ceteris paribus, `\(x\)` aumentase en 1 unidad. ##### ¿y las estimaciones ( `\(\hat{\beta}\)` )? En el **Modelo estimado**: : `\(\hat{y_{i}} = \hat{\beta_{1}} + \hat{\beta_{2}} x_{i}\)` --- ##### ejemplo para interpretar los `\(\hat{\beta}\)` **Modelo:** `\(precio = \beta_{1} + \beta_{2} superficie + u\)` <br> <img src="data:image/png;base64,#../imagenes/tema_02_img_13.png" width="55%" style="display: block; margin: auto;" /> - Modelo estimado: `\(\hat{precio} = -135 + 3500 \; superficie\)` - la superficie (variable `\(x\)`) está medida en metros cuadrados - el precio está medido en euros --- ##### otro ejemplo para interpretar los `\(\hat{\beta}\)` <br> <img src="data:image/png;base64,#../imagenes/tema_02_img_14.png" width="75%" height="60%" style="display: block; margin: auto;" /> --- ##### otro ejemplo <br> <img src="data:image/png;base64,#../imagenes/tema_02_img_15.png" width="75%" height="60%" style="display: block; margin: auto;" /> --- class: inverse, center, middle ## 2.4 Propiedades descriptivas del modelo de regresión <html><div style='float:left'></div><hr color='#EB811B' size=1px width=796px></html> #### No confundir con las propiedades probabilísticas --- ##### Propiedades descriptivas <br> - Si se estima un MRL (con término independiente) por MCO, entonces, **necesariamente** se cumple lo siguiente: 1) La suma de los residuos MCO es cero: `\(\sum\hat{u}_{i} = 0\)` 2) La recta de regresión MCO pasa por el punto de medias muestrales `\(( \overline{y} , \overline{x})\)` 3) La covarianza muestral entre regresor y residuos MCO es cero: `\(Cov( x , \hat{u} ) = 0\)` 4) La covarianza muestral entre valores ajustados y residuos es cero: `\(Cov( \hat{y} , \hat{u}) = 0\)` <br> - A estas 4 propiedades se las conoce en el contexto del MRL como **propiedades descriptivas** --- ##### 1ª propiedad descriptiva - La suma de los residuos MCO es cero : `$$\sum_{i=1}^{N}\hat{u}_{i} = 0$$` ##### Demostración - En la sección 2.2, cuando estábamos obteniendo los estimadores MCO, concretamente en la página 21, teníamos que : `\(\sum \; (y_{i} - \hat{\beta_{1}} - \hat{\beta_{2}} x_{i}) \; = \; 0\)` - En esta ecuación ya está implícito que `\(\sum\hat{u}_{i} = 0\)` <br> ##### De la 1ª propiedad se sigue que ... - La media muestral de los residuos es nula ( `\(\overline{\hat{u}} = 0\)` ) - `\(\overline{y} = \overline{\hat{y}}\)` --- ##### 2ª propiedad descriptiva La recta de regresión MCO pasa por el punto de medias muestrales `\(( \overline{y} , \overline{x})\)` ##### Demostración - En la sección 2.2, concretamente en la página 22, obtuvimos las ecuaciones normales. la primera ecuación normal es: `$$\sum y_{i} = N \hat{\beta_{1}} + \sum \hat{\beta_{2}} x_{i}$$` - Dividiendo la 1ª ecuación normal por N queda : `\(\overline{y} = \hat{\beta_{1}} + \hat{\beta_{2}} \, \overline{x}\)` <br><br> ##### ¿entendéis que quiere decir la 2ª propiedad? --- ##### 3ª propiedad descriptiva - La covarianza muestral entre regresor y residuos MCO es cero: `\(Cov( x , \hat{u} ) = 0\)` - como `\(\overline{\hat{u}} = 0\)`, el hecho de que `\(Cov( x , \hat{u} ) = 0\)` , es equivalente a : `\(\sum{ x_{i} \, \hat{u_{i}}} = 0\)` ##### Demostración - En la sección 2.2, cuando estábamos obteniendo los estimadores MCO, concretamente en la página 21 cuando igualábamos a cero las primeras derivadas, teníamos que : `\(\sum \; (y_{i} - \hat{\beta_{1}} - \hat{\beta_{2}} x_{i}) x_{i} \; = \; 0\)` - Esta ecuación implica que `\(\sum{ \hat{u} \, x} = 0\)` ##### ¿entendéis que quiere decir, que implica, la 3ª propiedad descriptiva? El MRL plantea que `\(y\)` es explicado por los regresores ( `\(x\)` ) y la perturbación ( `\(u\)` ). El modelo consigue explicar una parte del regresando, la `\(\hat{y}\)` pero deja otra parte sin explicar, `\(\hat{u}\)`. La parte de `\(y\)` que no es explicada por `\(x\)` es porque no está relacionada con `\(x\)`; es decir, los residuos no están correlacionados muestralmente con `\(x\)` --- ##### 4ª propiedad descriptiva - La covarianza muestral entre valores ajustados y residuos es cero: `\(Cov( \hat{y} , \hat{u} ) = 0\)` - como `\(\overline{\hat{u}} = 0\)`, el hecho de que `\(Cov( \hat{y} , \hat{u} ) = 0\)` , es equivalente a : `\(\sum{ \hat{y_{i}} \, \hat{u_{i}}} = 0\)` <br> ##### Demostración `$$\sum{ \hat{u_{i}} \, \hat{y_{i}} } = \sum{ \hat{u_{i}} \, (\hat{\beta_{1}} + \hat{\beta_{2}} x_{i})} = \hat{\beta_{1}} \sum{ \hat{u_{i}}} \; + \beta_{2} \sum{\hat{u_{i}} x_{i}} \; = 0 + 0 = 0$$` <br> ##### ¿entendéis que quiere decir, que implica, la 4ª propiedad descriptiva? De la definición de residuo se sigue que `\(y_{i} = \hat{y_{i}} + \hat{u_{i}}\)`; es decir, al estimar un MRL por MCO descomponemos `\(y\)` en dos componentes: esos dos componentes están incorrelados en la muestra. --- class: inverse, center, middle ## 2.5 Medidas de bondad de ajuste: coeficiente de determinación <html><div style='float:left'></div><hr color='#EB811B' size=1px width=796px></html> #### Coeficiente de determinación o `\(R^{2}\)` --- ##### Bondad del ajuste - Podemos pensar que el propósito del análisis de regresión es explicar el comportamiento de la variable dependiente o regresando ( `\(y\)` ). - Una vez estimamos por MCO un MRL, nos interesaría tener una medida que nos informase del grado de ajuste entre el modelo y los datos: un estadístico que nos informe de la bondad del ajuste. ##### Construyendo `\(R^{2}\)`. (Parte explicada vs. No‐explicada) - El modelo estimado no explica o predice perfectamente las observaciones de `\(y\)`, si no que comete errores. Explica una parte ( `\(\hat{y}\)` ) pero deja una parte sin explicar, llamada residuos ( `\(\hat{u}\)` ) - Es decir, tras la estimación, el modelo estimado descompone cada valor de la variable endógena ( `\(y\)` ) en dos partes, la parte explicada por el modelo ( `\(\hat{y}\)` ) y la parte que el modelo no consigue explicar: el residuo ( `\(\hat{u}\)` ). Además, **la parte explicada y la no explicada están incorreladas en la muestra** (4a propiedad descriptiva). --- ##### la varianza de una suma .... - `\(y = \hat{y} + \hat{u}\)` - `\(Var(y) = Var(\hat{y} + \hat{u}) = Var(\hat{y}) + Var(\hat{u}) + 2 \, Cov(\hat{y}, \hat{u})\)` - Como `\(Cov(\hat{y}, \hat{u}) = 0\)` , entonces: `\(Var(y) = Var(\hat{y}) + Var(\hat{u})\)` ##### Definiendo `\(R^{2}\)` `$$R^{2} = \frac{Var(\hat{y})}{Var(y)}$$` - `\(R^{2}\)` se interpreta como el porcentaje (en tanto por uno) de la varianza total de `\(y\)` que es explicada por el modelo. - Para entenderlo, imagina que `\(Var(y) = 100\)` y que `\(Var(\hat{y}) = 70\)`. En ese caso `\(R^{2} = 0.7\)`; lo que indica que el modelo explica el 70% de la varianza de `\(y\)`. - En el ejemplo anterior, si `\(Var(y) = 100\)` y `\(Var(\hat{y}) = 70\)`, entonces la varianza residual ( `\(Var(\hat{u})\)`) tendrá un valor de 30 ; de forma que el `\(R^{2}\)` también se puede calcular como: `\(R^{2} = 1- \frac{Var(\hat{u})}{Var(y)}\)` --- ##### Generalmente en los libros ... - Generalmente las expresiones que parecen en los libros de Econometría para `\(R^{2}\)` emplean, en lugar de las varianzas, los numeradores de las varianzas. - Estos numeradores son: - `\(SCT = \sum{(y_{i} - \overline{y})^{2}}\)` - `\(SCE = \sum{(\hat{y_{i}} - \overline{\hat{y}})^{2}}\)` - `\(SCR = \sum{(\hat{u_{i}} - \overline{\hat{u}})^{2}}\)`. Como resulta que `\(\overline{\hat{u}} = 0\)`, entonces la suma de residuos al cuadrado finalmente queda como: `\(SCR = \sum\hat{u}_{i}^{2}\)` - De forma que, si en lugar de las varianzas, usamos los numeradores de las varianzas: `\(R^{2} = \frac{SCE}{SCT}\)` , o (si usamos la segunda expresión) `\(R^{2} = 1 - \frac{SCR}{SCT}\)` <br> - En cualquier caso la interpretación de `\(R^{2}\)` no cambia. --- ##### Interpretación y propiedades de R2 - `\((R^{2}*100)\)` es el porcentaje de de la variación muestral de `\(y\)` que viene explicada por el modelo; es decir, si `\(R^{2}\)` fuese 0,8, el modelo explicaría el 80% de la varianza de `\(y\)`. - `\(R^{2}\)` mide hasta qué punto el modelo o “recta” de regresión ajusta bien a los datos muestrales. - El coeficiente de determinación `\(R^{2}\)` permite valorar la capacidad explicativa del modelo. - El valor de `\(R^{2}\)` está acotado en [0,1]. - si `\(R^{2} = 1\)` la recta de regresión se ajusta perfectamente a los datos, por lo tanto todos los residuos son cero. **¿Qué tiene que pasar para que `\(R^{2} = 1\)`?** - si `\(R^{2} = 0\)` , o cerca de cero, hay un pobre ajuste: la variación de `\(y\)` está "poco" representada o explicada por la recta de regresión. **¿Qué tiene que pasar para que `\(R^{2} = 0\)`?** - Si el MRL que hemos estimado no tuviese término independiente, entonces `\(R^{2}\)` puede tomar valores negativos --- ##### Más sobre `\(R^{2}\)` - `\(R^{2}\)` es el cuadrado del coeficiente de correlación entre `\(x\)` e `\(y\)`, pero **sólo** en el modelo de regresión lineal simple. - Como queremos modelos con alto poder explicativo, a igualdad de otros factores elegiremos modelos con elevados `\(R^{2}\)`; es decir, `\(R^{2}\)` se puede usar para comparar modelos pero solo si tienen la misma variable endógena. - Un `\(R^{2}\)` bajo no significa que el modelo estimado no proporcione estimaciones fiables de los efectos parciales. - La bondad del ajuste no es la única característica que debemos valorar en una ecuación de regresión - `\(R^{2}\)` no disminuye cuando añadimos variables explicativas, normalmente aumenta (lógico?!) - Por lo tanto, `\(R^{2}\)` no es de utilidad para decidir si incluimos variables. Incluiremos más variables en el modelo si el efecto parcial de esa variable es no nulo (contraste de hipótesis). - `\(R^{2}\)` no varia al hacer cambios de escala u origen en `\(x\)` o `\(y\)`.