Mínimos cuadrados

Calcúlese el error cuadrático cometido en $AX=B$, si $A=\begin{pmatrix}2&1\\1&-2\\3&1\end{pmatrix}$ y $B=\begin{pmatrix}3\\-1\\2\end{pmatrix}$, al sustituir $X$ por $X_0=\begin{pmatrix}1\\-1\end{pmatrix}$.

1. Qué se pide. Por la Definición 5.14 (U p.227), el error cuadrático es la norma de $AX_0-B$: mide «cuánto falla» $X_0$ como solución.

2. Calcular $AX_0$:

   $$AX_0=\begin{pmatrix}2\cdot1+1\cdot(-1)\\1\cdot1+(-2)(-1)\\3\cdot1+1\cdot(-1)\end{pmatrix}=\begin{pmatrix}1\\3\\2\end{pmatrix}.$$
3. Restar $B$: $AX_0-B=(1-3,\ 3+1,\ 2-2)=(-2,4,0)$.
4. Norma: $\sqrt{4+16+0}=\sqrt{20}=2\sqrt5\approx4{,}4721$.

Resultado: error $=2\sqrt5\approx4{,}472$.

Error típico: olvidar la raíz y dar $20$ (eso es $\|AX_0-B\|^2$). Teoría: U §5.4.2, Def. 5.14 y Ej. 5.35, p.227.

Si $A\in\mathcal M_{m\times n}$, se pide decidir si es cierto: A) La solución por mínimos cuadrados de $Ax=b$ es un vector $x_0$ tal que es solución del problema $\min_{x\in\mathbb R^n}\|Ax-b\|$. B) Si $AX=B$ es compatible determinado, la solución por mínimos cuadrados de $AX=B$ es única y es la solución de $AX=B$.

1. A) Cierto. Es literalmente la Definición 5.15 (U p.227): $x_0$ es solución por mínimos cuadrados si $\|Ax_0-b\|\le\|Ax-b\|$ para todo $x$, es decir, si $x_0$ minimiza $\|Ax-b\|$.
2. B) Cierto. Sea $X_0$ la (única) solución de $AX=B$. Su error es $\|AX_0-B\|=\|0\|=0$. Como una norma nunca es negativa, $0\le\|AX-B\|$ para todo $X$: $X_0$ alcanza el mínimo y es solución por mínimos cuadrados.
3. Unicidad. Si $X_1$ fuera otra solución por mínimos cuadrados, su error tendría que ser el mínimo, $0$; luego $AX_1=B$ (la única norma nula es la del vector cero). Como el sistema es compatible determinado, $X_1=X_0$. (Otra vía: compatible determinado ⇒ $\operatorname{rang}A=n$ ⇒ columnas independientes ⇒ solución por mínimos cuadrados única, U p.229.)

Error típico: pensar que la solución por mínimos cuadrados es siempre única (E 5.39). Teoría: U §5.4.2, Def. 5.15 p.227; unicidad p.229.

Justifíquese si son ciertas o no: A) En la práctica, al modelizar problemas reales aparecen sistemas de ecuaciones que son inconsistentes. B) Si $X_0$ es solución por mínimos cuadrados del sistema inconsistente $AX=B$, entonces $AX_0-B=0$. C) A diferencia del polinomio de mínimos cuadrados, la interpolación polinómica pasa exactamente por los puntos $(x_i,y_i)$ dados. D) Si $y=mx+n$ es la recta por mínimos cuadrados asociada a los datos $(x_i,y_i)$, entonces existe $i$ tal que $y_i=mx_i+n$. E) Si $X_1$ y $X_2$ son soluciones por mínimos cuadrados de $AX=B$, entonces $\|AX_1-B\|=\|AX_2-B\|$.

1. A) Cierto. Los datos medidos tienen errores y hay más ecuaciones (observaciones) que incógnitas (parámetros): lo normal es que no haya solución exacta. Es la motivación de U §5.4 (p.225); p. ej. 5 puntos no alineados (E 5.40).
2. B) Falso. Si $AX_0-B=0$, entonces $AX_0=B$ y $X_0$ sería solución exacta, contra «inconsistente». Luego $\|AX_0-B\|>0$ (en E 5.37 vale $\frac2{\sqrt3}$).
3. C) Cierto. El polinomio de interpolación se define imponiendo $p(x_i)=y_i$ en todos los datos (grado $N-1$ con $N$ datos de abscisas distintas); el de mínimos cuadrados, de menor grado, solo minimiza $\sum(p(x_i)-y_i)^2$ y en general no pasa por ninguno. (La razón es la definición de interpolación; la que da E, «no minimiza el error en puntos distintos de los observados», no es el argumento.)

4. D) Falso. Contraejemplo: datos $(0,0),(1,1),(2,0)$. Normales

   $$\begin{pmatrix}5&3\\3&3\end{pmatrix}\binom mn=\binom11$$

   ⇒ $m=0$, $n=\frac13$: la recta $y=\frac13$ no pasa por ninguno de los tres puntos (en la animación de la sección 5, preset «E 5.44 D»).

5. E) Cierto. Ambas minimizan $\|AX-B\|$, y el mínimo es un único número: $\|AX_1-B\|=\|AX_2-B\|$. Más aún,

   $$AX_1=AX_2=\operatorname{Proy}_{\langle\operatorname{Col}A\rangle}B$$

   (U p.229; ejemplo en la sección 3).

Error típico: confundir «la solución $X_0$ puede no ser única» con «el error puede ser distinto»: el error mínimo (y el vector $AX_0$) es siempre único. Teoría: U §5.4, p.225-229.

Si $E$ es un espacio euclídeo, $U\subset E$ es un subespacio de dimensión $m$ y $v\in E$ pero $v\notin U$, se pide estudiar la solución del problema $\min_{u\in U}\|v-u\|^2$.

Idea. Es el Teorema 5.4 de U (tema 5.1) demostrado «a mano». Es la base de todo el tema: con $U=\langle\operatorname{Col}A\rangle$ y $v=b$, el $u_0$ que sale es $Ax_0$.

1. Reformular. Buscamos $u_0\in U$ con $\|v-u_0\|^2\le\|v-u\|^2$ para todo $u\in U$. Minimizar la norma o su cuadrado es lo mismo ($t\mapsto t^2$ crece para $t\ge0$).
2. Coordenadas. Sea $\{u_1,\dots,u_m\}$ una base ortonormal de $U$ (existe por Gram-Schmidt, U p.207). Todo $u\in U$ es $u=\sum x_iu_i$: hay que hallar los $x_i$.
3. Separar la parte de $v$ fuera de $U$. Sea $w=v-\sum_i(v\cdot u_i)u_i$. Entonces $w\cdot u_j=v\cdot u_j-(v\cdot u_j)\cdot1=0$ para cada $j$ (ortonormalidad): $w\in U^\perp$. Además $w\neq0$ porque $v\notin U$.
4. Reescribir: $v-\sum x_iu_i=w+\sum_i(v\cdot u_i-x_i)u_i$. Son sumandos ortogonales dos a dos, y por Pitágoras (U p.203, repetido): $$\Big\|v-\sum x_iu_i\Big\|^2=\|w\|^2+\sum_{i=1}^m(v\cdot u_i-x_i)^2.$$
5. Minimizar. $\|w\|^2$ no depende de los $x_i$ y cada sumando es $\ge0$: el mínimo se alcanza justo cuando todos son $0$, es decir, $x_i=v\cdot u_i$.
6. Conclusión. Existe y es única la solución $u_0=\sum_i(v\cdot u_i)u_i=\operatorname{Proy}_U(v)$ (U p.212), y el valor mínimo es $\|w\|^2=\|v-\operatorname{Proy}_Uv\|^2$.

Error típico: aplicar $\sum(v\cdot u_i)u_i$ con una base que no es ortonormal (con base ortogonal hay que dividir por $\|u_i\|^2$, U (5.2) p.212). Teoría: U §5.1.6, Teor. 5.4 p.213 y (5.2) p.212; el tema 5.1.

Hállese la solución por mínimos cuadrados del sistema del Ejercicio 5.35 y su error cuadrático asociado.

1. ¿Incompatible? Ampliada

   $$\left(\begin{array}{cc|c}2&1&3\\1&-2&-1\\3&1&2\end{array}\right):$$

   $\det=2(-4+1)-1(2+3)+3(1+6)=-6-5+21=10\neq0$. El rango de la ampliada es $3$ y el de $A$, a lo sumo $2$: incompatible. Por eso tiene sentido buscar una solución aproximada.

2. ¿Única? Las columnas $(2,1,3)$ y $(1,-2,1)$ no son proporcionales ⇒ independientes ⇒ $A^tA$ regular y solución por mínimos cuadrados única (U p.229).

3. Ecuaciones normales (productos escalares de columnas):

   $$A^tA=\begin{pmatrix}4+1+9&2-2+3\\3&1+4+1\end{pmatrix}=\begin{pmatrix}14&3\\3&6\end{pmatrix},$$ $$A^tB=\begin{pmatrix}6-1+6\\3+2+2\end{pmatrix}=\begin{pmatrix}11\\7\end{pmatrix}.$$
4. Resolver $14x_1+3x_2=11,\ 3x_1+6x_2=7$. $\det=84-9=75$. Cramer: $x_1=\frac{66-21}{75}=\frac35$, $x_2=\frac{98-33}{75}=\frac{13}{15}$.
5. Error. $AX_0=\left(\frac{31}{15},-\frac{17}{15},\frac83\right)$, $AX_0-B=\left(-\frac{14}{15},-\frac2{15},\frac23\right)$, $$\|AX_0-B\|=\sqrt{\tfrac{196+4+100}{225}}=\sqrt{\tfrac43}=\tfrac2{\sqrt3}=\tfrac{2\sqrt3}3\approx1{,}1547.$$
6. Comprobación (caracterización 2 de U p.229): el residuo $B-AX_0=\left(\frac{14}{15},\frac2{15},-\frac23\right)$ es ortogonal a las columnas: $\frac{28+2-30}{15}=0$ y $\frac{14-4-10}{15}=0$ ✓. Y $1{,}1547<4{,}472$ (error de E 5.35), como debe ser: $X_0=(1,-1)$ era peor.

Resultado: $X_0=\left(\frac35,\frac{13}{15}\right)^t$, error $\frac2{\sqrt3}$.

Error típico: resolver $AX=B$ «quitando una ecuación», o escribir $AA^t$ (es $3\times3$ y singular) en lugar de $A^tA$. Teoría: U §5.4.2, p.228-229.

Utilizando la factorización $QR$ del Ejercicio 5.23 (tema 5.2), se pide calcular la solución por mínimos cuadrados del sistema asociado a $\begin{pmatrix}1&0&1\\0&1&2\\-1&2&1\\0&1&1\end{pmatrix}\begin{pmatrix}x\\y\\z\end{pmatrix}=\begin{pmatrix}0\\1\\1\\1\end{pmatrix}$. (La factorización es la de la matriz $A$ de este sistema.)

Datos (E 5.23 del tema 5.2, Gram-Schmidt de las columnas de esta misma $A$): $Q=\begin{pmatrix}\frac1{\sqrt2}&\frac12&-\frac1{2\sqrt3}\\0&\frac12&\frac{\sqrt3}2\\-\frac1{\sqrt2}&\frac12&-\frac1{2\sqrt3}\\0&\frac12&-\frac1{2\sqrt3}\end{pmatrix}$, $R=\begin{pmatrix}\sqrt2&-\sqrt2&0\\0&2&\frac52\\0&0&\frac{\sqrt3}2\end{pmatrix}$.

1. Incompatible. $\det(A\mid B)=-1\neq0$ (como matriz $4\times4$ la ampliada): rango $4$ frente a $\operatorname{rang}A=3$ ⇒ incompatible. Se busca la solución por mínimos cuadrados.
2. Por qué vale $RX=Q^tB$ (sección 4): $A^tA=R^tR$ y $A^tB=R^tQ^tB$; se cancela $R^t$ (regular). La solución es única (columnas independientes).

3. Calcular $Q^tB$ (cada columna de $Q$ por $B=(0,1,1,1)$): $q_1\cdot B=-\frac1{\sqrt2}$; $q_2\cdot B=\frac12+\frac12+\frac12=\frac32$;

   $$q_3\cdot B=\frac{\sqrt3}2-\frac1{2\sqrt3}-\frac1{2\sqrt3}=\frac{\sqrt3}2-\frac1{\sqrt3}=\frac1{2\sqrt3}=\frac{\sqrt3}6.$$
4. Sistema triangular $RX=Q^tB$: $$\begin{cases}\sqrt2\,x-\sqrt2\,y=-\frac1{\sqrt2}\\[2pt]2y+\frac52z=\frac32\\[2pt]\frac{\sqrt3}2z=\frac{\sqrt3}6\end{cases}$$

5. Sustitución regresiva (de abajo arriba): $z=\frac{\sqrt3/6}{\sqrt3/2}=\frac13$.

   $$2y=\frac32-\frac52\cdot\frac13=\frac32-\frac56=\frac23\Rightarrow y=\frac13.$$ $$\sqrt2(x-y)=-\frac1{\sqrt2}\Rightarrow x-y=-\frac12\Rightarrow x=\frac13-\frac12=-\frac16.$$

6. Comprobación con las normales:

   $$A^tA=\begin{pmatrix}2&-2&0\\-2&6&5\\0&5&7\end{pmatrix},$$

   $A^tB=(-1,4,4)^t$; con $\left(-\frac16,\frac13,\frac13\right)$: $-\frac13-\frac23=-1$ ✓, $\frac13+2+\frac53=4$ ✓, $\frac53+\frac73=4$ ✓. Residuo $B-AX=\left(-\frac16,0,-\frac16,\frac13\right)$, error $\frac1{\sqrt6}\approx0{,}408$.

Resultado: $x=-\frac16,\ y=\frac13,\ z=\frac13$ (coincide con E).

Error típico: invertir $R$ o usar $Q^{-1}$ ($Q$ no es cuadrada). Teoría: U §5.4.2, p.232 (Ej. 5.40, p.232-233); QR en U §5.2.2, p.218.

Hállese la solución del problema de mínimos cuadrados $\begin{cases}x_1+x_2+x_3+x_4=4\\x_1+x_2+x_3+x_4=-1\\x_2+x_4=2\\x_1+x_3=1\end{cases}$ y estúdiese el conjunto obtenido en términos de espacios vectoriales.

1. Incompatible: las dos primeras ecuaciones piden que el mismo número $x_1+x_2+x_3+x_4$ valga $4$ y $-1$. (Rangos: $\operatorname{rang}A=2$, $\operatorname{rang}(A\mid B)=3$.)

2. Matrices.

   $$A=\begin{pmatrix}1&1&1&1\\1&1&1&1\\0&1&0&1\\1&0&1&0\end{pmatrix},$$

   $B=(4,-1,2,1)^t$. Columnas: $C_1=C_3=(1,1,0,1)$, $C_2=C_4=(1,1,1,0)$: dependientes (rango $2$) ⇒ la solución por mínimos cuadrados no es única.

3. Ecuaciones normales (productos escalares de columnas): $C_1\cdot C_1=3$, $C_1\cdot C_2=2$, $C_2\cdot C_2=3$; $C_1\cdot B=4-1+0+1=4$, $C_2\cdot B=4-1+2+0=5$: $$A^tA=\begin{pmatrix}3&2&3&2\\2&3&2&3\\3&2&3&2\\2&3&2&3\end{pmatrix},\ A^tB=\begin{pmatrix}4\\5\\4\\5\end{pmatrix}\ \Longrightarrow\ \begin{cases}3x_1+2x_2+3x_3+2x_4=4\\2x_1+3x_2+2x_3+3x_4=5\end{cases}$$ (las ecuaciones 3.ª y 4.ª repiten la 1.ª y la 2.ª). Hasta aquí E es correcto.
4. Resolver (truco: agrupar). Las incógnitas solo aparecen como $u=x_1+x_3$ y $v=x_2+x_4$: $3u+2v=4,\ 2u+3v=5$. Restando, $u-v=-1$; sumando, $5u+5v=9$. Luego $u=\frac25$, $v=\frac75$.
5. Conjunto de soluciones: $x_1=\frac25-x_3$, $x_2=\frac75-x_4$, con $x_3,x_4$ libres: $$(x_1,x_2,x_3,x_4)=\left(\tfrac25,\tfrac75,0,0\right)+\lambda(-1,0,1,0)+\mu(0,-1,0,1).$$
6. En términos de espacios vectoriales. Es $x_p+\operatorname{Nuc}(A)$ con $x_p=(\frac25,\frac75,0,0)$ y $\operatorname{Nuc}A=\langle(-1,0,1,0),(0,-1,0,1)\rangle$ (dimensión $4-2=2$). Es un plano afín (variedad lineal de dimensión 2) de $\mathbb R^4$ que no es un subespacio: no contiene al $0$ (porque $A^tA\cdot0=0\neq A^tB$).

7. Comprobación. Todas comparten

   $$Ax_0=\left(\frac95,\frac95,\frac75,\frac25\right)=\operatorname{Proy}_{\langle\operatorname{Col}A\rangle}B$$

   y el residuo $B-Ax_0=\left(\frac{11}5,-\frac{14}5,\frac35,\frac35\right)$ es ortogonal a $C_1$ ($\frac{11-14+3}5=0$) y a $C_2$ ($\frac{11-14+3}5=0$) ✓. Error común $\frac{\sqrt{335}}5\approx3{,}661$.

Error típico: contar mal los parámetros o llamar «subespacio» al conjunto de soluciones: es una variedad afín. Teoría: U §5.4.2 p.228-229 y Ej. 5.39 (p.231-232), del mismo tipo.

Se pide calcular la recta que ajusta por mínimos cuadrados los datos $x=1,2,3,4,5$; $\ y=2,\,1{,}5,\,2{,}5,\,1,\,2$.

1. Modelo. Se busca $y=mx+n$. Si pasara por los $5$ puntos: $mx_i+n=y_i$, una fila $(x_i,1)$ por dato: $$\underbrace{\begin{pmatrix}1&1\\2&1\\3&1\\4&1\\5&1\end{pmatrix}}_{A}\begin{pmatrix}m\\n\end{pmatrix}=\underbrace{\begin{pmatrix}2\\1{,}5\\2{,}5\\1\\2\end{pmatrix}}_{B}.$$ Los puntos no están alineados: incompatible. Minimizar $\sum e_i^2$ (U p.233) es minimizar $\|AX-B\|^2$.
2. Normales. Las columnas son independientes (los $x_i$ no son todos iguales) ⇒ solución única. Sumas: $\sum x=15$, $\sum x^2=55$, $\sum y=9$, $\sum xy=2+3+7{,}5+4+10=26{,}5$: $$A^tA=\begin{pmatrix}55&15\\15&5\end{pmatrix},\qquad A^tB=\begin{pmatrix}26{,}5\\9\end{pmatrix}.$$

3. Resolver. $\det=275-225=50$;

   $$m=\frac{5\cdot26{,}5-15\cdot9}{50}=\frac{132{,}5-135}{50}=-\frac1{20};$$ $$n=\frac{55\cdot9-15\cdot26{,}5}{50}=\frac{495-397{,}5}{50}=\frac{39}{20}.$$
4. Recta: $y=-\frac1{20}x+\frac{39}{20}$. Comprobación: la 2.ª normal dice $\sum(y_i-mx_i-n)=0$: $9+\frac{15}{20}-5\cdot\frac{39}{20}=9+0{,}75-9{,}75=0$ ✓. (Con la forma centrada: $\bar x=3$, $\sum(x-3)y=-4-1{,}5+0+1+4=-0{,}5$, $\sum(x-3)^2=10$, $m=-0{,}05$ ✓.)

Resultado: $y=-0{,}05x+1{,}95$.

Error típico: poner $N=1$ en la esquina (es el número de datos, $\sum1$) o intercambiar el orden de las incógnitas entre $A$ y $X$. Teoría: U §5.4.3, Def. 5.16 y Ej. 5.41, p.233-234.

Los datos mensuales del INE del índice general de precios al consumo (IPC) en la Comunidad de Madrid son: nov. 2011: $101{,}120$; dic. 2011: $101{,}512$; ene. 2012: $100{,}423$; feb. 2012: $100{,}567$; mar. 2012: $101{,}119$. Utilizando la línea de mínimos cuadrados asociada, estímese el IPC de julio de 2012 suponiendo que continúe la tendencia.

1. Variable $x$. Numeramos los meses: nov. 2011 $\to x=1$, …, mar. 2012 $\to x=5$. Julio 2012 es $x=9$ (abr. 6, may. 7, jun. 8, jul. 9).

2. Sistema. Mismas $x_i$ que en E 5.40, luego

   $$A^tA=\begin{pmatrix}55&15\\15&5\end{pmatrix}$$ $$A^tB=\begin{pmatrix}\sum x_iy_i\\\sum y_i\end{pmatrix}$$

   con $\sum y_i=504{,}741$ y

   $$\sum x_iy_i=101{,}120+203{,}024+301{,}269+402{,}268+505{,}595=1513{,}276.$$

3. Solución por Cramer ($\det=50$):

   $$m=\frac{5\cdot1513{,}276-15\cdot504{,}741}{50}=\frac{7566{,}38-7571{,}115}{50}=\frac{-4{,}735}{50}=-0{,}0947.$$

4. Atajo (centrar). $\bar x=3$:

   $$\sum(x_i-3)y_i=-2(101{,}120)-101{,}512+0+100{,}567+2(101{,}119)=-0{,}947$$

   y $\sum(x_i-3)^2=10$ ⇒ $m=-0{,}0947$ (mismo valor, sin restar números grandes).

5. $n$ de la 2.ª normal $15m+5n=\sum y_i$: $n=\bar y-3m=100{,}9482+0{,}2841=101{,}2323$.
6. Recta: $y=-0{,}0947x+101{,}2323$. Pronóstico julio 2012: $y(9)=101{,}2323-0{,}8523=100{,}38$.

Resultado: IPC estimado $\approx100{,}38$ (exactos: $m=-\frac{947}{10000}$, $n=\frac{1012323}{10000}$, $y(9)=\frac{5019}{50}$).

Error típico: numerar mal el mes objetivo (julio es $x=9$, no $8$) o restar números grandes con pocos decimales (cancelación): mejor centrar. Teoría: U §5.4.3, p.233 y Ej. 5.43 (pronóstico), p.237.

Los datos observados de la trayectoria de un proyectil son $x=1;\,2{,}5;\,3{,}5;\,4;\,5{,}5$ e $y=5,\,8,\,12,\,6,\,5$. Considerando que la trayectoria es parabólica, estímese mediante mínimos cuadrados dónde toca el suelo.

1. Modelo. $y=ax^2+bx+c$ es lineal en las incógnitas $a,b,c$: cada dato da $a x_i^2+b x_i+c=y_i$, fila $(x_i^2,x_i,1)$: $$\begin{pmatrix}1&1&1\\6{,}25&2{,}5&1\\12{,}25&3{,}5&1\\16&4&1\\30{,}25&5{,}5&1\end{pmatrix}\begin{pmatrix}a\\b\\c\end{pmatrix}=\begin{pmatrix}5\\8\\12\\6\\5\end{pmatrix}.$$ Incompatible (rango $A=3$, ampliada $4$). Cinco abscisas distintas ⇒ columnas independientes ⇒ solución única.

2. Normales (sumas de potencias de $x$):

   $$A^tA=\begin{pmatrix}\sum x^4&\sum x^3&\sum x^2\\\sum x^3&\sum x^2&\sum x\\\sum x^2&\sum x&5\end{pmatrix}=\begin{pmatrix}1361{,}1875&289{,}875&65{,}75\\289{,}875&65{,}75&16{,}5\\65{,}75&16{,}5&5\end{pmatrix},$$ $$A^tB=\begin{pmatrix}449{,}25\\118{,}5\\36\end{pmatrix}.$$
3. Solución (exacta, con Gauss o sympy): $a=-\frac{6694}{7917}\approx-0{,}8455$, $b=\frac{14325}{2639}\approx5{,}4282$, $c=\frac{247}{609}\approx0{,}4056$. Coinciden con E.

4. Dónde toca el suelo: $y=0$: $-0{,}8455x^2+5{,}4282x+0{,}4056=0$,

   $$x=\dfrac{-5{,}4282\pm\sqrt{5{,}4282^2+4\cdot0{,}8455\cdot0{,}4056}}{2(-0{,}8455)}=\dfrac{-5{,}4282\pm5{,}5531}{-1{,}6910}.$$

   Raíces: $x\approx-0{,}0739$ y $x\approx6{,}4938$.

5. Elegir la raíz. El proyectil avanza hacia $x$ crecientes (datos de $x=1$ a $5{,}5$); la raíz negativa es el otro corte de la parábola completa. Toca el suelo en $x\approx6{,}494$.

Error típico: pensar que «parábola» no es un modelo lineal (lo es en los coeficientes), o redondear demasiado pronto. Nota de examen: E lo resuelve con Maxima (fuera de examen); en un examen se haría como en el Propio P3 (datos sencillos, normales y Gauss a mano). Teoría: U §5.4.3, p.233-237 (U trata recta y plano; la parábola es la misma idea con la columna $x_i^2$).

Calcúlese el plano que mejor se ajuste, por mínimos cuadrados, a los puntos $(x,y,z)=(1,3,1),(2,2,3),(3,1,-1),(5,4,2),(6,5,2)$, y estímese el valor de $z$ para $(x,y)=(7,8)$.

1. Modelo (U p.237): $z=ax+by+c$; fila $(x_i,y_i,1)$ por punto: $$\begin{pmatrix}1&3&1\\2&2&1\\3&1&1\\5&4&1\\6&5&1\end{pmatrix}\begin{pmatrix}a\\b\\c\end{pmatrix}=\begin{pmatrix}1\\3\\-1\\2\\2\end{pmatrix}.$$ Incompatible (rango $3$ frente a $4$ de la ampliada); columnas independientes ⇒ solución única.
2. Normales (productos escalares de columnas): $\sum x^2=75$, $\sum xy=3+4+3+20+30=60$, $\sum x=17$, $\sum y^2=55$, $\sum y=15$, $N=5$; $\sum xz=1+6-3+10+12=26$, $\sum yz=3+6-1+8+10=26$, $\sum z=7$: $$\begin{pmatrix}75&60&17\\60&55&15\\17&15&5\end{pmatrix}\begin{pmatrix}a\\b\\c\end{pmatrix}=\begin{pmatrix}26\\26\\7\end{pmatrix}.$$
3. Resolver por Cramer ($\det A^tA=455$; $\Delta_a,\Delta_b,\Delta_c$ = determinantes con la columna correspondiente cambiada por $(26,26,7)^t$): $\Delta_a=-115$, $\Delta_b=331$, $\Delta_c=35$ ⇒ $a=-\frac{115}{455}=-\frac{23}{91}$, $b=\frac{331}{455}$, $c=\frac{35}{455}=\frac1{13}$.

4. Estimación en $(7,8)$:

   $$z=-\frac{23}{91}\cdot7+\frac{331}{455}\cdot8+\frac1{13}=\frac{-805+2648+35}{455}=\frac{1878}{455}\approx4{,}1275.$$

Resultado: $z=-\frac{23}{91}x+\frac{331}{455}y+\frac1{13}$; $z(7,8)\approx4{,}128$.

Error típico: pensar que el plano pasa por algún punto (con más de $3$ puntos no coplanares, en general no pasa por ninguno). Teoría: U §5.4.3, p.237 (Ej. 5.44, p.237-238).

Halla la solución por mínimos cuadrados de $x=1,\ y=1,\ x+y=3$ y su error. (Es la animación 3D de la sección 1, preset «Propio P1».)

1. $$A=\begin{pmatrix}1&0\\0&1\\1&1\end{pmatrix},$$

   $B=(1,1,3)^t$. Incompatible: de las dos primeras $x+y=2\neq3$.

2. Columnas independientes ⇒ solución única.

   $$A^tA=\begin{pmatrix}2&1\\1&2\end{pmatrix},$$ $$A^tB=\begin{pmatrix}4\\4\end{pmatrix}.$$
3. $2x+y=4,\ x+2y=4$ ⇒ (restando) $x=y$; $3x=4$: $x=y=\frac43$.
4. $AX_0=\left(\frac43,\frac43,\frac83\right)$; residuo $B-AX_0=\left(-\frac13,-\frac13,\frac13\right)$, ortogonal a $(1,0,1)$ y a $(0,1,1)$ ✓. Error $=\frac1{\sqrt3}$.
5. Interpretación: la medida $x+y=3$ «tira» de la solución; cada ecuación falla en $\frac13$: el reparto más equilibrado posible.

Recta de mínimos cuadrados para $(0,1),(1,1),(2,2),(3,4)$; error cuadrático y pronóstico en $x=4$. (Preset «Propio P2» de la animación.)

1. Filas $(x_i,1)$: $\sum x=6$, $\sum x^2=14$, $\sum y=8$, $\sum xy=0+1+4+12=17$, $N=4$.

2. Normales

   $$\begin{pmatrix}14&6\\6&4\end{pmatrix}\binom mn=\binom{17}8;$$

   $\det=56-36=20$; $m=\frac{4\cdot17-6\cdot8}{20}=1$, $n=\frac{14\cdot8-6\cdot17}{20}=\frac12$.

3. Recta $y=x+\frac12$. Residuos $y_i-(x_i+\frac12)$: $\frac12,-\frac12,-\frac12,\frac12$ (suman $0$ ✓); error $=\sqrt{4\cdot\frac14}=1$.
4. Pronóstico: $y(4)=4{,}5$.

Ajusta $y=ax^2+bx+c$ a $(-1,2),(0,1),(1,0),(2,3)$.

1. Filas $(x_i^2,x_i,1)$:

   $$A=\begin{pmatrix}1&-1&1\\0&0&1\\1&1&1\\4&2&1\end{pmatrix},$$

   $B=(2,1,0,3)^t$. Incompatible (rango $3$, ampliada $4$).

2. Sumas: $\sum x^4=18$, $\sum x^3=8$, $\sum x^2=6$, $\sum x=2$, $N=4$; $\sum x^2y=2+0+0+12=14$, $\sum xy=-2+0+0+6=4$, $\sum y=6$. Normales (dividiendo por $2$): $$\begin{pmatrix}18&8&6\\8&6&2\\6&2&4\end{pmatrix}\begin{pmatrix}a\\b\\c\end{pmatrix}=\begin{pmatrix}14\\4\\6\end{pmatrix}\ \xrightarrow{\ \div2\ }\ \left(\begin{array}{ccc|c}9&4&3&7\\4&3&1&2\\3&1&2&3\end{array}\right).$$
3. Gauss: de la 3.ª, $b=3-3a-2c$. En la 2.ª: $4a+3(3-3a-2c)+c=2\Rightarrow-5a-5c=-7$. En la 1.ª: $9a+4(3-3a-2c)+3c=7\Rightarrow-3a-5c=-5$. Restando, $-2a=-2$: $a=1$; $c=\frac{7-5}5=\frac25$; $b=3-3-\frac45=-\frac45$.
4. $y=x^2-\frac45x+\frac25$. Residuos $B-AX=\left(-\frac15,\frac35,-\frac35,\frac15\right)$ (ortogonales a las tres columnas), error $\sqrt{\frac{20}{25}}=\frac2{\sqrt5}$.

Halla todas las soluciones por mínimos cuadrados de $A=\begin{pmatrix}1&0&1\\0&1&1\\1&1&2\end{pmatrix}$, $B=(1,1,1)^t$.

1. $C_3=C_1+C_2$ ⇒ $\operatorname{rang}A=2$ ⇒ no hay solución única (U p.229) y $A^tA$ es singular.
2. Incompatible: en $(A\mid B)$, $F_3-F_1-F_2$ da $(0\ 0\ 0\mid-1)$.

3. Normales:

   $$A^tA=\begin{pmatrix}2&1&3\\1&2&3\\3&3&6\end{pmatrix},$$ $$A^tB=\begin{pmatrix}2\\2\\4\end{pmatrix}.$$

   La 3.ª ecuación es suma de las dos primeras. De $2x_1+x_2+3x_3=2$ y $x_1+2x_2+3x_3=2$: restando, $x_1=x_2$; luego $3x_1+3x_3=2$.

4. Soluciones: $(x_1,x_2,x_3)=\left(\frac23,\frac23,0\right)+t(-1,-1,1)$, $t\in\mathbb R$: una recta afín $=x_p+\operatorname{Nuc}A$, con $\operatorname{Nuc}A=\langle(-1,-1,1)\rangle$.

5. Todas dan el mismo

   $$AX=\left(\frac23,\frac23,\frac43\right)=\operatorname{Proy}B$$

   y el mismo error $\frac1{\sqrt3}$ (residuo $(\frac13,\frac13,-\frac13)$).

6. Método geométrico (U p.229):

   $$\langle\operatorname{Col}A\rangle=\langle(1,0,1),(0,1,1)\rangle$$

   es el plano $x+y-z=0$, de normal $n=(1,1,-1)$.

   $$\operatorname{Proy}B=B-\frac{B\cdot n}{\|n\|^2}n=(1,1,1)-\frac13(1,1,-1)=\left(\frac23,\frac23,\frac43\right)$$

   ✓. Después se resuelve el sistema compatible $Ax=\operatorname{Proy}B$.

$A=\begin{pmatrix}1&0\\1&1\\1&1\\1&0\end{pmatrix}$, $B=(1,2,4,3)^t$. Halla la $QR$ de $A$ y la solución por mínimos cuadrados con $RX=Q^tB$.

1. Gram-Schmidt: $\|a_1\|=2$, $q_1=\frac12(1,1,1,1)$. $a_2\cdot q_1=1$; $e_2=a_2-q_1=\left(-\frac12,\frac12,\frac12,-\frac12\right)$, $\|e_2\|=1$, $q_2=e_2$.
2. $$R=Q^tA=\begin{pmatrix}q_1\cdot a_1&q_1\cdot a_2\\0&q_2\cdot a_2\end{pmatrix}=\begin{pmatrix}2&1\\0&1\end{pmatrix}.$$
3. $Q^tB=\left(\frac{1+2+4+3}2,\ \frac{-1+2+4-3}2\right)=(5,1)$.
4. $RX=Q^tB$: $y=1$; $2x+1=5\Rightarrow x=2$. Solución $(2,1)$.

5. Comprobación con normales:

   $$A^tA=\begin{pmatrix}4&2\\2&2\end{pmatrix},$$

   $A^tB=(10,6)^t$: $8+2=10$ ✓, $4+2=6$ ✓. Residuo $B-AX=(-1,-1,1,1)$ (ortogonal a $C_1$ y a $C_2$), error $2$.

Determínese si es verdadera la afirmación.

1. Verdadera. $x_0$ es solución por mínimos cuadrados si y solo si

   $$Ax_0=\operatorname{Proy}_{\langle\operatorname{Col}A\rangle}b$$

   (U p.229): se proyecta $b$ sobre el subespacio generado por las columnas y después se resuelve el sistema compatible $Ax=\operatorname{Proy}b$. Las ecuaciones normales no son más que «el residuo es ortogonal al subespacio».

Las demás cuestiones de la autoevaluación de ese capítulo son de 5.1 (1-5, 7, 8), 5.2 (6) y 5.3 (9).

Sean $A=\begin{pmatrix}2&1\\1&2\\1&1\end{pmatrix}$ y $B=\begin{pmatrix}2\\0\\-3\end{pmatrix}$. El sistema $AX=B$ es incompatible. Aplique el método de mínimos cuadrados para obtener el $X=\begin{pmatrix}x_1\\x_2\end{pmatrix}$ que hace mínima la distancia de $AX$ a $B$.

1. Comprobar lo que dice el enunciado.

   $$\det(A\mid B)=\left|\begin{array}{cc|c}2&1&2\\1&2&0\\1&1&-3\end{array}\right|=2(-6)-1(-3)+2(-1)=-11\neq0$$

   ⇒ rango de la ampliada $3>\operatorname{rang}A$ ⇒ incompatible.

2. Qué se minimiza. «La distancia de $AX$ a $B$» es $\|AX-B\|$: la Def. 5.15 (U p.227). Su solución es la de las ecuaciones normales (U p.228-229).
3. Unicidad. Las columnas $(2,1,1)$ y $(1,2,1)$ no son proporcionales ⇒ independientes ⇒ $A^tA$ regular y solución única (U p.229).

4. Normales $A^tAX=A^tB$:

   $$A^tA=\begin{pmatrix}4+1+1&2+2+1\\5&1+4+1\end{pmatrix}=\begin{pmatrix}6&5\\5&6\end{pmatrix},$$ $$A^tB=\begin{pmatrix}4+0-3\\2+0-3\end{pmatrix}=\begin{pmatrix}1\\-1\end{pmatrix}.$$
5. Resolver $6x_1+5x_2=1,\ 5x_1+6x_2=-1$: restando, $x_1-x_2=2$; sumando, $11(x_1+x_2)=0$. Luego $x_1=1$, $x_2=-1$.
6. Comprobación: $AX=(1,-1,0)$, residuo $B-AX=(1,1,-3)$, ortogonal a $(2,1,1)$ ($2+1-3=0$ ✓) y a $(1,2,1)$ ($1+2-3=0$ ✓). Distancia mínima $\sqrt{11}$.

Resultado: $X=(1,-1)^t$ (coincide con la oficial).

Teoría: U §5.4.2, p.227-229. Igual que E 5.37. Puedes ver este caso en la animación 3D de la sección 1 (preset «Feb. 2023 (A) ej. 8»).

Calcular el error cuadrático cometido en $AX=B$ al sustituir $X$ por $\begin{pmatrix}1\\2\end{pmatrix}$, siendo $A=\begin{pmatrix}1&2\\2&-1\\3&3\end{pmatrix}$ y $B=\begin{pmatrix}1\\2\\-3\end{pmatrix}$.

1. Definición (U Def. 5.14, p.227): el error es $\|AX-B\|$. No hay que minimizar nada: solo evaluar.

2. $AX$:

   $$\begin{pmatrix}1\cdot1+2\cdot2\\2\cdot1-1\cdot2\\3\cdot1+3\cdot2\end{pmatrix}=\begin{pmatrix}5\\0\\9\end{pmatrix}.$$
3. $AX-B$: $(5-1,\ 0-2,\ 9+3)=(4,-2,12)$.
4. Norma: $\sqrt{4^2+(-2)^2+12^2}=\sqrt{164}=2\sqrt{41}\approx12{,}8$. (La oficial indica que basta dejarlo sin desarrollar, al no haber calculadora, y remite al Ejemplo 5.35 de U.)

Resultado: error $=\sqrt{164}=2\sqrt{41}$.

Ampliación (propia). ¿Cuánto podría mejorarse? La solución por mínimos cuadrados de este sistema es $X_0=\left(\frac5{23},-\frac{18}{23}\right)$ (sección 2) y su error es $\frac{6\sqrt{115}}{23}\approx2{,}80$: el $X=(1,2)$ del examen es unas cuatro veces y media peor.

Error típico: dar $164$ (sin raíz) o equivocar el signo con el $-3$ de $B$ ($9-(-3)=12$, no $6$). Teoría: U Def. 5.14 y Ej. 5.35, p.227; E 5.35.

Escribir las ecuaciones normales asociadas al sistema $AX=B$ que sirven para hallar su solución por mínimos cuadrados. (Es una pregunta de teoría: sin matrices concretas.)

La oficial dice solo «las ecuaciones normales son $A^tAX=A^tB$». Con la advertencia de que lo que no se justifica no se puntúa, conviene argumentar. Modelo de respuesta, en pasos:

1. Si $A\in\mathcal M_{m\times n}$, $Ax=x_1C_1+\dots+x_nC_n$ recorre $\langle\operatorname{Col}A\rangle$. La solución por mínimos cuadrados $x_0$ hace mínima $\|Ax-b\|$, y por el Teorema 5.4 (U p.213) esto ocurre cuando

   $$Ax_0=\operatorname{Proy}_{\langle\operatorname{Col}A\rangle}b,$$

   es decir, cuando $b-Ax_0$ es ortogonal a $\langle\operatorname{Col}A\rangle$.

2. Ortogonal a $\langle\operatorname{Col}A\rangle$ ⇔ ortogonal a cada columna: $C_i^t(B-AX_0)=0$ para $i=1,\dots,n$. Como las $C_i^t$ son las filas de $A^t$: $A^t(B-AX_0)=0$.
3. Ecuaciones normales: $\boxed{A^tAX=A^tB}$. Es un sistema $n\times n$, siempre compatible; tiene solución única si y solo si las columnas de $A$ son independientes ($A^tA$ regular), U p.229.

Teoría: U §5.4.2, p.228-229.

a) (1,5 ptos.) Hallar la factorización $QR$ de $A=\begin{pmatrix}\frac1{\sqrt2}&\sqrt2\\\frac1{\sqrt2}&0\\0&0\end{pmatrix}$. b) (1,5 ptos.) Resolver el siguiente problema de mínimos cuadrados $AX=B$ siendo $A$ la matriz del apartado a) y $B=\begin{pmatrix}1\\1\\1\end{pmatrix}$. (El apartado a) es del tema 5.2; se resume lo necesario.)

1. QR del apartado a) (resumen; detalle en 5.2): Gram-Schmidt sobre $a_1=\left(\frac1{\sqrt2},\frac1{\sqrt2},0\right)$, $a_2=(\sqrt2,0,0)$. $\|a_1\|=1\Rightarrow q_1=a_1$. $a_2\cdot q_1=1$, $e_2=a_2-q_1=\left(\frac1{\sqrt2},-\frac1{\sqrt2},0\right)$, $\|e_2\|=1\Rightarrow q_2=e_2$.

   $$R=Q^tA=\begin{pmatrix}1&1\\0&1\end{pmatrix}.$$
2. Incompatible: la tercera ecuación es $0\cdot x+0\cdot y=1$. Por eso se pide mínimos cuadrados.
3. Por qué se usa $RX=Q^tB$: $A^tA=R^tR$, $A^tB=R^tQ^tB$, $R^t$ regular (sección 4; U p.232). Y el enunciado pide «el problema de mínimos cuadrados con la $QR$ de a)»: hay que usarla.
4. $Q^tB$: $q_1\cdot B=\frac2{\sqrt2}=\sqrt2$, $q_2\cdot B=0$.
5. Sistema triangular: $x+y=\sqrt2,\ y=0$ ⇒ $y=0$, $x=\sqrt2$.
6. Interpretación: $AX=(1,1,0)$ es la proyección de $(1,1,1)$ sobre $\langle\operatorname{Col}A\rangle$, que es el plano $z=0$; el residuo $(0,0,1)$ es perpendicular a ese plano ✓. Error $=1$.

7. Comprobación con las normales (solo como control):

   $$A^tA=\begin{pmatrix}1&1\\1&2\end{pmatrix},$$

   $A^tB=(\sqrt2,\sqrt2)^t$ ⇒ $x+y=\sqrt2$, $x+2y=\sqrt2$ ⇒ $y=0$, $x=\sqrt2$ ✓.

Resultado: $X=(\sqrt2,0)^t$ (coincide con la oficial y con el Ejemplo 5.40 de U, que usa la misma $Q$, $R$ y $B$).

Teoría: U §5.4.2, p.232 (Ej. 5.40, p.232-233); U §5.2.2, p.218. Hace pareja con E 5.38 y con el Propio P5.

Feb. 2018 (B): «Explicar en qué consiste el método de los mínimos cuadrados (0,5 ptos.) y decir cómo se halla su solución (0,5 ptos.).» Feb. 2017: «Explicar en qué consiste el problema de los mínimos cuadrados y presentar cómo se puede obtener una solución por mínimos cuadrados (1 pto.).» Las dos soluciones oficiales son «véase la bibliografía básica / la teoría».

Modelo de respuesta (resumen de todo el tema, en cinco pasos):

1. Planteamiento. Si $AX=B$ es incompatible (caso habitual con datos reales: más ecuaciones que incógnitas), se busca un $x_0$ que lo resuelva «lo mejor posible»: el que minimiza el error cuadrático $\|Ax-b\|$ (Def. 5.14-5.15, U p.227). El nombre viene de que la norma es la raíz de una suma de cuadrados.

2. Geometría. Como $Ax$ recorre $\langle\operatorname{Col}A\rangle$, por el teorema de mejor aproximación (U p.213)

   $$Ax_0=\operatorname{Proy}_{\langle\operatorname{Col}A\rangle}b$$

   y $b-Ax_0$ es ortogonal a cada columna de $A$.

3. Ecuaciones normales. Eso equivale a $A^tAX=A^tB$, que siempre tiene solución; es única si y solo si las columnas de $A$ son independientes (⇔ $A^tA$ regular); si no, hay infinitas ($x_p+\operatorname{Nuc}A$) y todas dan el mismo $Ax_0$ y el mismo error (U p.229).
4. Cómo se calcula. (a) Resolver las normales; (b) proyectar $b$ sobre $\langle\operatorname{Col}A\rangle$ y resolver $Ax=\operatorname{Proy}b$; (c) si $A=QR$, resolver el sistema triangular $RX=Q^tB$ (U p.232).

5. Aplicación y ejemplo breve. Recta $y=mx+n$ de mínimos cuadrados a los datos $(x_i,y_i)$ (U p.233). Ejemplo: $x=1,\ y=1,\ x+y=3$ (Propio P1):

   $$A^tA=\begin{pmatrix}2&1\\1&2\end{pmatrix},$$

   $A^tB=\binom44$ ⇒ $x=y=\frac43$, error $\frac1{\sqrt3}$.

Error típico: contestar solo «$A^tAX=A^tB$» sin decir qué se minimiza ni por qué son esas las ecuaciones. Teoría: U §5.4.2, p.226-232.