Início · Capítulo 6 · Produto interno
Seja \(S\subset V\) um subespaço. A projeção ortogonal sobre \(S\) é a projeção \(P_S:V\to V\) associada a \(V = S\oplus S^\perp\): se \(v = s+s'\) com \(s\in S\) e \(s'\in S^\perp\), então \(P_Sv = s\).
Pela Proposição 2.33, \(P_S\) é linear, \(P_S^2 = P_S\), \(\Ima(P_S) = S\), \(N(P_S) = S^\perp\) e \(I-P_S = P_{S^\perp}\).
Se \((u_1,\ldots,u_k)\) é base ortonormal de \(S\), \[P_Sv = \sum_{i=1}^k\langle v,u_i\rangle\,u_i.\] Mais geralmente, \(P_Sv\) é o único \(s\in S\) com \(v-s\perp S\).
Ponha \(s = \sum_i\langle v,u_i\rangle u_i\in S\). Para cada \(j\), \(\langle v-s,u_j\rangle = \langle v,u_j\rangle-\langle v,u_j\rangle = 0\), logo \(v-s\in S^\perp\) e \(v = s+(v-s)\) é a decomposição de \(v\). A unicidade é a da soma direta.
Para todo \(s\in S\) com \(s\neq P_Sv\), \[\|v-P_Sv\|<\|v-s\|.\] Isto é: \(P_Sv\) é o único ponto de \(S\) mais próximo de \(v\).
O pé da perpendicular é o ponto mais próximo. Para qualquer outro \(s\in S\), o triângulo \(v\), \(P_Sv\), \(s\) tem ângulo reto em \(P_Sv\), e a hipotenusa \(\|v-s\|\) é maior que o cateto \(\|v-P_Sv\|\). É a demonstração inteira do teorema.
Em uma frase: o erro da melhor aproximação é perpendicular ao subespaço.
Escreva \(v-s = (v-P_Sv)+(P_Sv-s)\). A primeira parcela está em \(S^\perp\) e a segunda em \(S\); por Pitágoras, \[\|v-s\|^2 = \|v-P_Sv\|^2+\|P_Sv-s\|^2>\|v-P_Sv\|^2,\] porque \(P_Sv-s\neq0\).
Em \(\Pol{3}\) com \(\langle p,q\rangle = \int_{-1}^1pq\), a melhor aproximação de \(t^3\) por polinômios de grau \(\leq1\). Pelo Exemplo 6.20, \(\big(\tfrac{1}{\sqrt2},\sqrt{\tfrac32}\,t\big)\) é base ortonormal de \(\Pol{1}\). Como \(\langle t^3,1\rangle = 0\) e \(\langle t^3,t\rangle = \tfrac25\), \[P_{P_1}(t^3) = \tfrac32\cdot\tfrac25\,t = \tfrac35\,t.\] Confira que o erro \(t^3-\tfrac35t\) é perpendicular a \(P_1\): \(\int_{-1}^1(t^3-\tfrac35t)\,dt = 0\) (é ímpar) e \(\int_{-1}^1(t^4-\tfrac35t^2)\,dt = \tfrac25-\tfrac35\cdot\tfrac23 = 0\).
A resposta não é a reta tangente nem a reta pelos extremos: é a reta que minimiza o erro quadrático médio em \([-1,1]\). Mudar o produto interno (por exemplo, integrar em \([0,1]\)) muda a resposta. E \(t^3-\frac35t\) é, a menos de múltiplo, o quarto polinômio de Legendre: é o que Gram–Schmidt daria no passo seguinte do Exemplo 6.20.
Um sistema \(AX = b\) sem solução (em geral, com mais equações que incógnitas) pede a pergunta seguinte: qual \(X\) torna \(AX\) o mais próximo possível de \(b\)?
Sejam \(A\in\Mat{m}{n}\) e \(b\in\R^m\), com o produto escalar. \(X_0\) minimiza \(\|AX-b\|\) se e somente se \[A^tA\,X_0 = A^tb\qquad\text{(equações normais).}\] Se as colunas de \(A\) são LI, \(A^tA\) é invertível e a solução é única.
Os vetores \(AX\) percorrem \(S = \Ima(T_A)\). Pelo Teorema 6.28, \(X_0\) minimiza se e somente se \(AX_0 = P_Sb\), e pela Proposição 6.27 isso equivale a \(b-AX_0\perp S\). Como \(S\) é gerado pelas colunas \(a_j\) de \(A\), isso diz \(a_j^t(b-AX_0) = 0\) para todo \(j\), isto é, \(A^t(b-AX_0) = 0\).
Se as colunas são LI e \(A^tAX = 0\), então \(\|AX\|^2 = X^tA^tAX = 0\), logo \(AX = 0\) e \(X = 0\): \(A^tA\) é injetora, logo invertível.
Outra dedução, por cálculo diferencial. Esta dedução não usa projeções. Seja \[f(X) = \|AX-b\|^2 = X^tA^tAX-2b^tAX+b^tb,\qquad X\in\R^n.\] É uma função quadrática de \(n\) variáveis. Seu gradiente é \(\nabla f(X) = 2A^tAX-2A^tb\) (derive termo a termo, usando que \(A^tA\) é simétrica). Num ponto de mínimo o gradiente se anula: \(A^tAX_0 = A^tb\). Para ver que todo zero do gradiente é mínimo, expanda em torno de \(X_0\): para \(H\in\R^n\), \[f(X_0+H) = f(X_0)+\nabla f(X_0)^tH+H^tA^tAH = f(X_0)+\|AH\|^2\geq f(X_0).\] A igualdade só vale quando \(AH = 0\); com colunas LI, só para \(H = 0\).
O que esta rota esconde: que \(AX_0\) é a projeção ortogonal de \(b\), e que o resíduo é perpendicular às colunas — que é o que torna a resposta geométrica e reaproveitável.
A reta \(y = a+bx\) que melhor ajusta \((0,1)\), \((1,3)\), \((2,4)\), \((3,4)\). O sistema impossível é \(a+bx_i = y_i\): \[A = \begin{pmatrix}1&0\\1&1\\1&2\\1&3\end{pmatrix},\quad b = \begin{pmatrix}1\\3\\4\\4\end{pmatrix},\qquad A^tA = \begin{pmatrix}4&6\\6&14\end{pmatrix},\quad A^tb = \begin{pmatrix}12\\23\end{pmatrix}.\] As equações normais \(4a+6b = 12\), \(6a+14b = 23\) dão \(a = \tfrac32\), \(b = 1\): a reta \(y = \tfrac32+x\). Os resíduos \(y_i-(a+bx_i)\) são \(-\tfrac12,\tfrac12,\tfrac12,-\tfrac12\); eles são perpendiculares às duas colunas de \(A\): somam zero, e \(0\cdot(-\tfrac12)+1\cdot\tfrac12+2\cdot\tfrac12+3\cdot(-\tfrac12) = 0\).
O ajuste por mínimos quadrados. Em \(\R^4\), o vetor dos quatro resíduos é \(b-AX_0\), perpendicular ao plano \(\Ima(T_A)\) — a figura do Teorema 6.28 com \(S = \Ima(T_A)\) e \(v = b\). Aqui ela aparece desenhada no plano dos dados, onde a perpendicularidade não se vê.
Há duas figuras para o mesmo problema: a dos dados, que é a que se desenha num relatório, e a de \(\R^4\) (a do Teorema 6.28), que é a que explica a solução. A condição “resíduos somam zero” é a perpendicularidade à coluna de \(1\)’s; ela diz que a reta passa pelo ponto médio \((\bar x,\bar y) = (\tfrac32,3)\).
Sejam \(v_1,\ldots,v_k\in V\) e \(\Gamma = (\langle v_i,v_j\rangle)_{i,j}\). Então \(\det\Gamma\geq0\), com igualdade se e somente se os \(v_i\) são LD.
Seja \(U = [v_1,\ldots,v_k]\), \(d = \dim U\), e tome uma base ortonormal de \(U\) (Corolário 6.18). Seja \(M\) a matriz \(d\times k\) cujas colunas são as coordenadas dos \(v_i\) nessa base. Pela Proposição 6.15, \(\Gamma = M^tM\). Se os \(v_i\) são LD, existe \(X\neq0\) com \(MX = 0\), logo \(\Gamma X = 0\) e \(\det\Gamma = 0\). Se são LI, então \(d = k\), \(M\) é quadrada e invertível, e \(\det\Gamma = \det(M^t)\det M = (\det M)^2>0\).
Para \((1,1,0)\), \((0,1,1)\), \((1,0,1)\) em \(\R^3\): \[\Gamma = \begin{pmatrix}2&1&1\\1&2&1\\1&1&2\end{pmatrix},\qquad \det\Gamma = 4 = 2^2,\] e \(2\) é o determinante da matriz \(P\) do Exemplo 3.17, cujas colunas são esses vetores. Pela Nota 4.15, \(|\det P| = 2\) é o volume do paralelepípedo que eles geram: \(\sqrt{\det\Gamma}\) é esse volume, calculado só com produtos internos.
Seja \(V\) de dimensão finita com produto interno. A aplicação \[G:V\to V^*,\qquad G(w) = \langle\cdot,w\rangle\] é um isomorfismo. Isto é: todo funcional \(\varphi\in V^*\) é da forma \(\varphi = \langle\cdot,w\rangle\) para um único \(w\in V\). Além disso, uma base \(B\) é ortonormal se e somente se \(G(B) = B^*\), e \(G(S^\perp) = S^0\) para todo subespaço \(S\).
O produto interno é uma maneira de escolher o isomorfismo \(V\to V^*\) que não existe de graça (Nota 5.20). Por ele, \(S^\perp\) corresponde a \(S^0\) e as bases ortonormais são as que coincidem com as suas duais.
O teorema responde à pergunta do Exemplo 6.23: \(S^\perp\) e \(S^0\) têm as mesmas fórmulas porque \(G(S^\perp) = S^0\), e \(G\) é isomorfismo. \(V\iso V^*\) exige uma escolha, e um produto interno é uma escolha (mais econômica do que uma base, porque muitas bases — todas as ortonormais — dão o mesmo isomorfismo). Apesar disso, o anulador é o objeto mais básico: ele não depende de produto interno nenhum.
\(G\) é linear (linearidade na segunda variável). Se \(G(w) = 0\), então \(\langle w,w\rangle = 0\) e \(w = 0\): \(G\) é injetora, e como \(\dim V^* = \dim V\), é isomorfismo. Para \(B = (u_1,\ldots,u_n)\): \(G(u_j)(u_i) = \langle u_i,u_j\rangle\), que é \(\delta_{ij}\) para todos \(i,j\) exatamente quando \(B\) é ortonormal; e \(\delta_{ij}\) é a relação que define \(u_j^*\). Finalmente, \(G(w)\in S^0\iff\langle s,w\rangle = 0\) para todo \(s\in S\iff w\in S^\perp\).
Em movimento: Dot products and duality — 3Blue1Brown (vídeo e texto, em inglês).
Sejam \(V\) e \(W\) com produto interno, de dimensão finita, e \(T:V\to W\) linear. Existe uma única \(T^\dagger:W\to V\) linear com \[\langle T(v),w\rangle_W = \langle v,T^\dagger(w)\rangle_V\qquad\text{para todos } v\in V,\ w\in W.\]
A adjunta e a transposta. A transposta (embaixo) existe sempre e anda entre duais. A adjunta (em cima) exige produtos internos e anda entre os próprios espaços; ela é a única seta de cima que faz o quadrado comutar.
Fixe \(w\). A função \(v\mapsto\langle T(v),w\rangle_W\) é um funcional em \(V\) (é \(T^*(G_W(w))\), com \(T^*\) a transposta, Definição 5.15). Pelo Teorema 6.34, existe um único vetor — chame-o \(T^\dagger(w)\) — com \(\langle T(v),w\rangle = \langle v,T^\dagger(w)\rangle\) para todo \(v\). Em fórmula: \(T^\dagger = G_V^{-1}\circ T^*\circ G_W\), que é linear por ser composta de lineares.
Sejam \(B\) e \(C\) bases ortonormais de \(V\) e \(W\). Então \([T^\dagger]_{BC} = \big([T]_{CB}\big)^t\). Para bases quaisquer, isso é falso.
Se \(B = (v_j)\) e \(C = (w_i)\) são ortonormais, a entrada \((i,j)\) de \([T]_{CB}\) é \(\langle T(v_j),w_i\rangle\) (Proposição 6.15), e a entrada \((j,i)\) de \([T^\dagger]_{BC}\) é \(\langle T^\dagger(w_i),v_j\rangle = \langle v_j,T^\dagger(w_i)\rangle = \langle T(v_j),w_i\rangle\).
Contra-exemplo com base não ortonormal: em \(\R^2\) com \(\langle x,y\rangle_G = x^tGy\), \(G = \mathrm{diag}(1,2)\), a adjunta de \(X\mapsto AX\) é \(X\mapsto G^{-1}A^tG\,X\) (verifique: \((AX)^tGY = X^tG(G^{-1}A^tGY)\)). Para \(A = \left(\begin{smallmatrix}0&1\\0&0\end{smallmatrix} \right)\) isso dá \(\left(\begin{smallmatrix}0&0\\1/2&0\end{smallmatrix}\right)\neq A^t\). A base canônica não é ortonormal para \(\langle\cdot,\cdot\rangle_G\).
\(N(T^\dagger) = \Ima(T)^\perp\) e \(\Ima(T^\dagger) = \Nuc(T)^\perp\). Portanto \(V = \Nuc(T)\oplus\Ima(T^\dagger)\) e \(W = \Ima(T)\oplus N(T^\dagger)\), somas ortogonais.
Os quatro subespaços, agora com \(\perp\) (compare com a figura do Teorema 5.33, que usa \(^0\) e os duais). \(V\) se parte ortogonalmente em núcleo e imagem da adjunta, \(W\) em imagem e núcleo da adjunta; \(T\) esmaga o núcleo e leva o complemento ortogonal dele bijetivamente sobre a imagem.
A figura é a do Teorema 2.92, com uma diferença: lá o complementar do núcleo era um qualquer; aqui ele é o ortogonal, e é a imagem de \(T^\dagger\). Com a Proposição 6.36, isto é “posto por linhas \(=\) posto por colunas” (Corolário 5.34) outra vez: \(\Ima(T_A^\dagger)\) é o espaço das linhas de \(A\).
\(w\in N(T^\dagger)\iff\langle v,T^\dagger w\rangle = 0\ \forall v\iff\langle Tv,w\rangle = 0\ \forall v\iff w\in\Ima(T)^\perp\). Pela simetria da definição, \((T^\dagger)^\dagger = T\); aplicando a primeira igualdade a \(T^\dagger\), obtemos \(\Nuc(T) = \Ima(T^\dagger)^\perp\), e tomando o complemento ortogonal dos dois lados (Teorema 6.22), \(\Nuc(T)^\perp = \Ima(T^\dagger)\).
Um operador \(T:V\to V\) é auto-adjunto se \(T^\dagger = T\), isto é, \(\langle Tu,v\rangle = \langle u,Tv\rangle\) para todos \(u,v\). Pela Proposição 6.36, isso equivale a \([T]_B\) ser simétrica numa (e então em toda) base ortonormal \(B\).
Projeções ortogonais são auto-adjuntas. Com \(u = s+s'\) e \(v = t+t'\) (\(s,t\in S\), \(s',t'\in S^\perp\)): \(\langle P_Su,v\rangle = \langle s,t\rangle = \langle u,P_Sv\rangle\). (Uma projeção ao longo de um complementar não ortogonal não é.)
A derivada nos polinômios trigonométricos. Em \(W = [1,\cos t,\sen t,\cos2t,\sen2t]\) com \(\langle f,g\rangle = \int_0^{2\pi}fg\), integrando por partes e usando a periodicidade, \[\langle Df,g\rangle = \big[fg\big]_0^{2\pi}-\int_0^{2\pi}fg' = -\langle f,Dg\rangle.\] Logo \(D^\dagger = -D\): a derivada é antiadjunta. Na base ortonormal que se obtém normalizando a base dada, a matriz de \(D\) é antissimétrica (por exemplo, \(D\cos t = -\sen t\) e \(D\sen t = \cos t\)).
As condições de contorno importam: em \(\Pol{n}\) com \(\int_{-1}^1\), o termo \([fg]_{-1}^1\) não se anula e \(D^\dagger\) não é \(-D\).
Operadores ortogonais. \(\langle Tu,Tv\rangle = \langle u,v\rangle\) para todos \(u,v\) equivale a \(T^\dagger T = I\); em base ortonormal, a \(Q^tQ = I\). São os operadores que levam bases ortonormais em bases ortonormais.
| em \(V\) | em \(V^*\) (sem escolha) | em \(V\) com produto interno |
|---|---|---|
| subespaço \(S\) | anulador \(S^0\) | complemento ortogonal \(S^\perp\) |
| \(S_1\subset S_2\) | \(S_2^0\subset S_1^0\) | \(S_2^\perp\subset S_1^\perp\) |
| \(S_1+S_2\) | \(S_1^0\cap S_2^0\) | \(S_1^\perp\cap S_2^\perp\) |
| quociente \(V/S\) | \((V/S)^*\iso S^0\) | \(V/S\iso S^\perp\) |
| \(T:V\to W\) | transposta \(T^*:W^*\to V^*\) | adjunta \(T^\dagger:W\to V\) |
| base \(B\) | base dual \(B^*\) | \(B\) ortonormal \(\iff G(B) = B^*\) |
A coluna do meio não depende de nada; a da direita depende do produto interno, e se obtém da do meio pelo isomorfismo de Riesz \(G:V\to V^*\) (Teorema 6.34).