Hoofdstuk 5 - Inwendig product en orthogonaliteit
Doel van dit hoofdstuk
$$ % Math operators % %
% VECTORS% specifically for vectors in F^n
% MATRICES% SCALARS
% LINEAR MAPS% FIELDS
% RELATIONS
% % % % % % % % %
%
$$
Concept van inwendig product:
- geeft aanleiding tot lengte, oriëntatie, geometrie (bvb Pythogoras)
- geeft ook aanleiding tot (antilinear) isomorfisme tussen vector ruimte en zijn duale
Concept van orthogonaliteit: orthogonale projectie, orthogonale basis: enorm belangrijk voor zowel theorie als praktijk (numerieke algoritmen)
Doel van dit hoofdstuk
Lineaire afbeeldingen tussen inwendig product ruimten, toegevoegde afbeelding, zelftoegevoegde en normale operatoren, orthogonale en unitaire afbeeldingen
Gerelateerde concepten: bilineare en sesquilineare vormen
Toepassing: kleinste kwadratenoplossing voor overgedetermineerde systemen
Proloog: Bilineaire en sesquilineaire vormen
Bilineaire vormen
- herhaling: bilineaire afbeelding B:V_1 \times V_2 \to V_3
- B(a {v}_1 + b {w}_1, {v}_2) = a B({v}_1,{v}_2) + b B({w}_1,{v}_2)
- B({v}_1, a {v}_2 + b {w}_2) = a B({v}_1,{v}_2) + b B({v}_1,{w}_2)
- bilineaire vorm = bilineaire afbeelding V \times V \to {\mathbb{F}}
- speciale gevallen:
- symmetrisch B({v},{w})=B({w},{v})
- anti-/scheef-symmetrisch B({v},{w}) = -B({w},{v})
- speciale gevallen:
Bilineaire vormen en matrices
basisrepresentatie: B_V=\{{e}_1,\ldots,{e}_n\}
\Rightarrow B({v},{w}) = {v}^i \underbrace{B({e}_i,{e}_j)}_{B_{ij}\Rightarrow {\mathsf{B}}\in{\mathbb{F}}^{n\times n}} w^j = \boldsymbol{v}^{\mathsf{T}}{\mathsf{B}} \boldsymbol{w}
(anti)symmetrisch : {\mathsf{B}} = \pm {\mathsf{B}}^{{\mathsf{T}}} \Leftrightarrow B_{ij} = \pm B_{ji}
basistransformatie:
- vector: \tilde{v}^i = [{\mathsf{T}}]^i_{\ j} v^j
- duale vector: \tilde{\xi}_i = [{\mathsf{T}}^{-{\mathsf{T}}}]_i^{\ j}\xi_j
- bilineaire vorm: \tilde{B}_{ij} = [{\mathsf{T}}^{-{\mathsf{T}}}]_i^{\ k}[{\mathsf{T}}^{-{\mathsf{T}}}]_j^{\ l}B_{kl}
\Rightarrow behoudt (anti)symmetrie
Bilineaire en kwadratische vormen
elke bilineaire vorm kan ontbonden worden als: B({v},{w}) = \underbrace{\frac{1}{2}\left(B({v},{w})+B({w},{v})\right)}_{B_{\text{S}}({v},{w})} + \underbrace{\frac{1}{2}\left(B({v},{w})-B({w},{v})\right)}_{B_{\text{A}}({v},{w})}
kwadratische vorm = afbeelding q:V \to {\mathbb{R}} zodat
B({v},{w}) = \left(q({v}+{w})-q({v}) - q({w})\right)/2
een bilineaire vorm is (er geldt dan q({v})=B({v},{v}))
kwadratische vorm equivalent met symmetrische bilineaire vorm
(antisymmetrisch stuk geeft geen bijdrage in B({v},{v}))
Kwadratische vormen: toepassingen
kwadratische Hamiltoniaan/Lagrangiaan(harmonische oscillator): H(x,p) = \frac{1}{2m} p^2 + \frac{1}{2}m \omega^2 x^2
kegelsneden: x^2 + y^2 - z^2 = 1
tweede-orde Taylorexpansie \rightarrow Hessiaan:
f(\boldsymbol{x}) = f(\boldsymbol{x}_0) + (x-x_0)^i \partial_i f(\boldsymbol{x}_0) +\\ \quad\quad\qquad \frac{1}{2} (x-x_0)^i(x-x_0)^j \frac{\partial^2 f}{\partial x^i \partial x^j}(\boldsymbol{x}_0)
Sesquilineaire vormen
Complexe vectorruimte V:
Sesquilinaire vorm is afbeelding C:V \times V \to {\mathbb{F}} met
- C({a}{u}+ {b}{v},{w}) = {\overline{{a}}} C({u},{w}) + {\overline{{b}}} C({v},{w})
- C({u},{a}{v}+ {b}{w}) = {a}C({u},{v}) + {b}C({u},{w})
Speciale gevallen:
- C({v},{w}) = \overline{C({w},{v})}: hermitisch
- C({v},{w}) = -\overline{C({v},{w})}: anti- of scheefhermitisch
Herleidt zich tot (symmetrische of antisymmetrische) bilineaire vormen voor {\mathbb{F}}= {\mathbb{R}}
Sesquilineaire vormen en matrices
basisrepresentatie: B_V=\{{e}_1,\ldots,{e}_n\}
C({v},{w}) = \overline{v^i} C({e}_i,{e}_j) w^j = \boldsymbol{v}^{\mathsf{H}}{\mathsf{C}} \boldsymbol{w} met C_{ij} = C({e}_i,{e}_j) \Rightarrow {\mathsf{C}} \in {\mathbb{F}}^{n \times n}
(anti)hermitisch : {\mathsf{C}} = \pm {\mathsf{C}}^{{\mathsf{H}}} \Leftrightarrow C_{ij} = \pm \overline{C_{ji}}
basistransformatie:
vector: \tilde{v}^i = [{\mathsf{T}}]^i_{\ j} v^j
duale vector: \tilde{\xi}_i = [{\mathsf{T}}^{-{\mathsf{T}}}]_i^{\ j}\xi_j
sesquilineaire vorm: \tilde{C}_{ij} = [{\mathsf{T}}^{-{\mathsf{H}}}]_i^{\ k}[{\mathsf{T}}^{-{\mathsf{T}}}]_j^{\ l}C_{kl}
(eenduidiger: \tilde{C}_{\bar{\imath}j} = [{\mathsf{T}}^{-{\mathsf{H}}}]_\bar{\imath}^{\ \bar{k}}[{\mathsf{T}}^{-{\mathsf{T}}}]_j^{\ l}C_{\bar{k}l})
Bilineaire en sesquilineaire vormen
Bijkomende begrippen:
ontaard: als een {v}\in V bestaat zodat C({w},{v})=0 voor alle {w}\in V \Rightarrow \mathop{\mathrm{rank}}({\mathsf{C}}) < \mathop{\mathrm{dim}}(V) of \det({\mathsf{C}})=0
positief definiet of semidefiniet: C({v},{v}) > 0 of C({v},{v}) \geq 0 voor alle {v}\neq {o}
indefiniet: C({v},{v}) neemt positieve en negatieve waarden aan voor verschillende {v}
{\mathsf{B}} = {\mathsf{T}}^{\mathsf{T}}\tilde{{\mathsf{B}}} {\mathsf{T}} of {\mathsf{C}} = {\mathsf{T}}^{\mathsf{H}}\tilde{{\mathsf{C}}} {\mathsf{T}}: matrix congruentie \rightarrow equivalentierelatie
- behoudt geen eigenwaarden, niet compatibel met matrixvermenigvuldiging, machten, functies, …
- behoudt (anti)symmetrisch of (anti)hermitisch
- behoudt eigenwaarden 0 en dus het ontaard zijn
- behoudt positief definiet / semidefiniet , indefiniet, …
stelling: als C positief semidefiniet is maar niet positief definiet, dan is C ontaard
Inwendig productruimten
Inwendig product
Inwendig product op vectorruimte V = hermitische, positief definiete sesquilineaire vorm.
notatie: V \times V \to {\mathbb{F}}: ({v},{w}) \mapsto {\left\langle{v},{w}\right\rangle}
eigenschappen:
lineair in tweede argument: {\left\langle{v},a_1 {w}_1 + a_2 {w}_2\right\rangle} = a_1 {\left\langle{v},{w}_1\right\rangle} + a_2 {\left\langle{v},{w}_2\right\rangle}
hermitisch: {\left\langle{v},{w}\right\rangle} = \overline{{\left\langle{w},{v}\right\rangle}}
\Rightarrow {\left\langle a_1 {v}_1 + a_2{v}_2,{w}\right\rangle} = \overline{a_1}{\left\langle{v}_1,{w}\right\rangle} + \overline{a_2} {\left\langle{v}_2,{w}\right\rangle}
positief definiet: {v}\neq {o}\Rightarrow {\left\langle{v},{v}\right\rangle} > 0
matrixrepresentatie t.o.v. basis B_V=\{{e}_1,\ldots,{e}_n\}:
{\left\langle{v},{w}\right\rangle} = \overline{v^i} g_{ij} w^j met g_{ij} = {\left\langle{e}_i,{e}_j\right\rangle} (metriek of Gram matrix)
fysica (bvb relativiteit): metriek die indefiniet (maar niet-ontaard) is
(= pseudo-inner product)
\rightarrow gaan we hier niet gebruiken
Cauchy-Schwarz ongelijkheid
Cauchy-Schwarz-Bunjakowski: {\left\lvert{\left\langle{v},{w}\right\rangle}\right\rvert}^2 \leq {\left\langle{v},{v}\right\rangle}{\left\langle{w},{w}\right\rangle}
(bewijs aan bord)
gevolg: {\left\lVert{v}\right\rVert} = \sqrt{{\left\langle{v},{v}\right\rangle}} is een valabele norm
\Rightarrow Cauchy-Schwarz ongelijkheid: {\left\lvert{\left\langle{v},{w}\right\rangle}\right\rvert} \leq {\left\lVert{v}\right\rVert}{\left\lVert{w}\right\rVert}
\Rightarrow als {\mathbb{F}}={\mathbb{R}}:
- -1 \leq \frac{{\left\langle{v},{w}\right\rangle}}{{\left\lVert{v}\right\rVert}{\left\lVert{w}\right\rVert}} \leq +1
- {\left\langle{v},{w}\right\rangle} = {\left\lVert{v}\right\rVert}{\left\lVert{w}\right\rVert}\cos(\theta) definieert \theta
inwendig product is continu t.o.v. de geassocieerde norm
(bewijs aan bord)
Hilbertruimte: inwendig productruimte die metrisch compleet is
Inwendig product: voorbeelden (eindig-dimensionaal)
V={\mathbb{R}}^n: euclidisch inwendig product {\left\langle\boldsymbol{v},\boldsymbol{w}\right\rangle}= \boldsymbol{v}^{\mathsf{T}}\boldsymbol{w} = v^i \delta_{ij} w^j = \sum_{i=1}^n v^i w^i
V={\mathbb{C}}^n: natuurlijke veralgemening {\left\langle\boldsymbol{v},\boldsymbol{w}\right\rangle}= \boldsymbol{v}^{\mathsf{H}}\boldsymbol{w} = \overline{v^i} \delta_{ij} w^j = \sum_{i=1}^n \overline{v^i} w^i
\Rightarrow {\left\lVert{v}\right\rVert} = {\left\lVert{v}\right\rVert}_2 = \sqrt{\sum_{i=1}^n {\left\lvert v^i\right\rvert}^2}
\Rightarrow Cauchy-Schwarz ongelijkheid = specifiek geval van Hölder (p=q=2)
V = {\mathbb{F}}^{m \times n}: Frobenius inwendig product
{\left\langle{\mathsf{A}},{\mathsf{B}}\right\rangle}= \mathop{\mathrm{tr}}({\mathsf{A}}^{\mathsf{H}}{\mathsf{B}}) = \sum_{i=1}^m\sum_{j=1}^m \overline{A^i_{\ j}} B^i_{\ j}
Inwendig product: voorbeelden (oneindig-dimensionaal)
V=\ell^2({\mathbb{N}}_0, {\mathbb{F}}): rijen \boldsymbol{v} = (v^i \in {\mathbb{F}})_{i\in {\mathbb{N}}_0} waarvoor \sum_{i=1}^{+\infty} {\left\lvert v^i\right\rvert}^2 < \infty
\Rightarrow {\left\langle\boldsymbol{v},\boldsymbol{w}\right\rangle} = \sum_{i=1}^{+\infty} \overline{v^i} w^i
(eindig, want {\left\lvert\sum_{i=1}^{+\infty} \overline{v^i} w^i\right\rvert} \leq \sum_{i=1}^{+\infty} {\left\lvert\overline{v}^i w^i\right\rvert} \leq \frac{1}{2} \sum_{i=1}^{+\infty} \left({\left\lvert v^i\right\rvert}^2 + {\left\lvert w^i\right\rvert}^2\right))
V = C^0([a,b],{\mathbb{F}}): continue functies op [a,b] \Rightarrow {\left\langle f,g\right\rangle} = \int_a^b\,\overline{f(x)}g(x)\,{\mathrm{d}}x
- niet metrisch compleet: Cauchy rijen t.o.v. {\left\lVert\cdot \right\rVert}_2 die niet convergeren naar continue functies
V = L^2([a,b],{\mathbb{F}}): kwadratisch integreerbare functies (zie H7)
Inwendig product: bijkomende eigenschappen
Parallellogram wet: voor de norm {\left\lVert{v}\right\rVert} = \sqrt{{\left\langle{v},{v}\right\rangle}} geassocieerd aan een inwendig product geldt
{\left\lVert{v}+ {w}\right\rVert}^2 + {\left\lVert{v}- {w}\right\rVert}^2 = 2({\left\lVert{v}\right\rVert}^2 + {\left\lVert{w}\right\rVert}^2)
(bewijs volgt uit rechtstreeks invullen van definitie)
Gegeven een genormeerde vectorruimte (V,{\left\lVert\cdot\right\rVert}) waarbij de norm voldoet aan de parallellogramwet. Dan kan uit die norm een inwendig product worden gedefinieerd via de zogenaamde polarisatie-identiteit:
\begin{align} {\left\langle{v},{w}\right\rangle} = \begin{cases} \frac{1}{4}{\left\lVert{v}+ {w}\right\rVert}^2 - \frac{1}{4}{\left\lVert{v}- {w}\right\rVert}^2,&\text{$V$ real}\\ \frac{1}{4}{\left\lVert{v}+ {w}\right\rVert}^2 - \frac{1}{4}{\left\lVert{v}- {w}\right\rVert}^2 + \frac{{\mathrm{i}}}{4}{\left\lVert{v}- {\mathrm{i}}{w}\right\rVert}^2 - \frac{{\mathrm{i}}}{4}{\left\lVert{v}+ {\mathrm{i}}{w}\right\rVert}^2,&\text{$V$ complex} \end{cases}\label{eq:inner:polarisation} \end{align}
(bewijs niet te kennen)
Orthogonaliteit en unitariteit
Orthogonaliteit
Gegeven een inwendig productruimte (V,{\left\langle\ ,\ \right\rangle})
orthogonaliteit: {v}\perp {w}\iff {\left\langle{v},{w}\right\rangle}=0
uitbreiding voor A,B \subseteq V: A \perp B \iff {\left\langle{v},{w}\right\rangle}=0, \forall {v}\in A, {w}\in B
genormaliseerde vector {v}\iff {\left\lVert{v}\right\rVert} = 1
elke vector {v}\neq {o} is proportioneel met eenheidsvector {u}= {v}/ {\left\lVert{v}\right\rVert}
orthogonale verzameling: \{{v}_i; i \in I\} \iff {v}_i \perp {v}_j, \forall i\neq j
orthonormale familie / systeem: \{{v}_i; i \in I\} met {\left\langle{v}_i,{v}_j\right\rangle} = \delta_{i,j}
orthonormale rij: \{{v}_n; n \in {\mathbb{N}}\} met {\left\langle{v}_n,{v}_m\right\rangle} = \delta_{n,m}
eigenschappen:
- orthogonale verzameling is lineair onafhankelijk
- als \mathop{\mathrm{dim}}(V)=n eindig: ten hoogste n orthogonale vectoren
- Pythagoras: orthogonale verzameling \{{v}_i; i=1,\ldots,n\} {\left\lVert\sum_{i=1}^n {v}_i\right\rVert}^2 = \sum_{i=1}^n {\left\lVert{v}_i\right\rVert}^2
Orthogonaal complement
verzameling S \subseteq V:
S^\perp = \{{v}\in V | {\left\langle{w},{v}\right\rangle} = 0\ \text{voor alle}\ {w}\in S\}
eigenschappen:
- S^\perp is gesloten deelruimte (bewijs aan bord)
- S^\perp = ({\mathbb{F}}S)^\perp = (\overline{{\mathbb{F}}S})^\perp
- S \cap S^\perp = \{{o}\} of \{\} (afhankelijk van {o}\in S)
Orthogonale projectie
Gegeven een gesloten (!) deelruimte W {\preccurlyeq}V
stelling: orthogonale projectie van een vector {v}\in V is de vector {w}\in W die voldoet aan
- {\left\lVert{v}-{w}\right\rVert} = \inf_{{w}' \in W}{\left\lVert{v}-{w}'\right\rVert}
- of: {v}- {w}\in W^\perp
beide karakterisaties zijn equivalent en leiden tot een unieke oplossing (bewijs aan bord)
Gevolg: orthogonale directe som decompositie V = W \oplus W^\perp
Orthogonale projector
orthogonale projector {\hat{P}}\in\mathop{\mathrm{End}}(V):
{\hat{P}}^2 = {\hat{P}} en {\left\langle{\hat{P}}{v},{w}\right\rangle} = {\left\langle{v},{\hat{P}}{w}\right\rangle}, \forall {v},{w}\in V
\Rightarrow operator norm {\left\lVert{\hat{P}}\right\rVert} = 1 (bewijs aan bord)
stelling:
- de projector {\hat{P}}_W op gesloten deelruimte W langsheen W^\perp is een orthogonale projector
- elke orthogonale projector leidt tot een orthogonale directe som decompositie: \mathop{\mathrm{ker}}({\hat{P}}) = \mathop{\mathrm{im}}({\hat{P}})^\perp en beide zijn gesloten deelruimten van V
(bewijs aan bord)
Orthogonaal complement en directe som
Bijkomende eigenschappen van orthogonaal complement en orthogonale directe som:
voor elke deelverzameling S: V = S^\perp \oplus S^{\perp\perp}
(aangezien S^\perp gesloten deelruimte is)
voor elke gesloten deelruimte W: W^{\perp\perp} = W
(aangezien orthogonaal complement van W^\perp uniek is)
voor elke deelverzameling S: S^{\perp\perp} = \overline{{\mathbb{F}}S}
(aangezien S^\perp = (\overline{{\mathbb{F}}S})^\perp en voorgaande)
voor elke complete set S: S^\perp = \{0\}
(aangezien S^\perp = (\overline{{\mathbb{F}}S})^\perp = V^\perp)
Orthonormale basis
\mathop{\mathrm{dim}}(V)=n eindig: elke verzameling van n orthogonale vectoren zijn lineair onafhankelijk en vormen basis
orthogonale basis maken uit gegeven basis: zie straks
V oneindig-dimensionale Hilbertruimte (metrisch compleet): elke complete rij van orthogonale vectoren vormt een (Schauder) basis
\rightarrow bewijs in stappen op volgende slides
Orthonormale basis
Beschouw rij ({e}_n, n \in {\mathbb{N}}_0) van orthonormale vectoren:
Orthogonale projector op deelruimte W_n = {\mathbb{F}}\{{e}_i,i=1,\ldots,n\} wordt gedefinieerd door {\hat{P}}_n {v}= \sum_{i=1}^n {e}_i {\left\langle{e}_i,{v}\right\rangle}
(bewijs aan bord)
alternatief bewijs: toon aan dat voor alle {v},{w}\in V geldt
- {\hat{P}}_n {v}\in W_n
- {\hat{P}}_n {v}= {\hat{P}}_n^2 {v}
- {\left\langle{v},{\hat{P}}_n{w}\right\rangle} = {\left\langle{\hat{P}}_n{v},{w}\right\rangle}
\rightarrow karakteriseert uniek orthogonale projector op W_n
Orthonormale basis
Bessel’s ongelijkheid: \sum_{i=1}^n {\left\lvert{\left\langle{e}_i,{v}\right\rangle}\right\rvert}^2 \leq {\left\lVert{v}\right\rVert}^2
(bewijs volgt onmiddellijk uit voorgaand bewijs)
\Rightarrow de rij (\sum_{i=1}^n{\left\lvert{\left\langle{e}_i,{v}\right\rangle}\right\rvert}^2)_{n \in {\mathbb{N}}_0} is een monotoon stijgende rij met een bovengrens, en convergeert dus naar een eindige limiet \leq {\left\lVert{v}\right\rVert}^2
expansiestelling: compleet orthonormale rij vormt Schauder basis en elke vector {v}\in V kan worden geëxpandeerd als de convergente reeks {v}= \sum_{i=1}^{+\infty} {e}_i {\left\langle{e}_i,{v}\right\rangle}
Expansiestelling: gevolgen
expansiecoefficiënten: ({\left\langle{e}_i,{v}\right\rangle})_{i\in {\mathbb{N}}_0}
ook wel: veralgemeende Fourier-coefficiënten (zie volgende slide)
Bessel’s ongelijkheid \rightarrow Plancherel’s identiteit
{\left\lVert{v}\right\rVert}^2 = \sum_{i=1}^{+\infty} {\left\lvert{\left\langle{e}_i,{v}\right\rangle}\right\rvert}^2
meer algemeen: Parseval’s identiteit
{\left\langle{v},{w}\right\rangle} = \sum_{i=1}^{+\infty} {\left\langle{v},{e}_i\right\rangle}{\left\langle{e}_i,{w}\right\rangle} = \sum_{i=1}^{+\infty}{\overline{{\left\langle{e}_i,{v}\right\rangle}}}{\left\langle{e}_i,{w}\right\rangle}
de lineaire afbeelding {v}\mapsto \sum_{i=1}^{+\infty} {e}_i {\left\langle{e}_i,{v}\right\rangle} gedraagt zich als \mathop{\mathrm{id}}_V:
resolutie van de identiteit
uit dit alles:
relatie {v}\leftrightarrow ({\left\langle{e}_i,{v}\right\rangle})_{i\in {\mathbb{N}}_0} is een Hilbertruimte-isomorfisme tussen V en \ell^2({\mathbb{N}}_0; {\mathbb{F}})
Expansiestelling: voorbeeld
V = L^2([0,L], {\mathbb{C}}): rij (f_k)_{k\in {\mathbb{Z}}} met
f_k(x) = \frac{1}{\sqrt{L}}\exp\left(+{\mathrm{i}}\frac{2\pi}{L} k x\right)
is orthonormaal (controleer!) en compleet (geen bewijs).
Basisexpansie is de Fourierreeks:
f(x) = \frac{1}{\sqrt{L}}\sum_{k=-\infty}^{+\infty} F^k \exp\left(+{\mathrm{i}}\frac{2\pi}{L} k x\right)
met de (dubbelzijdige) rij Fouriercoëfficiënten (F_k)_{k \in{\mathbb{Z}}} \in \ell^2({\mathbb{Z}},{\mathbb{C}}), gegeven door
F^k = {\left\langle f_k,f\right\rangle} = \frac{1}{\sqrt{L}} \int_{0}^{L} f(x) \exp\left(-{\mathrm{i}}\frac{2\pi}{L} k x\right)\,{\mathrm{d}}x
zie hoofdstuk 7 voor meer details
Gram-Schmidt
lineair onafhankelijke vectoren: S=\{{v}_1,{v}_2,\ldots\}
\rightarrow orthonormale rij (q_1,q_2,\ldots) die zelfde (deel)ruimte opspant
\rightarrow meer specifiek: {\mathbb{F}}\{{v}_i, i=1,\ldots,n\} = {\mathbb{F}}\{q_i; i=1,\ldots,n\} voor alle n
Gram-Schmidt proces / algoritme:
\begin{align*} {w}_1 &= {v}_1& {q}_1 = {w}_1/{\left\lVert{w}_1\right\rVert}\\ {w}_2 &= {v}_2 - {\left\langle{q}_1,{v}_2\right\rangle} {q}_1 & {q}_2 = {w}_2 / {\left\lVert{w}_2\right\rVert}\\ &\ldots\\ {w}_k &= {v}_k - \sum_{j=1}^{k-1}{\left\langle{q}_j,{v}_k\right\rangle} {q}_j & {q}_k = {w}_k / {\left\lVert{w}_k\right\rVert}\\ &\ldots \end{align*} \Rightarrow {v}_k = \sum_{j=1}^{k} R^{j}_{\ k} {q}_{j} met R^j_{\ k} = {\left\langle q_j,{v}_k\right\rangle} en R^k_{\ k} = {\left\lVert{v}_k - \sum_{j=1}^{k-1}R^j_{\ k} {q}_j\right\rVert} = {\left\lVert{w}_k\right\rVert}
Opmerking: {w}_n kan enkel nul worden als {v}_n lineair afhankelijk is van \{{v}_1,\ldots,{v}_{n-1}\}
Gram-Schmidt en QR decompositie
Matrixversie: {\mathbb{F}}^n met Euclidisch inwendig product
m lineair onafhankelijke vectoren: {\mathsf{V}} = \begin{bmatrix} \boldsymbol{v}_1 | \boldsymbol{v}_2 | \dots | \boldsymbol{v}_m \end{bmatrix} \in {\mathbb{F}}^{n \times m}
Gram-Schmidt leidt tot {\mathsf{V}} = {\mathsf{Q}} {\mathsf{R}} met
bovendriekhoeksmatrix {\mathsf{R}}
{\mathsf{Q}} = \begin{bmatrix} \boldsymbol{q}_1 | \boldsymbol{q}_2 | \dots | \boldsymbol{q}_m \end{bmatrix}
\Rightarrow {\left\langle\boldsymbol{q}_i,\boldsymbol{q}_j\right\rangle} = \boldsymbol{q}_i^{\mathsf{H}}\boldsymbol{q}_j = \delta_{i,j} \Rightarrow {\mathsf{Q}}^{\mathsf{H}}{\mathsf{Q}} = {\mathsf{I}}_m
QR-decompositie van een matrix
numeriek: keuze algoritme van belang voor stabiliteit
(classical vs modified Gram-Schmidt, Householder)
Lineaire functionalen en dualiteit van Hilbertruimten
Lineaire functionalen
Gegeven een Hilbertruimte V:
Aan elke {v}\in V associeren we een \chi_{v}\in V^\ast \chi_{v}: V \to {\mathbb{F}}: w \mapsto \chi_v[w] = {\left\langle{v},{w}\right\rangle}
- Afbeelding {v}\to \chi_{{v}} is antilineair (triviaal)
- Afbeelding {v}\to \chi_{{v}} is injectief (bewijs aan bord)
- Lineaire functionaal \chi_{v} is continu en dus ook begrensd
- Inderdaad: {\left\lvert\chi_{v}[w]\right\rvert} \leq {\left\lVert{v}\right\rVert} {\left\lVert{w}\right\rVert} (Cauchy-Schwarz)
\Rightarrow kunnen we elke (begrensde) functionaal zo bekomen?
Lineaire functionalen
Als V eindig-dimensionaal met B_V=\{{e}_1,\ldots,{e}_n\}:
Duale basis B^\ast_V=\{\varepsilon^1,\ldots,\varepsilon^n\}: \varepsilon^i[{e}_j] =\delta^i_{\ j}
\chi_{v}[w] = {\left\langle{v},{w}\right\rangle} = \overline{v^i} g_{ij} w^j = (\chi_{v})_j w^j
\Rightarrow \chi_{v}= \overline{v^i} g_{ij} \varepsilon^j
Inverse metriek: {\mathsf{g}}^{-1} {\mathsf{g}} = {\mathsf{I}}\iff \underbrace{g^{ij}}_{= ({\mathsf{g}}^{-1})^{ij}} g_{jk} = \delta^i_{\ k}
\xi[{w}] = \xi_j {w}^j \rightarrow \xi[{w}] = {\left\langle{v}_\xi,{w}\right\rangle}
\Rightarrow ({v}_\xi)^j = \overline{\xi_i g^{ij}}
Lineaire functionalen en vectoren
Voor V eindig-dimensionaal kunnen we elke lineaire functionaal \xi voorstellen als inwendig product met een geassocieerde vector {v}_\xi
Interpretatie en gevolgen:
\mathop{\mathrm{ker}}(\xi) heeft codimensie 1 (tenzij \xi=0):
\mathop{\mathrm{ker}}(\xi) = ({v}_\xi)^\perp (elkaars orthogonaal complement)
Met elke {v}\in V is exact één \chi \in V^\ast geassocieerd en vice versa ({v}\to \chi_{v} en \xi \to {v}_{\xi} zijn elkaars inverse)
V^\ast is zelf een Hilbertruimte met inwendig product
{\left\langle\xi,\chi\right\rangle}_{V^\ast} = {\left\langle{v}_{\chi},{v}_{\xi}\right\rangle}_V = \overline{\xi_i} g^{ij} \chi_j
V en V^\ast zijn (anti)isomorf als Hilbertruimten:
de bijectieve afbeelding {v}\to \chi_{v} behoudt inwendig product en lineaire combinaties (maar met complexe toevoeging van scalaire factoren)
Representatiestelling van Riesz
Geldt dit ook voor oneindig-dimensionale Hilbertruimten V?
Vanaf nu: V^\ast = \mathcal{B}(V,{\mathbb{F}}) (begrensde lineaire functionalen)
Representatiestelling van Riesz:
voor elke \xi \in V^\ast bestaat er {v}_\xi \in V zodat \xi[{w}] = {\left\langle{v}_\xi,{w}\right\rangle} voor alle {w}\in V
Bewijs: (meer uitleg aan bord)
- \mathop{\mathrm{ker}}(\xi) is gesloten wegens continuïteit
- orthogonaal complement is één-dimensionaal
- we kunnen een element uit \mathop{\mathrm{ker}}(\xi)^\perp kiezen zodat gelijkheid geldt
Gevolg: voor Hilbertruimten geldt V \cong V^\ast
Begrensde lineaire afbeeldingen tussen Hilbertruimten
Begrensde lineaire afbeeldingen
Hilbertruimten (V, {\left\langle\ ,\ \right\rangle}_V) en (W, {\left\langle\ ,\ \right\rangle}_W); lineaire afbeelding {\hat{A}} \in \mathcal{B}(V,W)
Geinduceerde norm:
\begin{align*} {\left\lVert{\hat{A}}\right\rVert} &= \sup_{\substack{ {v}\in V\\ {v}\neq {o}}} \frac{{\left\lVert{\hat{A}}{v}\right\rVert}_W}{{\left\lVert{v}\right\rVert}_V} = \sup_{\substack{{v}\in V\\ {\left\lVert{v}\right\rVert}_V = 1}} {\left\lVert{\hat{A}}{v}\right\rVert}_W\\ &= \sup_{\substack{{v}\in V, {w}\in W \\ {v}\neq {o}, {w}\neq {o}}} \frac{{\left\lvert{\left\langle{w},{\hat{A}}{v}\right\rangle}_W\right\rvert}}{{\left\lVert{w}\right\rVert}_W {\left\lVert{v}\right\rVert}_V} = \sup_{\substack{{v}\in V, {w}\in V \\ {\left\lVert{v}\right\rVert}_V = 1, {\left\lVert{w}\right\rVert}_W=1}} {\left\lvert{\left\langle{w},{\hat{A}}{v}\right\rangle}_W\right\rvert}. \end{align*}
\mathop{\mathrm{ker}}({\hat{A}}) van begrensde lineaire afbeelding is altijd gesloten deelruimte
\mathop{\mathrm{im}}({\hat{A}}) is niet noodzakelijk gesloten:
- beschouw ({w}_n \in \mathop{\mathrm{im}}({\hat{A}})) met \lim_{n\to\infty} {w}_n ={w}
- voor elke {w}_n bestaat er (niet noodzakelijk uniek) {v}_n \in V met {w}_n = {\hat{A}}{v}_n
- geen garantie dat ({v}_n \in V) Cauchy rij is, en dus dat limiet bestaat
Eindig-dimensionaal en basisrepresentatie
Basis voor V: B_V = \{{e}_1,\ldots,{e}_n\}
Basis voor W: B_W = \{{f}_1,\ldots,{f}_m\}
\Rightarrow Duale basis voor W^\ast: B_W^\ast = \{\varphi^1,\ldots,\varphi^m\}
Matrixrepresentatie {\hat{A}}{e}_j = A^i_{\ j} {f}_i \Rightarrow A^i_{\ j} = \varphi^i[{\hat{A}}{e}_j]
Als B_W een orthonormale basis is: A^i_{\ j}= {\left\langle{f}_i,{\hat{A}}{e}_j\right\rangle}
Inderdaad: \varphi^i[{f}_j] = \delta^i_{\ j} = {\left\langle{f}_i,{f}_j\right\rangle}
\Rightarrow {f}_i is de vector die door de representatiestelling van Riesz wordt geassocieerd aan de lineaire basisfunctionaal \varphi^i
Toegevoegde van een afbeelding
Voor elke {\hat{A}}\in \mathcal{B}(V,W) bestaat er een afbeelding in \mathcal{B}(W,V) die we noteren als {\hat{A}}^\dagger en die voldoet aan
{\left\langle{w},{\hat{A}}{v}\right\rangle} = {\left\langle{\hat{A}}^\dagger{w},{v}\right\rangle},\quad \forall {w}\in W, \forall{v}\in V
en {\left\lVert{\hat{A}}^\dagger\right\rVert}={\left\lVert{\hat{A}}\right\rVert}
Eigenschappen van \dagger (‘dagger’):
- antilineair: (a{\hat{A}} + b {\hat{B}})^\dagger = {\overline{a}} {\hat{A}}^\dagger + {\overline{b}} {\hat{B}}^\dagger
- anti-homomorphisme voor compositie: ({\hat{A}}{\hat{B}})^\dagger = {\hat{B}}^\dagger {\hat{A}}^\dagger
- involutief: {\hat{A}}^{\dagger\dagger} = ({\hat{A}}^\dagger)^\dagger = {\hat{A}}
Toegevoegde afbeelding: matrixrepresentatie
Voor V en W eindig-dimensionaal:
{\left\langle{w},{\hat{A}}{v}\right\rangle} = {\left\langle{\hat{A}}^\dagger{w},{v}\right\rangle} \quad\iff {\overline{w}}^i ({\mathsf{g}}_W)_{ij} A^j_{\ k} v^k = \overline{(A^\dagger)^l_{\ i} w^i} ({\mathsf{g}}_V)_{lk} v^k
\Rightarrow (A^\dagger)^l_{\ i} = \overline{({\mathsf{g}}_W)_{ij} A^j_{\ k} ({\mathsf{g}}_V^{-1})^{k l}}
Als B_V en B_W orthonormaal:
- (A^\dagger)^l_{\ i} = \overline{A^i_{\ l}} = ({\mathsf{A}}^{\mathsf{H}})^l_{\ i}
- toegevoegde afbeelding voorgesteld door Hermitisch toegevoegde matrixrepresentatie
Toegevoegde afbeelding: eigenschappen
Beschouw {\hat{A}}\in\mathcal{B}(V,W)
{\left\lVert{\hat{A}}^\dagger{\hat{A}}\right\rVert} = {\left\lVert{\hat{A}}{\hat{A}}^\dagger\right\rVert} = {\left\lVert{\hat{A}}\right\rVert}^2 (bewijs aan bord)
\mathop{\mathrm{ker}}({\hat{A}}^\dagger) = \mathop{\mathrm{im}}({\hat{A}})^\perp (bewijs aan bord)
Gevolgen:
- W = \mathop{\mathrm{ker}}({\hat{A}}^\dagger) \oplus \overline{\mathop{\mathrm{im}}({\hat{A}})}
- V = \mathop{\mathrm{ker}}({\hat{A}})\oplus \overline{\mathop{\mathrm{im}}({\hat{A}}^\dagger)}
Toegevoegde afbeelding: voorbeeld
Oneindig-dimensionaal voorbeeld:
- V = W = \ell^2({\mathbb{N}}_0,{\mathbb{F}}) (kwadratisch sommeerbare rijen)
- {\left\langle{v},vw\right\rangle} = {\overline{w^1}}v^1+{\overline{w^2}}v^2+{\overline{w^3}}v^3+\ldots
- {\hat{S}} en {\hat{T}} zijn de rechtse en linkse “verschuif”-operatoren:
- {\hat{S}}(v^1,v^2,v^3,\dots)= (0, v^1,v^2, \dots)
- {\hat{T}}(v^1,v^2,v^3,\dots)= (v^2,v^3,v^4,\dots)
- {\left\langle\boldsymbol{w},{\hat{S}}\boldsymbol{v}\right\rangle} = {\overline{w^2}} v^1 + {\overline{w^3}} v^2 + {\overline{w^4}} v^3 + \dots = {\left\langle{\hat{T}}\boldsymbol{w},\boldsymbol{v}\right\rangle}
- \Rightarrow {\hat{T}} = {\hat{S}}^\dagger
Zelf-toegevoegde operatoren
Hilbertruimte V=W: operatoren
een operator is zelftoegevoegd als {\hat{A}}={\hat{A}}^\dagger
\Rightarrow matrixvoorstelling ten opzichte van orthonormale basis: {\mathsf{A}} = {\mathsf{A}}^{\mathsf{H}}
met elke operator {\hat{A}}\in \mathop{\mathrm{End}}(V) kunnen we een sesquilineaire vorm associëren:
A({v},{w}) = {\left\langle{v},{\hat{A}}{w}\right\rangle}
\Rightarrow eigenschappen van sesquilineaire vormen kunnen worden geassocieerd aan operatoren:
(anti)Hermitisch: A({v},{w}) = \pm \overline{A({w},{v})} \iff {\left\langle{v},{\hat{A}}{w}\right\rangle} = \pm {\left\langle{\hat{A}}{v},{w}\right\rangle}
\Rightarrow zelftoegevoegd impliceert Hermitisch
(en vice versa, voor begrensde operatoren, zie later voor onbegrensde)
(terminologie “zelftoegevoegd” en “Hermitisch” vaak door elkaar gebruikt)
positief (semi)definiet: {\left\langle{v},{\hat{A}}{v}\right\rangle} > 0 of \geq 0 voor alle {v}\in V
Zelf-toegevoegde operatoren: eigenschappen
{\hat{A}}\in\mathop{\mathrm{End}}(V) zelftoegevoegd en {\hat{A}}{v}= \lambda {v}:
{\left\langle{v},{\hat{A}}{v}\right\rangle} = {\left\langle{\hat{A}}{v},{v}\right\rangle} \implies \lambda = {\overline{\lambda}} of dus \lambda \in {\mathbb{R}}
{\hat{A}}\in\mathop{\mathrm{End}}(V) zelftoegevoegd:
p({\hat{A}}) zelftoegevoegd voor p een polynoom met reële coefficiënten
{\hat{A}},{\hat{B}}\in\mathop{\mathrm{End}}(V) zelftoegevoegd:
{\hat{A}}{\hat{B}} zelftoegevoegd \iff {\left[{\hat{A}},{\hat{B}}\right]} = {\hat{0}}
orthogonale projector \equiv zelftoegevoegde projector
voorbeeld op V =L^2([a,b]): {\hat{M}}_x: f(x) \mapsto x f(x)
{\left\langle g,{\hat{M}}_x f\right\rangle} = \int_a^b \overline{g(x)} (x f(x)) \,{\mathrm{d}}x = \int_{a}^b \overline{x g(x)} f(x)\,{\mathrm{d}}x = {\left\langle{\hat{M}}_x g,f\right\rangle}
\Rightarrow {\hat{M}}_x is zelftoegevoegd / Hermitisch
({\hat{M}}_x is begrensd voor L^2([a,b]) met compact interval [a,b]; zie H7)
Isometrische en unitaire afbeeldingen
Beschouw {\hat{Q}}\in \mathcal{B}(V,W):
isometrisch \iff {\hat{Q}}^\dagger{\hat{Q}}={\hat{1}}_V
Bewijs: \forall {v},{v}' \in V: d_W({\hat{Q}}{v},{\hat{Q}}{v}') = {\left\lVert{\hat{Q}}{v}- {\hat{Q}}{v}'\right\rVert} = d_V({v},{v}') = {\left\lVert{v}-{v}'\right\rVert}
\iff {\left\lVert{\hat{Q}}{v}\right\rVert} = {\left\lVert{v}\right\rVert} voor alle {v}\in V
\iff {\left\langle{v},{\hat{Q}}^\dagger {\hat{Q}}{v}\right\rangle} = {\left\langle{v},{v}\right\rangle} of dus {\left\langle{v},({\hat{Q}}^\dagger{\hat{Q}}-{\hat{1}}_V){v}\right\rangle}=0 voor alle {v}\in V
\iff {\left\langle{v},{\hat{Q}}^\dagger {\hat{Q}}{w}\right\rangle} = {\left\langle{v},{w}\right\rangle} voor alle {v},{w}\in V
(\Leftarrow triviaal, \Rightarrow via {\left\langle{v}+a{w},({\hat{Q}}^\dagger {\hat{Q}}-{\hat{1}}_V)({v}+a{w})\right\rangle}=0 en a juist kiezen)
uit H4: isometrisch \implies injectief
als ook surjectief (en dus bijectief): unitaire transformatie ( orthogonaal als {\mathbb{F}}={\mathbb{R}})
als {\hat{U}}^{-1} bestaat en {\hat{U}}^\dagger {\hat{U}}={\hat{1}}_V \implies {\hat{U}}^{-1}={\hat{U}}^\dagger en dus {\hat{U}}{\hat{U}}^\dagger = {\hat{1}}_W
Isometrische en unitaire afbeeldingen
(zoals steeds) V, W met \mathop{\mathrm{dim}}(V) = \mathop{\mathrm{dim}}(W) eindig: isometrisch \iff unitair
tegenvoorbeeld als oneindig-dimensionaal: V=W = \ell^2({\mathbb{N}}_0)
{\hat{T}}{\hat{S}}={\hat{S}}^\dagger{\hat{S}} = {\hat{1}} en {\hat{S}}{\hat{S}}^\dagger = {\hat{P}} met {\hat{P}}(v^1,v^2,v^3,\ldots) = (0, v^2, v^3,\ldots)
als unitaire afbeelding V \to W bestaat: V \cong W isomorf als Hilbertruimten
elke n-dimensionale Hilbertruimteruimte is isomorf met {\mathbb{C}}^n met Euclidisch inwendig product (via keuze van orthonormale basis)
elke (separabele) oneindig-dimensionale Hilbertruimte is isomorf met \ell^2({\mathbb{N}}_0) via keuze van een complete orthonormale rij = orthonormale basis
voor {\hat{S}}\in\mathop{\mathrm{End}}(V) met {\hat{S}} = -{\hat{S}}^\dagger:
{\hat{U}} = \exp({\hat{S}}) is unitaire transformatie van V naar zichzelf
- \exp({\hat{S}})^{-1} = \exp(-{\hat{S}}) = \exp({\hat{S}}^\dagger)=\exp({\hat{S}})^\dagger
- vaak geschreven als {\hat{U}}=\exp({\mathrm{i}}{\hat{H}}) met {\hat{H}}={\hat{H}}^\dagger
{\hat{Q}} isometrisch maar niet unitair: {\hat{Q}}{\hat{Q}}^\dagger is orthogonale projector
Isometrische en unitaire matrices
unitaire matrices {\mathsf{U}} \in {\mathbb{C}}^{n\times n}: basistransformatie tussen orthonormale basissen
B_V = \{{e}_1,{e}_2,\ldots,{e}_n\} en \tilde{B}_V = \{\tilde{{e}}_1,\tilde{{e}}_2,\ldots,\tilde{{e}}_n\}
\tilde{{e}}_i = U^j_{\ i} {e}_{j}
\delta_{ij} = {\left\langle\tilde{{e}}_i,\tilde{{e}}_j\right\rangle} = \overline{U^k_{\ i}} U^l_{\ j} {\left\langle{e}_k,{e}_l\right\rangle} = \overline{U^k_{\ i}} U^l_{\ j} \delta_{kl} of dus {\mathsf{U}}^{\mathsf{H}}{\mathsf{U}} = {\mathsf{I}}
isometrische matrix {\mathsf{Q}} \in {\mathbb{C}}^{m \times n} met m \geq n:
isometrische afbeelding van {\mathbb{C}}^n naar {\mathbb{C}}^m
(of: matrixrepresentatie van isometrische afbeelding V \to W ten opzichte van orthonormale basissen in V en W)
kolommen van {\hat{Q}} definiëren orthonormale basis \{\boldsymbol{q}_1,\ldots,\boldsymbol{q}_n\} voor n-dimensionale deelruimte W {\preccurlyeq}{\mathbb{C}}^m.
{\mathsf{P}}_W = \sum_{i=1}^n \boldsymbol{q}_i \boldsymbol{q}_i^{\mathsf{H}}= {\mathsf{Q}}{\mathsf{Q}}^{\mathsf{H}} en {\mathsf{P}}_{W^\perp} = {\mathsf{I}}- {\mathsf{Q}}{\mathsf{Q}}^{\mathsf{H}}
\rightarrow andere orthonormale basis voor W: {\mathsf{\tilde{Q}}} ={\mathsf{Q}} {\mathsf{U}} met {\mathsf{U}}\in{\mathbb{C}}^{n\times n} unitair \Rightarrow {\mathsf{P}}_W = {\mathsf{\tilde{Q}}}{\mathsf{\tilde{Q}}}^\dagger = {\mathsf{Q}}{\mathsf{Q}}^\dagger
Anti-unitaire transformatie
{\hat{A}} een antilineaire operator tussen complexe Hilbertruimten V en W
Definitie van toegevoegde:
{\left\langle{w},{\hat{A}}{v}\right\rangle} = \overline{{\left\langle{\hat{A}}^\dagger{w},{v}\right\rangle}} = {\left\langle{v},{\hat{A}}^\dagger {w}\right\rangle}, \qquad \forall {v}\in V, {w}\in W
Antilineair en isometrisch: {\hat{A}}^\dagger {\hat{A}} = {\hat{1}}_V of dus {\left\langle{\hat{A}} {v}_1,{\hat{A}} {v}_2\right\rangle} = {\left\langle{v}_2,{v}_1\right\rangle}, \forall {v}_1,{v}_2 \in V
Antilineair en isometrisch en bijectief: anti-unitair
belangrijke rol in kwantummechanica:
alle geldige transformaties zijn unitair of anti-unitair (Wigner)
voorbeeld van anti-unitair: tijdsomkeringssymmetrie
Normale operatoren
{\hat{A}} \in \mathop{\mathrm{End}}(V) voldoet aan {\hat{A}}{\hat{A}}^\dagger = {\hat{A}}^\dagger{\hat{A}}: normale operator
speciale gevallen van normaal:
- zelftoegevoegde operator: {\hat{A}} = {\hat{A}}^\dagger
- unitaire operator: {\hat{A}}{\hat{A}}^\dagger = {\hat{A}}^\dagger{\hat{A}} = {\hat{1}}_V
Voor alle {\hat{A}} \in \mathop{\mathrm{End}}(V): {\hat{A}} = \underbrace{\frac{{\hat{A}}+{\hat{A}}^\dagger}{2}}_{{\hat{A}}_{\text{r}}} + {\mathrm{i}}\underbrace{\frac{{\hat{A}} - {\hat{A}}^\dagger}{2{\mathrm{i}}}}_{{\hat{A}}_{\text{i}}}
normaal \iff {\left[{\hat{A}}_{\text{r}},{\hat{A}}_{\text{i}}\right]}={\hat{0}}
\Rightarrow {\hat{A}}_{\text{r}} en {\hat{A}}_{\text{i}} gelijktijdig diagonaliseerbaar?
Normale operatoren: eigenschappen
{\hat{A}}\in \mathop{\mathrm{End}}(V): normaal \iff \forall {v}\in V: {\left\lVert{\hat{A}}{v}\right\rVert} = {\left\lVert{\hat{A}}^\dagger{v}\right\rVert}
{\hat{A}} \in \mathop{\mathrm{End}}(V) en normaal en {\hat{A}}{v}= \lambda {v}:
{\hat{A}}^\dagger {v}= {\overline{\lambda}} {v} (uit voorgaande)
{\hat{A}}_{\text{r}}{v}= \mathop{\mathrm{Re}}(\lambda) {v},\quad{\hat{A}}_{\text{i}}{v}= \mathop{\mathrm{Im}}(\lambda) {v} (triviaal uit voorgaande)
{\hat{A}}{w}= \mu {w} met \mu \neq \lambda \implies {\left\langle{v},{w}\right\rangle}=0 (bewijs aan bord)
{\hat{A}} \in \mathop{\mathrm{End}}(V) en normaal: {\left\lVert{\hat{A}}^n\right\rVert} = {\left\lVert{\hat{A}}\right\rVert}^n (bewijs aan bord)
{\left\lVert{\hat{A}}\right\rVert} = \rho_{{\hat{A}}} (spectraalstraal, volgt direct uit Gelfand’s formule)
{\hat{A}} kan niet nilpotent zijn (bewijs aan bord)
V eindig-dimensionaal:
{\hat{A}} is diagonaliseerbaar en eigenvectoren kunnen als orthonormale basis gekozen worden (zie H6)
Hilbert-Schmidt inwendig product
Inwendig product voor lineaire afbeeldingen {\hat{A}} \in \mathcal{B}(V,W)?
geïnduceerde norm is niet afkomstig van inwendig product
nieuwe definitie: Hilbert-Schmidt inwendig product
{\left\langle{\hat{A}},{\hat{B}}\right\rangle}_{\text{HS}} = \left.\mathop{\mathrm{tr}}\right._V({\hat{A}}^\dagger {\hat{B}})= \sum_{n} {\left\langle{e}_n,{\hat{A}}^\dagger {\hat{B}} {e}_n\right\rangle}_V = \sum_{n} {\left\langle{\hat{A}} {e}_n,{\hat{B}} {e}_n\right\rangle}_W = \sum_{m,n} {\left\langle{\hat{A}}{e}_n,{f}_m\right\rangle}_W {\left\langle{f}_m,{\hat{B}}{e}_n\right\rangle}_W = \sum_{m,n} {\left\langle{e}_n,{\hat{A}}^\dagger{f}_m\right\rangle}_V {\left\langle{\hat{B}}^\dagger {f}_m,{e}_n\right\rangle}_W = \sum_{m} {\left\langle{\hat{B}}^\dagger {f}_m,{\hat{A}}^\dagger {f}_m\right\rangle} = \left.\mathop{\mathrm{tr}}\right._W({\hat{B}}{\hat{A}}^\dagger)
met dan ook Hilbert-Schmidt norm {\left\lVert{\hat{A}}\right\rVert}_{\text{HS}} = \mathop{\mathrm{tr}}({\hat{A}}^\dagger {\hat{A}})^{1/2}
eindig-dimensionaal / matrices: {\left\lVert{\mathsf{A}}\right\rVert}_{\text{HS}} = {\left\lVert{\mathsf{A}}\right\rVert}_{\text{F}} (Frobenius)
oneindig-dimensionaal: {\left\lVert{\hat{A}}\right\rVert}_{\text{HS}} kan divergeren voor begrensde operatoren
\rightarrow voorbeeld: {\left\lVert{\hat{1}}\right\rVert}_{\text{HS}} = \sqrt{\mathop{\mathrm{dim}}(V)}
Hilbert-Schmidt operatoren = operatoren {\hat{A}} met {\left\lVert{\hat{A}}\right\rVert}_{\text{HS}} eindig
(spelen belangrijke theoretische rol in H7 en H8: Greense functies)
Toepassing: kleinste-kwadratenoplossing
Overgedetermineerd stelsel
{\mathsf{A}} \boldsymbol{x} = \boldsymbol{y} met m vergelijkingen voor n < m onbekenden:
{\mathsf{A}} \in {\mathbb{F}}^{m \times n}, \boldsymbol{x} \in {\mathbb{F}}^n en \boldsymbol{y} \in {\mathbb{F}}^m
\mathop{\mathrm{dim}}(\mathop{\mathrm{im}}({\mathsf{A}})) = \mathop{\mathrm{rank}}({\mathsf{A}}) < m:
niet voor alle \boldsymbol{y} \in {\mathbb{F}}^m bestaat er een exacte oplossing
aanname: {\mathsf{A}} heeft “volle rang” / maximale rang: \mathop{\mathrm{rank}}({\mathsf{A}})=n
kleinste-kwadratenoplossing:
\boldsymbol{x}^\ast = \mathop{\mathrm{arg\ min}}_{\boldsymbol{x} \in {\mathbb{F}}^n} {\left\lVert{\mathsf{A}}\boldsymbol{x} - \boldsymbol{y}\right\rVert}_2
orthogonale-projectietheorema: {\mathsf{A}}\boldsymbol{x}^\ast = {\mathsf{P}}_{\mathop{\mathrm{im}}({\mathsf{A}})} \boldsymbol{y}
met behulp van {\mathsf{A}}={\mathsf{Q}}{\mathsf{R}}: {\mathsf{P}}_{\mathop{\mathrm{im}}({\mathsf{A}})} = {\mathsf{Q}}{\mathsf{Q}}^{\mathsf{H}}
{\mathsf{Q}}{\mathsf{R}}\boldsymbol{x}^\ast = {\mathsf{Q}}{\mathsf{Q}}^{\mathsf{H}}\boldsymbol{y} \implies \boldsymbol{x}^\ast = {\mathsf{R}}^{-1}{\mathsf{Q}}^{\mathsf{H}}\boldsymbol{y}
{\mathsf{R}}^{-1}{\mathsf{Q}}^{\mathsf{H}}= ({\mathsf{A}}^{\mathsf{H}}{\mathsf{A}})^{-1} {\mathsf{A}}^{\mathsf{H}}= {\mathsf{A}}^+ (Moore-Penrose pseudo-inverse)
(meer details in volgend hoofdstuk)