Hoofdstuk 5 - Inwendig product en orthogonaliteit

Author

Jutho Haegeman

Published

October 28, 2025

Doel van dit hoofdstuk

Concept van inwendig product:
- geeft aanleiding tot lengte, oriëntatie, geometrie (bvb Pythogoras)
- geeft ook aanleiding tot (antilinear) isomorfisme tussen vector ruimte en zijn duale
Concept van orthogonaliteit: orthogonale projectie, orthogonale basis: enorm belangrijk voor zowel theorie als praktijk (numerieke algoritmen)
Lineaire afbeeldingen tussen inwendig product ruimten, toegevoegde afbeelding, zelftoegevoegde en normale operatoren, orthogonale en unitaire afbeeldingen
Gerelateerde concepten: bilineare en sesquilineare vormen
Toepassing: kleinste kwadratenoplossing voor overgedetermineerde systemen

Proloog: Bilineaire en sesquilineaire vormen

Bilineaire vormen

herhaling: bilineaire afbeelding B:V_1 \times V_2 \to V_3
- B(a {v}_1 + b {w}_1, {v}_2) = a B({v}_1,{v}_2) + b B({w}_1,{v}_2)
- B({v}_1, a {v}_2 + b {w}_2) = a B({v}_1,{v}_2) + b B({v}_1,{w}_2)
bilineaire vorm = bilineaire afbeelding V \times V \to {\mathbb{F}}
- speciale gevallen:
  - symmetrisch B({v},{w})=B({w},{v})
  - anti-/scheef-symmetrisch B({v},{w}) = -B({w},{v})

Bilineaire vormen en matrices

basisrepresentatie: B_V=\{{e}_1,\ldots,{e}_n\}

\Rightarrow B({v},{w}) = {v}^i \underbrace{B({e}_i,{e}_j)}_{B_{ij}\Rightarrow {\mathsf{B}}\in{\mathbb{F}}^{n\times n}} w^j = \boldsymbol{v}^{\mathsf{T}}{\mathsf{B}} \boldsymbol{w}
- (anti)symmetrisch : {\mathsf{B}} = \pm {\mathsf{B}}^{{\mathsf{T}}} \Leftrightarrow B_{ij} = \pm B_{ji}
- basistransformatie:
  - vector: \tilde{v}^i = [{\mathsf{T}}]^i_{\ j} v^j
  - duale vector: \tilde{\xi}_i = [{\mathsf{T}}^{-{\mathsf{T}}}]_i^{\ j}\xi_j
  - bilineaire vorm: \tilde{B}_{ij} = [{\mathsf{T}}^{-{\mathsf{T}}}]_i^{\ k}[{\mathsf{T}}^{-{\mathsf{T}}}]_j^{\ l}B_{kl}
  \Rightarrow behoudt (anti)symmetrie

Bilineaire en kwadratische vormen

elke bilineaire vorm kan ontbonden worden als: B({v},{w}) = \underbrace{\frac{1}{2}\left(B({v},{w})+B({w},{v})\right)}_{B_{\text{S}}({v},{w})} + \underbrace{\frac{1}{2}\left(B({v},{w})-B({w},{v})\right)}_{B_{\text{A}}({v},{w})}
kwadratische vorm = afbeelding q:V \to {\mathbb{R}} zodat

B({v},{w}) = \left(q({v}+{w})-q({v}) - q({w})\right)/2

een bilineaire vorm is (er geldt dan q({v})=B({v},{v}))
- kwadratische vorm equivalent met symmetrische bilineaire vorm
  
  (antisymmetrisch stuk geeft geen bijdrage in B({v},{v}))

Kwadratische vormen: toepassingen

kwadratische Hamiltoniaan/Lagrangiaan(harmonische oscillator): H(x,p) = \frac{1}{2m} p^2 + \frac{1}{2}m \omega^2 x^2
kegelsneden: x^2 + y^2 - z^2 = 1
tweede-orde Taylorexpansie \rightarrow Hessiaan:

f(\boldsymbol{x}) = f(\boldsymbol{x}_0) + (x-x_0)^i \partial_i f(\boldsymbol{x}_0) +\\ \quad\quad\qquad \frac{1}{2} (x-x_0)^i(x-x_0)^j \frac{\partial^2 f}{\partial x^i \partial x^j}(\boldsymbol{x}_0)

Sesquilineaire vormen

Complexe vectorruimte V:

Sesquilinaire vorm is afbeelding C:V \times V \to {\mathbb{F}} met
- C({a}{u}+ {b}{v},{w}) = {\overline{{a}}} C({u},{w}) + {\overline{{b}}} C({v},{w})
- C({u},{a}{v}+ {b}{w}) = {a}C({u},{v}) + {b}C({u},{w})
Speciale gevallen:
- C({v},{w}) = \overline{C({w},{v})}: hermitisch
- C({v},{w}) = -\overline{C({v},{w})}: anti- of scheefhermitisch

Herleidt zich tot (symmetrische of antisymmetrische) bilineaire vormen voor {\mathbb{F}}= {\mathbb{R}}

Sesquilineaire vormen en matrices

basisrepresentatie: B_V=\{{e}_1,\ldots,{e}_n\}

C({v},{w}) = \overline{v^i} C({e}_i,{e}_j) w^j = \boldsymbol{v}^{\mathsf{H}}{\mathsf{C}} \boldsymbol{w} met C_{ij} = C({e}_i,{e}_j) \Rightarrow {\mathsf{C}} \in {\mathbb{F}}^{n \times n}
- (anti)hermitisch : {\mathsf{C}} = \pm {\mathsf{C}}^{{\mathsf{H}}} \Leftrightarrow C_{ij} = \pm \overline{C_{ji}}
- basistransformatie:
  - vector: \tilde{v}^i = [{\mathsf{T}}]^i_{\ j} v^j
  - duale vector: \tilde{\xi}_i = [{\mathsf{T}}^{-{\mathsf{T}}}]_i^{\ j}\xi_j
  - sesquilineaire vorm: \tilde{C}_{ij} = [{\mathsf{T}}^{-{\mathsf{H}}}]_i^{\ k}[{\mathsf{T}}^{-{\mathsf{T}}}]_j^{\ l}C_{kl}
    
    (eenduidiger: \tilde{C}_{\bar{\imath}j} = [{\mathsf{T}}^{-{\mathsf{H}}}]_{\bar{\imath}}^{\ \bar{k}}[{\mathsf{T}}^{-{\mathsf{T}}}]_{j}^{\ l} C_{\bar{k}l} )

Bilineaire en sesquilineaire vormen

Bijkomende begrippen:

ontaard: als een {v}\in V bestaat zodat C({w},{v})=0 voor alle {w}\in V \Rightarrow \mathop{\mathrm{rank}}({\mathsf{C}}) < \mathop{\mathrm{dim}}(V) of \det({\mathsf{C}})=0
positief definiet of semidefiniet: C({v},{v}) > 0 of C({v},{v}) \geq 0 voor alle {v}\neq {o}
indefiniet: C({v},{v}) neemt positieve en negatieve waarden aan voor verschillende {v}
{\mathsf{B}} = {\mathsf{T}}^{\mathsf{T}}\tilde{{\mathsf{B}}} {\mathsf{T}} of {\mathsf{C}} = {\mathsf{T}}^{\mathsf{H}}\tilde{{\mathsf{C}}} {\mathsf{T}}: matrix congruentie \rightarrow equivalentierelatie
- behoudt geen eigenwaarden, niet compatibel met matrixvermenigvuldiging, machten, functies, …
- behoudt (anti)symmetrisch of (anti)hermitisch
- behoudt eigenwaarden 0 en dus het ontaard zijn
- behoudt positief definiet / semidefiniet , indefiniet, …
stelling: als C positief semidefiniet is maar niet positief definiet, dan is C ontaard

Inwendig productruimten

Inwendig product

Inwendig product op vectorruimte V = hermitische, positief definiete sesquilineaire vorm.

notatie: V \times V \to {\mathbb{F}}: ({v},{w}) \mapsto {\left\langle{v},{w}\right\rangle}
eigenschappen:
- lineair in tweede argument: {\left\langle{v},a_1 {w}_1 + a_2 {w}_2\right\rangle} = a_1 {\left\langle{v},{w}_1\right\rangle} + a_2 {\left\langle{v},{w}_2\right\rangle}
- hermitisch: {\left\langle{v},{w}\right\rangle} = \overline{{\left\langle{w},{v}\right\rangle}}
  
  \Rightarrow {\left\langle a_1 {v}_1 + a_2{v}_2,{w}\right\rangle} = \overline{a_1}{\left\langle{v}_1,{w}\right\rangle} + \overline{a_2} {\left\langle{v}_2,{w}\right\rangle}
- positief definiet: {v}\neq {o}\Rightarrow {\left\langle{v},{v}\right\rangle} > 0
matrixrepresentatie t.o.v. basis B_V=\{{e}_1,\ldots,{e}_n\}:

{\left\langle{v},{w}\right\rangle} = \overline{v^i} g_{ij} w^j met g_{ij} = {\left\langle{e}_i,{e}_j\right\rangle} (metriek of Gram matrix)
fysica (bvb relativiteit): metriek die indefiniet (maar niet-ontaard) is

(= pseudo-inner product)

\rightarrow gaan we hier niet gebruiken

Cauchy-Schwarz ongelijkheid

Cauchy-Schwarz-Bunjakowski: {\left\lvert{\left\langle{v},{w}\right\rangle}\right\rvert}^2 \leq {\left\langle{v},{v}\right\rangle}{\left\langle{w},{w}\right\rangle}
gevolg: {\left\lVert{v}\right\rVert} = \sqrt{{\left\langle{v},{v}\right\rangle}} is een valabele norm

\Rightarrow Cauchy-Schwarz ongelijkheid: {\left\lvert{\left\langle{v},{w}\right\rangle}\right\rvert} \leq {\left\lVert{v}\right\rVert}{\left\lVert{w}\right\rVert}

\Rightarrow als {\mathbb{F}}={\mathbb{R}}:
- -1 \leq \frac{{\left\langle{v},{w}\right\rangle}}{{\left\lVert{v}\right\rVert}{\left\lVert{w}\right\rVert}} \leq +1
- {\left\langle{v},{w}\right\rangle} = {\left\lVert{v}\right\rVert}{\left\lVert{w}\right\rVert}\cos(\theta) definieert \theta
inwendig product is continu t.o.v. de geassocieerde norm
Hilbertruimte: inwendig productruimte die metrisch compleet is

Inwendig product: voorbeelden (eindig-dimensionaal)

V={\mathbb{R}}^n: euclidisch inwendig product {\left\langle\boldsymbol{v},\boldsymbol{w}\right\rangle}= \boldsymbol{v}^{\mathsf{T}}\boldsymbol{w} = v^i \delta_{ij} w^j = \sum_{i=1}^n v^i w^i
V={\mathbb{C}}^n: natuurlijke veralgemening {\left\langle\boldsymbol{v},\boldsymbol{w}\right\rangle}= \boldsymbol{v}^{\mathsf{H}}\boldsymbol{w} = \overline{v^i} \delta_{ij} w^j = \sum_{i=1}^n \overline{v^i} w^i

\Rightarrow {\left\lVert{v}\right\rVert} = {\left\lVert{v}\right\rVert}_2 = \sqrt{\sum_{i=1}^n {\left\lvert v^i\right\rvert}^2}

\Rightarrow Cauchy-Schwarz ongelijkheid = specifiek geval van Hölder (p=q=2)
V = {\mathbb{F}}^{m \times n}: Frobenius inwendig product

{\left\langle{\mathsf{A}},{\mathsf{B}}\right\rangle}= \mathop{\mathrm{tr}}({\mathsf{A}}^{\mathsf{H}}{\mathsf{B}}) = \sum_{i=1}^m\sum_{j=1}^m \overline{A^i_{\ j}} B^i_{\ j}

Inwendig product: voorbeelden (oneindig-dimensionaal)

V=\ell^2({\mathbb{N}}_0, {\mathbb{F}}): rijen \boldsymbol{v} = (v^i \in {\mathbb{F}})_{i\in {\mathbb{N}}_0} waarvoor \sum_{i=1}^{+\infty} {\left\lvert v^i\right\rvert}^2 < \infty

\Rightarrow {\left\langle\boldsymbol{v},\boldsymbol{w}\right\rangle} = \sum_{i=1}^{+\infty} \overline{v^i} w^i

(eindig, want {\left\lvert\sum_{i=1}^{+\infty} \overline{v^i} w^i\right\rvert} \leq \sum_{i=1}^{+\infty} {\left\lvert\overline{v}^i w^i\right\rvert} \leq \frac{1}{2} \sum_{i=1}^{+\infty} \left({\left\lvert v^i\right\rvert}^2 + {\left\lvert w^i\right\rvert}^2\right))
V = C^0([a,b],{\mathbb{F}}): continue functies op [a,b] \Rightarrow {\left\langle f,g\right\rangle} = \int_a^b\,\overline{f(x)}g(x)\,{\mathrm{d}}x
- niet metrisch compleet: Cauchy rijen t.o.v. {\left\lVert\cdot \right\rVert}_2 die niet convergeren naar continue functies
V = L^2([a,b],{\mathbb{F}}): kwadratisch integreerbare functies (zie H7)

Inwendig product: bijkomende eigenschappen

Parallellogram wet: voor de norm {\left\lVert{v}\right\rVert} = \sqrt{{\left\langle{v},{v}\right\rangle}} geassocieerd aan een inwendig product geldt

{\left\lVert{v}+ {w}\right\rVert}^2 + {\left\lVert{v}- {w}\right\rVert}^2 = 2({\left\lVert{v}\right\rVert}^2 + {\left\lVert{w}\right\rVert}^2)
Gegeven een genormeerde vectorruimte (V,{\left\lVert\cdot\right\rVert}) waarbij de norm voldoet aan de parallellogramwet. Dan kan uit die norm een inwendig product worden gedefinieerd via de zogenaamde polarisatie-identiteit:

\begin{align} {\left\langle{v},{w}\right\rangle} = \begin{cases} \frac{1}{4}{\left\lVert{v}+ {w}\right\rVert}^2 - \frac{1}{4}{\left\lVert{v}- {w}\right\rVert}^2,&\text{$V$ real}\\ \frac{1}{4}{\left\lVert{v}+ {w}\right\rVert}^2 - \frac{1}{4}{\left\lVert{v}- {w}\right\rVert}^2 + \frac{{\mathrm{i}}}{4}{\left\lVert{v}- {\mathrm{i}}{w}\right\rVert}^2 - \frac{{\mathrm{i}}}{4}{\left\lVert{v}+ {\mathrm{i}}{w}\right\rVert}^2,&\text{$V$ complex} \end{cases} \end{align}

(bewijs niet te kennen)

Orthogonaliteit en unitariteit

Orthogonaliteit

Gegeven een inwendig productruimte (V,{\left\langle\ ,\ \right\rangle})

orthogonaliteit: {v}\perp {w}\iff {\left\langle{v},{w}\right\rangle}=0

uitbreiding voor A,B \subseteq V: A \perp B \iff {\left\langle{v},{w}\right\rangle}=0, \forall {v}\in A, {w}\in B
genormaliseerde vector {v}\iff {\left\lVert{v}\right\rVert} = 1

elke vector {v}\neq {o} is proportioneel met eenheidsvector {u}= {v}/ {\left\lVert{v}\right\rVert}
orthogonale verzameling: \{{v}_i; i \in I\} \iff {v}_i \perp {v}_j, \forall i\neq j
orthonormale familie / systeem: \{{v}_i; i \in I\} met {\left\langle{v}_i,{v}_j\right\rangle} = \delta_{i,j}

orthonormale rij: \{{v}_n; n \in {\mathbb{N}}\} met {\left\langle{v}_n,{v}_m\right\rangle} = \delta_{n,m}
eigenschappen:
- orthogonale verzameling is lineair onafhankelijk
- als \mathop{\mathrm{dim}}(V)=n eindig: ten hoogste n orthogonale vectoren
- Pythagoras: orthogonale verzameling \{{v}_i; i=1,\ldots,n\} {\left\lVert\sum_{i=1}^n {v}_i\right\rVert}^2 = \sum_{i=1}^n {\left\lVert{v}_i\right\rVert}^2

Orthogonaal complement

verzameling S \subseteq V:

S^\perp = \{{v}\in V | {\left\langle{w},{v}\right\rangle} = 0\ \text{voor alle}\ {w}\in S\}

eigenschappen:
- S^\perp is gesloten deelruimte
- S^\perp = ({\mathbb{F}}S)^\perp = (\overline{{\mathbb{F}}S})^\perp
- S \cap S^\perp = \{{o}\} of \{\} (afhankelijk van {o}\in S)

Orthogonale projectie

Gegeven een gesloten (!) deelruimte W {\preccurlyeq}V

stelling: orthogonale projectie van een vector {v}\in V is de vector {w}\in W die voldoet aan
- {\left\lVert{v}-{w}\right\rVert} = \inf_{{w}' \in W}{\left\lVert{v}-{w}'\right\rVert}
- of: {v}- {w}\in W^\perp
beide karakterisaties zijn equivalent en leiden tot een unieke oplossing
Gevolg: orthogonale directe som decompositie V = W \oplus W^\perp

Orthogonale projector

orthogonale projector {\hat{P}}\in\mathop{\mathrm{End}}(V):

{\hat{P}}^2 = {\hat{P}} en {\left\langle{\hat{P}}{v},{w}\right\rangle} = {\left\langle{v},{\hat{P}}{w}\right\rangle}, \forall {v},{w}\in V

\Rightarrow operator norm {\left\lVert{\hat{P}}\right\rVert} = 1
stelling:
- de projector {\hat{P}}_W op gesloten deelruimte W langsheen W^\perp is een orthogonale projector
- elke orthogonale projector leidt tot een orthogonale directe som decompositie: \mathop{\mathrm{ker}}({\hat{P}}) = \mathop{\mathrm{im}}({\hat{P}})^\perp en beide zijn gesloten deelruimten van V

Orthogonaal complement en directe som

Bijkomende eigenschappen van orthogonaal complement en orthogonale directe som:

voor elke deelverzameling S: V = S^\perp \oplus S^{\perp\perp}

(aangezien S^\perp gesloten deelruimte is)
voor elke gesloten deelruimte W: W^{\perp\perp} = W

(aangezien orthogonaal complement van W^\perp uniek is)
voor elke deelverzameling S: S^{\perp\perp} = \overline{{\mathbb{F}}S}

(aangezien S^\perp = (\overline{{\mathbb{F}}S})^\perp en voorgaande)
voor elke complete set S: S^\perp = \{0\}

(aangezien S^\perp = (\overline{{\mathbb{F}}S})^\perp = V^\perp)

Orthonormale basis

\mathop{\mathrm{dim}}(V)=n eindig: elke verzameling van n orthogonale vectoren zijn lineair onafhankelijk en vormen basis

orthogonale basis maken uit gegeven basis: zie straks
V oneindig-dimensionale Hilbertruimte (metrisch compleet): elke complete rij van orthogonale vectoren vormt een (Schauder) basis

\rightarrow bewijs in stappen op volgende slides

Orthonormale basis

Beschouw rij ({e}_n, n \in {\mathbb{N}}_0) van orthonormale vectoren:

Orthogonale projector op deelruimte W_n = {\mathbb{F}}\{{e}_i,i=1,\ldots,n\} wordt gedefinieerd door {\hat{P}}_n {v}= \sum_{i=1}^n {e}_i {\left\langle{e}_i,{v}\right\rangle}

(bewijs aan bord)

alternatief bewijs: toon aan dat voor alle {v},{w}\in V geldt
- {\hat{P}}_n {v}\in W_n
- {\hat{P}}_n {v}= {\hat{P}}_n^2 {v}
- {\left\langle{v},{\hat{P}}_n{w}\right\rangle} = {\left\langle{\hat{P}}_n{v},{w}\right\rangle}
\rightarrow karakteriseert uniek orthogonale projector op W_n

Orthonormale basis

Bessel’s ongelijkheid: \sum_{i=1}^n {\left\lvert{\left\langle{e}_i,{v}\right\rangle}\right\rvert}^2 \leq {\left\lVert{v}\right\rVert}^2

(bewijs volgt onmiddellijk uit voorgaand bewijs)

\Rightarrow de rij (\sum_{i=1}^n{\left\lvert{\left\langle{e}_i,{v}\right\rangle}\right\rvert}^2)_{n \in {\mathbb{N}}_0} is een monotoon stijgende rij met een bovengrens, en convergeert dus naar een eindige limiet \leq {\left\lVert{v}\right\rVert}^2
expansiestelling: compleet orthonormale rij vormt Schauder basis en elke vector {v}\in V kan worden geëxpandeerd als de convergente reeks {v}= \sum_{i=1}^{+\infty} {e}_i {\left\langle{e}_i,{v}\right\rangle}

Expansiestelling: gevolgen

expansiecoefficiënten: ({\left\langle{e}_i,{v}\right\rangle})_{i\in {\mathbb{N}}_0}

ook wel: veralgemeende Fourier-coefficiënten (zie volgende slide)
Bessel’s ongelijkheid \rightarrow Plancherel’s identiteit

{\left\lVert{v}\right\rVert}^2 = \sum_{i=1}^{+\infty} {\left\lvert{\left\langle{e}_i,{v}\right\rangle}\right\rvert}^2
meer algemeen: Parseval’s identiteit

{\left\langle{v},{w}\right\rangle} = \sum_{i=1}^{+\infty} {\left\langle{v},{e}_i\right\rangle}{\left\langle{e}_i,{w}\right\rangle} = \sum_{i=1}^{+\infty}{\overline{{\left\langle{e}_i,{v}\right\rangle}}}{\left\langle{e}_i,{w}\right\rangle}
de lineaire afbeelding {v}\mapsto \sum_{i=1}^{+\infty} {e}_i {\left\langle{e}_i,{v}\right\rangle} gedraagt zich als \mathop{\mathrm{id}}_V:

resolutie van de identiteit
uit dit alles:

relatie {v}\leftrightarrow ({\left\langle{e}_i,{v}\right\rangle})_{i\in {\mathbb{N}}_0} is een Hilbertruimte-isomorfisme tussen V en \ell^2({\mathbb{N}}_0; {\mathbb{F}})

Expansiestelling: voorbeeld

V = L^2([0,L], {\mathbb{C}}): rij (f_k)_{k\in {\mathbb{Z}}} met

f_k(x) = \frac{1}{\sqrt{L}}\exp\left(+{\mathrm{i}}\frac{2\pi}{L} k x\right)

is orthonormaal (controleer!) en compleet (geen bewijs).
Basisexpansie is de Fourierreeks:

f(x) = \frac{1}{\sqrt{L}}\sum_{k=-\infty}^{+\infty} F^k \exp\left(+{\mathrm{i}}\frac{2\pi}{L} k x\right)

met de (dubbelzijdige) rij Fouriercoëfficiënten (F_k)_{k \in{\mathbb{Z}}} \in \ell^2({\mathbb{Z}},{\mathbb{C}}), gegeven door

F^k = {\left\langle f_k,f\right\rangle} = \frac{1}{\sqrt{L}} \int_{0}^{L} f(x) \exp\left(-{\mathrm{i}}\frac{2\pi}{L} k x\right)\,{\mathrm{d}}x
zie hoofdstuk 7 voor meer details

Gram-Schmidt

lineair onafhankelijke vectoren: S=\{{v}_1,{v}_2,\ldots\}

\rightarrow orthonormale rij (q_1,q_2,\ldots) die zelfde (deel)ruimte opspant

\rightarrow meer specifiek: {\mathbb{F}}\{{v}_i, i=1,\ldots,n\} = {\mathbb{F}}\{q_i; i=1,\ldots,n\} voor alle n

Gram-Schmidt proces / algoritme:

\begin{align*} {w}_1 &= {v}_1& {q}_1 = {w}_1/{\left\lVert{w}_1\right\rVert}\\ {w}_2 &= {v}_2 - {\left\langle{q}_1,{v}_2\right\rangle} {q}_1 & {q}_2 = {w}_2 / {\left\lVert{w}_2\right\rVert}\\ &\ldots\\ {w}_k &= {v}_k - \sum_{j=1}^{k-1}{\left\langle{q}_j,{v}_k\right\rangle} {q}_j & {q}_k = {w}_k / {\left\lVert{w}_k\right\rVert}\\ &\ldots \end{align*} \Rightarrow {v}_k = \sum_{j=1}^{k} R^{j}_{\ k} {q}_{j} met R^j_{\ k} = {\left\langle q_j,{v}_k\right\rangle} en R^k_{\ k} = {\left\lVert{v}_k - \sum_{j=1}^{k-1}R^j_{\ k} {q}_j\right\rVert} = {\left\lVert{w}_k\right\rVert}

Opmerking: {w}_n kan enkel nul worden als {v}_n lineair afhankelijk is van \{{v}_1,\ldots,{v}_{n-1}\}

Gram-Schmidt en QR decompositie

Matrixversie: {\mathbb{F}}^n met Euclidisch inwendig product

m lineair onafhankelijke vectoren: {\mathsf{V}} = \begin{bmatrix} \boldsymbol{v}_1 | \boldsymbol{v}_2 | \dots | \boldsymbol{v}_m \end{bmatrix} \in {\mathbb{F}}^{n \times m}
Gram-Schmidt leidt tot {\mathsf{V}} = {\mathsf{Q}} {\mathsf{R}} met
- bovendriekhoeksmatrix {\mathsf{R}}
- {\mathsf{Q}} = \begin{bmatrix} \boldsymbol{q}_1 | \boldsymbol{q}_2 | \dots | \boldsymbol{q}_m \end{bmatrix}
  
  \Rightarrow {\left\langle\boldsymbol{q}_i,\boldsymbol{q}_j\right\rangle} = \boldsymbol{q}_i^{\mathsf{H}}\boldsymbol{q}_j = \delta_{i,j} \Rightarrow {\mathsf{Q}}^{\mathsf{H}}{\mathsf{Q}} = {\mathsf{I}}_m
QR-decompositie van een matrix
numeriek: keuze algoritme van belang voor stabiliteit

(classical vs modified Gram-Schmidt, Householder)

Lineaire functionalen en dualiteit van Hilbertruimten

Lineaire functionalen

Gegeven een Hilbertruimte V:

Aan elke {v}\in V associeren we een \chi_{v}\in V^\ast \chi_{v}: V \to {\mathbb{F}}: w \mapsto \chi_v[w] = {\left\langle{v},{w}\right\rangle}
- Afbeelding {v}\to \chi_{{v}} is antilineair (triviaal)
- Afbeelding {v}\to \chi_{{v}} is injectief
- Lineaire functionaal \chi_{v} is continu en dus ook begrensd
- Inderdaad: {\left\lvert\chi_{v}[w]\right\rvert} \leq {\left\lVert{v}\right\rVert} {\left\lVert{w}\right\rVert} (Cauchy-Schwarz)

\Rightarrow kunnen we elke (begrensde) functionaal zo bekomen?

Lineaire functionalen

Als V eindig-dimensionaal met B_V=\{{e}_1,\ldots,{e}_n\}:

Duale basis B^\ast_V=\{\varepsilon^1,\ldots,\varepsilon^n\}: \varepsilon^i[{e}_j] =\delta^i_{\ j}
\chi_{v}[w] = {\left\langle{v},{w}\right\rangle} = \overline{v^i} g_{ij} w^j = (\chi_{v})_j w^j

\Rightarrow \chi_{v}= \overline{v^i} g_{ij} \varepsilon^j
Inverse metriek: {\mathsf{g}}^{-1} {\mathsf{g}} = {\mathsf{I}}\iff \underbrace{g^{ij}}_{= ({\mathsf{g}}^{-1})^{ij}} g_{jk} = \delta^i_{\ k}
\xi[{w}] = \xi_j {w}^j \rightarrow \xi[{w}] = {\left\langle{v}_\xi,{w}\right\rangle}

\Rightarrow ({v}_\xi)^j = \overline{\xi_i g^{ij}}

Lineaire functionalen en vectoren

Voor V eindig-dimensionaal kunnen we elke lineaire functionaal \xi voorstellen als inwendig product met een geassocieerde vector {v}_\xi

Interpretatie en gevolgen:

\mathop{\mathrm{ker}}(\xi) heeft codimensie 1 (tenzij \xi=0):

\mathop{\mathrm{ker}}(\xi) = ({v}_\xi)^\perp (elkaars orthogonaal complement)
Met elke {v}\in V is exact één \chi \in V^\ast geassocieerd en vice versa ({v}\to \chi_{v} en \xi \to {v}_{\xi} zijn elkaars inverse)
V^\ast is zelf een Hilbertruimte met inwendig product

{\left\langle\xi,\chi\right\rangle}_{V^\ast} = {\left\langle{v}_{\chi},{v}_{\xi}\right\rangle}_V = \overline{\xi_i} g^{ij} \chi_j
V en V^\ast zijn (anti)isomorf als Hilbertruimten:

de bijectieve afbeelding {v}\to \chi_{v} behoudt inwendig product en lineaire combinaties (maar met complexe toevoeging van scalaire factoren)

Representatiestelling van Riesz

Geldt dit ook voor oneindig-dimensionale Hilbertruimten V?

Vanaf nu: V^\ast = \mathcal{B}(V,{\mathbb{F}}) (begrensde lineaire functionalen)
Representatiestelling van Riesz:

voor elke \xi \in V^\ast bestaat er {v}_\xi \in V zodat \xi[{w}] = {\left\langle{v}_\xi,{w}\right\rangle} voor alle {w}\in V

Bewijs:
- \mathop{\mathrm{ker}}(\xi) is gesloten wegens continuïteit
- orthogonaal complement is één-dimensionaal
- we kunnen een element uit \mathop{\mathrm{ker}}(\xi)^\perp kiezen zodat gelijkheid geldt
Gevolg: voor Hilbertruimten geldt V \cong V^\ast

Begrensde lineaire afbeeldingen tussen Hilbertruimten

Begrensde lineaire afbeeldingen

Hilbertruimten (V, {\left\langle\ ,\ \right\rangle}_V) en (W, {\left\langle\ ,\ \right\rangle}_W); lineaire afbeelding {\hat{A}} \in \mathcal{B}(V,W)

Geinduceerde norm:

\begin{align*} {\left\lVert{\hat{A}}\right\rVert} &= \sup_{\substack{ {v}\in V\\ {v}\neq {o}}} \frac{{\left\lVert{\hat{A}}{v}\right\rVert}_W}{{\left\lVert{v}\right\rVert}_V} = \sup_{\substack{{v}\in V\\ {\left\lVert{v}\right\rVert}_V = 1}} {\left\lVert{\hat{A}}{v}\right\rVert}_W\\ &= \sup_{\substack{{v}\in V, {w}\in W \\ {v}\neq {o}, {w}\neq {o}}} \frac{{\left\lvert{\left\langle{w},{\hat{A}}{v}\right\rangle}_W\right\rvert}}{{\left\lVert{w}\right\rVert}_W {\left\lVert{v}\right\rVert}_V} = \sup_{\substack{{v}\in V, {w}\in V \\ {\left\lVert{v}\right\rVert}_V = 1, {\left\lVert{w}\right\rVert}_W=1}} {\left\lvert{\left\langle{w},{\hat{A}}{v}\right\rangle}_W\right\rvert}. \end{align*}
\mathop{\mathrm{ker}}({\hat{A}}) van begrensde lineaire afbeelding is altijd gesloten deelruimte
\mathop{\mathrm{im}}({\hat{A}}) is niet noodzakelijk gesloten:
- beschouw ({w}_n \in \mathop{\mathrm{im}}({\hat{A}})) met \lim_{n\to\infty} {w}_n ={w}
- voor elke {w}_n bestaat er (niet noodzakelijk uniek) {v}_n \in V met {w}_n = {\hat{A}}{v}_n
- geen garantie dat ({v}_n \in V) Cauchy rij is, en dus dat limiet bestaat

Eindig-dimensionaal en basisrepresentatie

Basis voor V: B_V = \{{e}_1,\ldots,{e}_n\}
Basis voor W: B_W = \{{f}_1,\ldots,{f}_m\}

\Rightarrow Duale basis voor W^\ast: B_W^\ast = \{\varphi^1,\ldots,\varphi^m\}
Matrixrepresentatie {\hat{A}}{e}_j = A^i_{\ j} {f}_i \Rightarrow A^i_{\ j} = \varphi^i[{\hat{A}}{e}_j]
Als B_W een orthonormale basis is: A^i_{\ j}= {\left\langle{f}_i,{\hat{A}}{e}_j\right\rangle}
- Inderdaad: \varphi^i[{f}_j] = \delta^i_{\ j} = {\left\langle{f}_i,{f}_j\right\rangle}
  
  \Rightarrow {f}_i is de vector die door de representatiestelling van Riesz wordt geassocieerd aan de lineaire basisfunctionaal \varphi^i

Toegevoegde van een afbeelding

Voor elke {\hat{A}}\in \mathcal{B}(V,W) bestaat er een afbeelding in \mathcal{B}(W,V) die we noteren als {\hat{A}}^\dagger en die voldoet aan

{\left\langle{w},{\hat{A}}{v}\right\rangle} = {\left\langle{\hat{A}}^\dagger{w},{v}\right\rangle},\quad \forall {w}\in W, \forall{v}\in V

en {\left\lVert{\hat{A}}^\dagger\right\rVert}={\left\lVert{\hat{A}}\right\rVert}

Eigenschappen van \dagger (‘dagger’):

antilineair: (a{\hat{A}} + b {\hat{B}})^\dagger = {\overline{a}} {\hat{A}}^\dagger + {\overline{b}} {\hat{B}}^\dagger
anti-homomorphisme voor compositie: ({\hat{A}}{\hat{B}})^\dagger = {\hat{B}}^\dagger {\hat{A}}^\dagger
involutief: {\hat{A}}^{\dagger\dagger} = ({\hat{A}}^\dagger)^\dagger = {\hat{A}}

Toegevoegde afbeelding: matrixrepresentatie

Voor V en W eindig-dimensionaal:

{\left\langle{w},{\hat{A}}{v}\right\rangle} = {\left\langle{\hat{A}}^\dagger{w},{v}\right\rangle} \quad\iff {\overline{w}}^i ({\mathsf{g}}_W)_{ij} A^j_{\ k} v^k = \overline{(A^\dagger)^l_{\ i} w^i} ({\mathsf{g}}_V)_{lk} v^k

\Rightarrow (A^\dagger)^l_{\ i} = \overline{({\mathsf{g}}_W)_{ij} A^j_{\ k} ({\mathsf{g}}_V^{-1})^{k l}}

Als B_V en B_W orthonormaal:

(A^\dagger)^l_{\ i} = \overline{A^i_{\ l}} = ({\mathsf{A}}^{\mathsf{H}})^l_{\ i}
toegevoegde afbeelding voorgesteld door Hermitisch toegevoegde matrixrepresentatie

Toegevoegde afbeelding: eigenschappen

Beschouw {\hat{A}}\in\mathcal{B}(V,W)

{\left\lVert{\hat{A}}^\dagger{\hat{A}}\right\rVert} = {\left\lVert{\hat{A}}{\hat{A}}^\dagger\right\rVert} = {\left\lVert{\hat{A}}\right\rVert}^2
\mathop{\mathrm{ker}}({\hat{A}}^\dagger) = \mathop{\mathrm{im}}({\hat{A}})^\perp

Gevolgen:
- W = \mathop{\mathrm{ker}}({\hat{A}}^\dagger) \oplus \overline{\mathop{\mathrm{im}}({\hat{A}})}
- V = \mathop{\mathrm{ker}}({\hat{A}})\oplus \overline{\mathop{\mathrm{im}}({\hat{A}}^\dagger)}

Toegevoegde afbeelding: voorbeeld

Oneindig-dimensionaal voorbeeld:

V = W = \ell^2({\mathbb{N}}_0,{\mathbb{F}}) (kwadratisch sommeerbare rijen)
- {\left\langle{v},vw\right\rangle} = {\overline{w^1}}v^1+{\overline{w^2}}v^2+{\overline{w^3}}v^3+\ldots
{\hat{S}} en {\hat{T}} zijn de rechtse en linkse “verschuif”-operatoren:
- {\hat{S}}(v^1,v^2,v^3,\dots)= (0, v^1,v^2, \dots)
- {\hat{T}}(v^1,v^2,v^3,\dots)= (v^2,v^3,v^4,\dots)
{\left\langle\boldsymbol{w},{\hat{S}}\boldsymbol{v}\right\rangle} = {\overline{w^2}} v^1 + {\overline{w^3}} v^2 + {\overline{w^4}} v^3 + \dots = {\left\langle{\hat{T}}\boldsymbol{w},\boldsymbol{v}\right\rangle}
\Rightarrow {\hat{T}} = {\hat{S}}^\dagger

Zelf-toegevoegde operatoren

Hilbertruimte V=W: operatoren

een operator is zelftoegevoegd als {\hat{A}}={\hat{A}}^\dagger

\Rightarrow matrixvoorstelling ten opzichte van orthonormale basis: {\mathsf{A}} = {\mathsf{A}}^{\mathsf{H}}
met elke operator {\hat{A}}\in \mathop{\mathrm{End}}(V) kunnen we een sesquilineaire vorm associëren:

A({v},{w}) = {\left\langle{v},{\hat{A}}{w}\right\rangle}

\Rightarrow eigenschappen van sesquilineaire vormen kunnen worden geassocieerd aan operatoren:
- (anti)Hermitisch: A({v},{w}) = \pm \overline{A({w},{v})} \iff {\left\langle{v},{\hat{A}}{w}\right\rangle} = \pm {\left\langle{\hat{A}}{v},{w}\right\rangle}
  
  \Rightarrow zelftoegevoegd impliceert Hermitisch
  
  (en vice versa, voor begrensde operatoren, zie later voor onbegrensde)
  
  (terminologie “zelftoegevoegd” en “Hermitisch” vaak door elkaar gebruikt)
- positief (semi)definiet: {\left\langle{v},{\hat{A}}{v}\right\rangle} > 0 of \geq 0 voor alle {v}\in V

Zelf-toegevoegde operatoren: eigenschappen

{\hat{A}}\in\mathop{\mathrm{End}}(V) zelftoegevoegd en {\hat{A}}{v}= \lambda {v}:

{\left\langle{v},{\hat{A}}{v}\right\rangle} = {\left\langle{\hat{A}}{v},{v}\right\rangle} \implies \lambda = {\overline{\lambda}} of dus \lambda \in {\mathbb{R}}
{\hat{A}}\in\mathop{\mathrm{End}}(V) zelftoegevoegd:

p({\hat{A}}) zelftoegevoegd voor p een polynoom met reële coefficiënten
{\hat{A}},{\hat{B}}\in\mathop{\mathrm{End}}(V) zelftoegevoegd:

{\hat{A}}{\hat{B}} zelftoegevoegd \iff {\left[{\hat{A}},{\hat{B}}\right]} = {\hat{0}}
orthogonale projector \equiv zelftoegevoegde projector
voorbeeld op V =L^2([a,b]): {\hat{M}}_x: f(x) \mapsto x f(x)

{\left\langle g,{\hat{M}}_x f\right\rangle} = \int_a^b \overline{g(x)} (x f(x)) \,{\mathrm{d}}x = \int_{a}^b \overline{x g(x)} f(x)\,{\mathrm{d}}x = {\left\langle{\hat{M}}_x g,f\right\rangle}

\Rightarrow {\hat{M}}_x is zelftoegevoegd / Hermitisch

({\hat{M}}_x is begrensd voor L^2([a,b]) met compact interval [a,b]; zie H7)

Isometrische en unitaire afbeeldingen

Beschouw {\hat{Q}}\in \mathcal{B}(V,W):

isometrisch \iff {\hat{Q}}^\dagger{\hat{Q}}={\hat{1}}_V

Bewijs: \forall {v},{v}' \in V: d_W({\hat{Q}}{v},{\hat{Q}}{v}') = {\left\lVert{\hat{Q}}{v}- {\hat{Q}}{v}'\right\rVert} = d_V({v},{v}') = {\left\lVert{v}-{v}'\right\rVert}

\iff {\left\lVert{\hat{Q}}{v}\right\rVert} = {\left\lVert{v}\right\rVert} voor alle {v}\in V

\iff {\left\langle{v},{\hat{Q}}^\dagger {\hat{Q}}{v}\right\rangle} = {\left\langle{v},{v}\right\rangle} of dus {\left\langle{v},({\hat{Q}}^\dagger{\hat{Q}}-{\hat{1}}_V){v}\right\rangle}=0 voor alle {v}\in V

\iff {\left\langle{v},{\hat{Q}}^\dagger {\hat{Q}}{w}\right\rangle} = {\left\langle{v},{w}\right\rangle} voor alle {v},{w}\in V

(\Leftarrow triviaal, \Rightarrow via {\left\langle{v}+a{w},({\hat{Q}}^\dagger {\hat{Q}}-{\hat{1}}_V)({v}+a{w})\right\rangle}=0 en a juist kiezen)
uit H4: isometrisch \implies injectief

als ook surjectief (en dus bijectief): unitaire transformatie ( orthogonaal als {\mathbb{F}}={\mathbb{R}})

als {\hat{U}}^{-1} bestaat en {\hat{U}}^\dagger {\hat{U}}={\hat{1}}_V \implies {\hat{U}}^{-1}={\hat{U}}^\dagger en dus {\hat{U}}{\hat{U}}^\dagger = {\hat{1}}_W

Isometrische en unitaire afbeeldingen

(zoals steeds) V, W met \mathop{\mathrm{dim}}(V) = \mathop{\mathrm{dim}}(W) eindig: isometrisch \iff unitair
- tegenvoorbeeld als oneindig-dimensionaal: V=W = \ell^2({\mathbb{N}}_0)
  
  {\hat{T}}{\hat{S}}={\hat{S}}^\dagger{\hat{S}} = {\hat{1}} en {\hat{S}}{\hat{S}}^\dagger = {\hat{P}} met {\hat{P}}(v^1,v^2,v^3,\ldots) = (0, v^2, v^3,\ldots)
als unitaire afbeelding V \to W bestaat: V \cong W isomorf als Hilbertruimten
- elke n-dimensionale Hilbertruimteruimte is isomorf met {\mathbb{C}}^n met Euclidisch inwendig product (via keuze van orthonormale basis)
- elke (separabele) oneindig-dimensionale Hilbertruimte is isomorf met \ell^2({\mathbb{N}}_0) via keuze van een complete orthonormale rij = orthonormale basis
voor {\hat{S}}\in\mathop{\mathrm{End}}(V) met {\hat{S}} = -{\hat{S}}^\dagger:

{\hat{U}} = \exp({\hat{S}}) is unitaire transformatie van V naar zichzelf
- \exp({\hat{S}})^{-1} = \exp(-{\hat{S}}) = \exp({\hat{S}}^\dagger)=\exp({\hat{S}})^\dagger
- vaak geschreven als {\hat{U}}=\exp({\mathrm{i}}{\hat{H}}) met {\hat{H}}={\hat{H}}^\dagger
{\hat{Q}} isometrisch maar niet unitair: {\hat{Q}}{\hat{Q}}^\dagger is orthogonale projector

Isometrische en unitaire matrices

unitaire matrices {\mathsf{U}} \in {\mathbb{C}}^{n\times n}: basistransformatie tussen orthonormale basissen
- B_V = \{{e}_1,{e}_2,\ldots,{e}_n\} en \tilde{B}_V = \{\tilde{{e}}_1,\tilde{{e}}_2,\ldots,\tilde{{e}}_n\}
- \tilde{{e}}_i = U^j_{\ i} {e}_{j}
- \delta_{ij} = {\left\langle\tilde{{e}}_i,\tilde{{e}}_j\right\rangle} = \overline{U^k_{\ i}} U^l_{\ j} {\left\langle{e}_k,{e}_l\right\rangle} = \overline{U^k_{\ i}} U^l_{\ j} \delta_{kl} of dus {\mathsf{U}}^{\mathsf{H}}{\mathsf{U}} = {\mathsf{I}}
isometrische matrix {\mathsf{Q}} \in {\mathbb{C}}^{m \times n} met m \geq n:
- isometrische afbeelding van {\mathbb{C}}^n naar {\mathbb{C}}^m
  
  (of: matrixrepresentatie van isometrische afbeelding V \to W ten opzichte van orthonormale basissen in V en W)
- kolommen van {\hat{Q}} definiëren orthonormale basis \{\boldsymbol{q}_1,\ldots,\boldsymbol{q}_n\} voor n-dimensionale deelruimte W {\preccurlyeq}{\mathbb{C}}^m.
  
  {\mathsf{P}}_W = \sum_{i=1}^n \boldsymbol{q}_i \boldsymbol{q}_i^{\mathsf{H}}= {\mathsf{Q}}{\mathsf{Q}}^{\mathsf{H}} en {\mathsf{P}}_{W^\perp} = {\mathsf{I}}- {\mathsf{Q}}{\mathsf{Q}}^{\mathsf{H}}
  
  \rightarrow andere orthonormale basis voor W: {\mathsf{\tilde{Q}}} ={\mathsf{Q}} {\mathsf{U}} met {\mathsf{U}}\in{\mathbb{C}}^{n\times n} unitair \Rightarrow {\mathsf{P}}_W = {\mathsf{\tilde{Q}}}{\mathsf{\tilde{Q}}}^\dagger = {\mathsf{Q}}{\mathsf{Q}}^\dagger

Anti-unitaire transformatie

{\hat{A}} een antilineaire operator tussen complexe Hilbertruimten V en W

Definitie van toegevoegde:

{\left\langle{w},{\hat{A}}{v}\right\rangle} = \overline{{\left\langle{\hat{A}}^\dagger{w},{v}\right\rangle}} = {\left\langle{v},{\hat{A}}^\dagger {w}\right\rangle}, \qquad \forall {v}\in V, {w}\in W
Antilineair en isometrisch: {\hat{A}}^\dagger {\hat{A}} = {\hat{1}}_V of dus {\left\langle{\hat{A}} {v}_1,{\hat{A}} {v}_2\right\rangle} = {\left\langle{v}_2,{v}_1\right\rangle}, \forall {v}_1,{v}_2 \in V
Antilineair en isometrisch en bijectief: anti-unitair
- belangrijke rol in kwantummechanica:
  
  alle geldige transformaties zijn unitair of anti-unitair (Wigner)
- voorbeeld van anti-unitair: tijdsomkeringssymmetrie

Normale operatoren

{\hat{A}} \in \mathop{\mathrm{End}}(V) voldoet aan {\hat{A}}{\hat{A}}^\dagger = {\hat{A}}^\dagger{\hat{A}}: normale operator
speciale gevallen van normaal:
- zelftoegevoegde operator: {\hat{A}} = {\hat{A}}^\dagger
- unitaire operator: {\hat{A}}{\hat{A}}^\dagger = {\hat{A}}^\dagger{\hat{A}} = {\hat{1}}_V
Voor alle {\hat{A}} \in \mathop{\mathrm{End}}(V): {\hat{A}} = \underbrace{\frac{{\hat{A}}+{\hat{A}}^\dagger}{2}}_{{\hat{A}}_{\text{r}}} + {\mathrm{i}}\underbrace{\frac{{\hat{A}} - {\hat{A}}^\dagger}{2{\mathrm{i}}}}_{{\hat{A}}_{\text{i}}}

normaal \iff {\left[{\hat{A}}_{\text{r}},{\hat{A}}_{\text{i}}\right]}={\hat{0}}

\Rightarrow {\hat{A}}_{\text{r}} en {\hat{A}}_{\text{i}} gelijktijdig diagonaliseerbaar?

Normale operatoren: eigenschappen

{\hat{A}}\in \mathop{\mathrm{End}}(V): normaal \iff \forall {v}\in V: {\left\lVert{\hat{A}}{v}\right\rVert} = {\left\lVert{\hat{A}}^\dagger{v}\right\rVert}
{\hat{A}} \in \mathop{\mathrm{End}}(V) en normaal en {\hat{A}}{v}= \lambda {v}:
- {\hat{A}}^\dagger {v}= {\overline{\lambda}} {v} (uit voorgaande)
- {\hat{A}}_{\text{r}}{v}= \mathop{\mathrm{Re}}(\lambda) {v},\quad{\hat{A}}_{\text{i}}{v}= \mathop{\mathrm{Im}}(\lambda) {v} (triviaal uit voorgaande)
- {\hat{A}}{w}= \mu {w} met \mu \neq \lambda \implies {\left\langle{v},{w}\right\rangle}=0
{\hat{A}} \in \mathop{\mathrm{End}}(V) en normaal: {\left\lVert{\hat{A}}^n\right\rVert} = {\left\lVert{\hat{A}}\right\rVert}^n
- {\left\lVert{\hat{A}}\right\rVert} = \rho_{{\hat{A}}} (spectraalstraal, volgt direct uit Gelfand’s formule)
- {\hat{A}} kan niet nilpotent zijn
- V eindig-dimensionaal:
  
  {\hat{A}} is diagonaliseerbaar en eigenvectoren kunnen als orthonormale basis gekozen worden (zie H6)

Hilbert-Schmidt inwendig product

Inwendig product voor lineaire afbeeldingen {\hat{A}} \in \mathcal{B}(V,W)?

geïnduceerde norm is niet afkomstig van inwendig product
nieuwe definitie: Hilbert-Schmidt inwendig product

{\left\langle{\hat{A}},{\hat{B}}\right\rangle}_{\text{HS}} = \left.\mathop{\mathrm{tr}}\right._V({\hat{A}}^\dagger {\hat{B}})= \sum_{n} {\left\langle{e}_n,{\hat{A}}^\dagger {\hat{B}} {e}_n\right\rangle}_V = \sum_{n} {\left\langle{\hat{A}} {e}_n,{\hat{B}} {e}_n\right\rangle}_W = \sum_{m,n} {\left\langle{\hat{A}}{e}_n,{f}_m\right\rangle}_W {\left\langle{f}_m,{\hat{B}}{e}_n\right\rangle}_W = \sum_{m,n} {\left\langle{e}_n,{\hat{A}}^\dagger{f}_m\right\rangle}_V {\left\langle{\hat{B}}^\dagger {f}_m,{e}_n\right\rangle}_W = \sum_{m} {\left\langle{\hat{B}}^\dagger {f}_m,{\hat{A}}^\dagger {f}_m\right\rangle} = \left.\mathop{\mathrm{tr}}\right._W({\hat{B}}{\hat{A}}^\dagger)

met dan ook Hilbert-Schmidt norm {\left\lVert{\hat{A}}\right\rVert}_{\text{HS}} = \mathop{\mathrm{tr}}({\hat{A}}^\dagger {\hat{A}})^{1/2}
- eindig-dimensionaal / matrices: {\left\lVert{\mathsf{A}}\right\rVert}_{\text{HS}} = {\left\lVert{\mathsf{A}}\right\rVert}_{\text{F}} (Frobenius)
- oneindig-dimensionaal: {\left\lVert{\hat{A}}\right\rVert}_{\text{HS}} kan divergeren voor begrensde operatoren
  
  \rightarrow voorbeeld: {\left\lVert{\hat{1}}\right\rVert}_{\text{HS}} = \sqrt{\mathop{\mathrm{dim}}(V)}
- Hilbert-Schmidt operatoren = operatoren {\hat{A}} met {\left\lVert{\hat{A}}\right\rVert}_{\text{HS}} eindig
  
  (spelen belangrijke theoretische rol in H7 en H8: Greense functies)

Toepassing: kleinste-kwadratenoplossing

Overgedetermineerd stelsel

{\mathsf{A}} \boldsymbol{x} = \boldsymbol{y} met m vergelijkingen voor n < m onbekenden:

{\mathsf{A}} \in {\mathbb{F}}^{m \times n}, \boldsymbol{x} \in {\mathbb{F}}^n en \boldsymbol{y} \in {\mathbb{F}}^m
\mathop{\mathrm{dim}}(\mathop{\mathrm{im}}({\mathsf{A}})) = \mathop{\mathrm{rank}}({\mathsf{A}}) < m:

niet voor alle \boldsymbol{y} \in {\mathbb{F}}^m bestaat er een exacte oplossing
aanname: {\mathsf{A}} heeft “volle rang” / maximale rang: \mathop{\mathrm{rank}}({\mathsf{A}})=n
kleinste-kwadratenoplossing:

\boldsymbol{x}^\ast = \mathop{\mathrm{arg\ min}}_{\boldsymbol{x} \in {\mathbb{F}}^n} {\left\lVert{\mathsf{A}}\boldsymbol{x} - \boldsymbol{y}\right\rVert}_2

orthogonale-projectietheorema: {\mathsf{A}}\boldsymbol{x}^\ast = {\mathsf{P}}_{\mathop{\mathrm{im}}({\mathsf{A}})} \boldsymbol{y}
met behulp van {\mathsf{A}}={\mathsf{Q}}{\mathsf{R}}: {\mathsf{P}}_{\mathop{\mathrm{im}}({\mathsf{A}})} = {\mathsf{Q}}{\mathsf{Q}}^{\mathsf{H}}
- {\mathsf{Q}}{\mathsf{R}}\boldsymbol{x}^\ast = {\mathsf{Q}}{\mathsf{Q}}^{\mathsf{H}}\boldsymbol{y} \implies \boldsymbol{x}^\ast = {\mathsf{R}}^{-1}{\mathsf{Q}}^{\mathsf{H}}\boldsymbol{y}
- {\mathsf{R}}^{-1}{\mathsf{Q}}^{\mathsf{H}}= ({\mathsf{A}}^{\mathsf{H}}{\mathsf{A}})^{-1} {\mathsf{A}}^{\mathsf{H}}= {\mathsf{A}}^+ (Moore-Penrose pseudo-inverse)
  
  (meer details in volgend hoofdstuk)