Hoofdstuk 6 - Unitaire gelijkvormigheid en unitaire equivalentie

Doel van dit hoofdstuk

$$ % Math operators % %

% VECTORS

% specifically for vectors in F^n

% MATRICES

% SCALARS

% LINEAR MAPS

% FIELDS

% RELATIONS

% % % % % % % % %

%

$$

• Overzicht van belangrijkste algoritmen, matrixdecomposities en toepassingen gebaseerd op unitaire transformaties
• Elementaire unitaire transformaties = bouwstenen
  • permutaties,
  • Givens & Householder transformaties
  • discrete Fouriertransformatie
• QR decompositie

Doel van dit hoofdstuk

• Unitaire gelijkvormigheid: Schur triangulatie

  (basis voor eigenwaardeproblemen)

• Canonische vorm voor bilineaire vormen:

  traagheidswet van Sylvester

• Unitaire equivalentie: singuliere waardendecompositie

  • kleinste kwadratenoplossing / Moore-Penrose inverse
  • normen voor matrices
  • lage-rang benaderingen

Unitaire en orthogonale groep

Unitaire groep en speciaal unitaire groep

• unitaire groep: \(\mathop{\mathrm{U}}(n) = \{{\mathsf{U}}\in{\mathbb{C}}^{n\times n} | {\mathsf{U}}^{\mathsf{H}}{\mathsf{U}} = {\mathsf{I}}_n = {\mathsf{U}}{\mathsf{U}}^{\mathsf{H}}\}\)

  • compacte deelverzameling van \({\mathbb{C}}^{n \times n}\) (geen deelruimte)

    \(\Rightarrow\) belangrijk voor numerieke stabiliteit

  • \({\left\lvert\det({\mathsf{U}})\right\rvert} = 1 \implies \det({\mathsf{U}}) \in \mathop{\mathrm{U}}(1)\)

  • deelgroep: \(\mathop{\mathrm{SU}}(n) = \{{\mathsf{U}}\in \mathop{\mathrm{U}}(n) | \det({\mathsf{U}})=1\}\)

  • \({\mathsf{U}}(t) = \exp(t{\mathsf{A}}) \in \mathop{\mathrm{U}}(n) \iff {\mathsf{A}} = -{\mathsf{A}}^{\mathsf{H}}\)

    • \(\frac{{\mathrm{d}}\ }{{\mathrm{d}}t}{\mathsf{U}}(t) = {\mathsf{A}}{\mathsf{U}}(t)\) met \({\mathsf{U}}(0) = {\mathsf{I}}_n\)
    • vaak \({\mathsf{A}} = {\mathrm{i}}{\mathsf{H}}\) met \({\mathsf{H}} = {\mathsf{H}}^{\mathsf{H}}\)
    • \({\mathsf{A}}\) of \({\mathsf{H}}\) geparameteriseerd door \(n^2\) reële getallen
    • \({\mathsf{U}}(t) \in \mathop{\mathrm{SU}}(n) \iff \mathop{\mathrm{tr}}({\mathsf{A}})=0\): \(n^2-1\) reële getallen

  • \(\mathop{\mathrm{U}}(n)\) is samenhangend:

    • continu pad \({\mathsf{U}}(t)=\exp(t {\mathsf{A}})\) verbind \({\mathsf{U}}(0)={\mathsf{I}}_n\) met \({\mathsf{U}}(1)= {\mathsf{U}}\), via keuze \({\mathsf{A}}=\log({\mathsf{U}})\) (bestaat steeds, maar niet uniek)

Orthogonale groep en speciaal orthogonale groep

• orthogonale groep: \(\mathop{\mathrm{O}}(n) = \{{\mathsf{O}}\in{\mathbb{R}}^{n\times n} | {\mathsf{O}}^{\mathsf{T}}{\mathsf{O}} = {\mathsf{I}}_n = {\mathsf{O}}{\mathsf{O}}^{\mathsf{H}}\} = \mathop{\mathrm{U}}(n) \cap {\mathbb{R}}^{n \times n}\)

  • \(\det({\mathsf{O}}) = \pm 1 \implies \mathop{\mathrm{O}}(n)\) niet samenhangend
  • deelgroep: \(\mathop{\mathrm{SO}}(n) = \{{\mathsf{O}}\in \mathop{\mathrm{O}}(n) | \det({\mathsf{O}})=1\}\): “rotaties”
  • \({\mathsf{O}}(t) = \exp(t{\mathsf{A}})\) met \({\mathsf{A}} = -{\mathsf{A}}^{\mathsf{T}}\) \(\implies {\mathsf{O}}(t) \in \mathop{\mathrm{SO}}(n)\)
    • \({\mathsf{O}} \in \mathop{\mathrm{O}}(n)\) met \(\det({\mathsf{O}})=-1\) kan niet worden verbonden via continu pad met \({\mathsf{I}}_n\), wel met elke andere orthogonale matrix \({\mathsf{\tilde{O}}}\) met \(\det({\mathsf{\tilde{O}}})=-1\)
    • \(\det(-{\mathsf{I}}_n)= (-1)^n\)

Elementaire unitaire transformaties

Permutatiematrices

Permutatie van \(n\) elementen: \(\sigma \in S_n\)

Permutatiematrix \({\mathsf{P}}(\sigma)\): \(({\mathsf{P}}(\sigma))^i_{\ j} = \delta^i_{\sigma(j)}\)

\(\Rightarrow\) \({\mathsf{P}}(\sigma) \in \mathop{\mathrm{O}}(n)\): \({\mathsf{P}}(\sigma)^{\mathsf{T}}= {\mathsf{P}}(\sigma)^{-1} = {\mathsf{P}}(\sigma^{-1})\)

Elke orthogonale/unitaire matrix met enkel 0 en 1 als elementen is een permutatiematrix (exact één element 1 in elke rij en elke kolom)

Givenstransformatie

\({\mathsf{G}} \in {\mathbb{F}}^{n \times n}\) met

\[\begin{align} G^k_{\ k} &= 1\ \text{for}\ k\neq i, k\neq j, & G^{i}_{\ i} &= G^j_{\ j} = c,& G^{j}_{\ i} &= {\overline{s}}, &G^{i}_{\ j} &= -s \end{align}\]

en \(1 \leq i < j \leq n\) en \({\left\lvert c\right\rvert}^2 + {\left\lvert s\right\rvert}^2 = 1\)

• Interpretatie \({\mathbb{F}}={\mathbb{R}}\):

  rotatie in het vlak opgespannen door coördinaatassen \(i\) en \(j\)

• Voornaamste toepassing:

  basistransformatie zodat een specifiek element uit een vector nul wordt

  voor rij \(i\) en rij \(j\) krijgen we \[\begin{align} \begin{bmatrix} a^i = a\\ a^j = b \end{bmatrix} = \begin{bmatrix} c & -s \\ {\overline{s}} & c \end{bmatrix} \begin{bmatrix} r \\ 0 \end{bmatrix} \end{align}\]

  met bijvoorbeeld (niet volledig uniek: hier keuze \(c > 0\)) \[\begin{align} c &= \frac{{\left\lvert a\right\rvert}}{\sqrt{{\left\lvert a\right\rvert}^2+{\left\lvert b\right\rvert}^2}}, &s &= \frac{a}{{\left\lvert a\right\rvert}} \frac{ {\overline{b}}}{\sqrt{{\left\lvert a\right\rvert}^2+{\left\lvert b\right\rvert}^2}}, &r &= \frac{a}{{\left\lvert a\right\rvert}} \sqrt{{\left\lvert a\right\rvert}^2+{\left\lvert b\right\rvert}^2} \end{align}\]

  en \(r = \frac{a}{{\left\lvert a\right\rvert}} \sqrt{{\left\lvert a\right\rvert}^2+{\left\lvert b\right\rvert}^2}\)

Householder transformatie

\({\mathsf{H}}\in{\mathbb{F}}^{n \times n}\) op basis van \(\boldsymbol{v} \in {\mathbb{F}}^n\):

\[{\mathsf{H}} = {\mathsf{I}}_n - \frac{2}{\boldsymbol{v}^{\mathsf{H}}\boldsymbol{v}}\boldsymbol{v}\boldsymbol{v}^{\mathsf{H}}\]

\(\Rightarrow {\mathsf{H}}^{\mathsf{H}}= {\mathsf{H}}^{-1} = {\mathsf{H}}\)

• Interpretatie voor \({\mathbb{F}}= {\mathbb{R}}\):

  spiegeling omheen het (hyper)vlak (codimensie 1) loodrecht op \(\boldsymbol{v}\) (\(\det{{\mathsf{H}}}=-1\))

• Voornaamste toepassing:

  basistransformatie zodat op één na alle elementen uit een vector \(\boldsymbol{w}=(w^1,\ldots,w^n)\) op nul worden afgebeeld

  \[{\mathsf{H}} \boldsymbol{w} = \boldsymbol{w} - \frac{2\boldsymbol{v}^{\mathsf{H}}\boldsymbol{w}}{\boldsymbol{v}^{\mathsf{H}}\boldsymbol{v}} \boldsymbol{v} = {\mathrm{e}}^{{\mathrm{i}}\theta} {\left\lVert\boldsymbol{w}\right\rVert} \boldsymbol{e}_1\quad\text{(norm moet behouden blijven)}\]

  Oplossing (niet uniek): \(\boldsymbol{v} = \boldsymbol{w} + \alpha \boldsymbol{e}_1\) met \(\alpha =\pm \frac{w^1}{{\left\lvert w^1\right\rvert}}{\left\lVert w\right\rVert}\)

  \(\Rightarrow {\mathsf{H}}\boldsymbol{w} = \mp \frac{w^1}{{\left\lvert w^1\right\rvert}}{\left\lVert w\right\rVert} \boldsymbol{e}_1\)

Discrete Fouriertransformatie

Functies \(f:\{0,\ldots,n-1\} \to {\mathbb{C}}\) \(\quad(\eqsim (f_0,f_1,\ldots,f_{n-1})=\boldsymbol{f} \in {\mathbb{C}}^n)\)

• Discrete Fouriertransformatie: \[F_k = \frac{1}{\sqrt{n}}\sum_{j=0}^{n-1} f_j \exp\left(-{\mathrm{i}}\frac{2\pi}{n}j k \right),\quad \forall k=0,\ldots,n-1\]

  met evenzeer \(\boldsymbol{F} = (F_0,\ldots,F_{n-1}) \in {\mathbb{C}}^n\)

• Stelling: inverse transformatie \(f_j = \frac{1}{\sqrt{n}}\sum_{k=0}^{n-1} F_k \exp\left(+{\mathrm{i}}\frac{2\pi}{n}j k \right)\)

• \(\boldsymbol{F} = {\mathsf{U}} \boldsymbol{f}\) en \(\boldsymbol{f} = {\mathsf{U}}^{\mathsf{H}}\boldsymbol{F}\) met dus \({\mathsf{U}} \in \mathop{\mathrm{U}}(n)\); \({\mathsf{U}}\) gegeven door (\(\omega = {\mathrm{e}}^{-{\mathrm{i}}\frac{2\pi}{n}}\)):

  \[ {\mathsf{U}} = \frac{1}{\sqrt{n}}\begin{bmatrix} 1 & 1 &1 &\dots & 1\\ 1 & \omega & \omega^2 & \dots & \omega^{n-1}\\ 1 & \omega^2 & \omega^4 & \dots & \omega^{2(n-1)}\\ \vdots & & & \ddots & \vdots\\ 1 & \omega^{n-1} & \omega^{2(n-1)} & \dots & \omega^{(n-1)^2} \end{bmatrix}\]

Discrete Fouriertransformatie

• Praktisch algoritme: “fast fourier transform” (zie Py4Sci)

  complexiteit van \(\boldsymbol{F} = {\mathsf{U}}\boldsymbol{f}\) van \(\mathop{\mathrm{\mathscr{O}}}(n^2)\) naar \(\mathop{\mathrm{\mathscr{O}}}(n \log_2 n)\)

• Toepassingen:

  • relaties met “andere Fouriertransformaties” (zie later)

  • diagonalisatie van circulante matrices

    • \({\mathsf{A}}\in {\mathbb{C}}^{n \times n}\) is circulant als \(A^i_{\ j} = f_{(j-i)\mod n}\)

    • met \(\boldsymbol{u}_k\) de \(k\)de kolom uit \({\mathsf{U}}\): \((\boldsymbol{u}_k)^j = n^{-1/2} \omega^{kj}\)

      \(\Rightarrow {\mathsf{A}}\boldsymbol{u}_k = \lambda_k \boldsymbol{u}_k\) met \(\lambda_k = \sum_{j=0}^{n-1} f_j {\mathrm{e}}^{-{\mathrm{i}}\frac{2\pi}{n} k j} = \sqrt{n} F_k\)

    • fysisch: circulant = translatie-invariant

      \(\Rightarrow\) translatie-invariante systemen worden gediagonaliseerd in Fourier (\(\approx\) momentum) basis, momentum is behouden grootheid

QR decompositie herbekeken

QR decompositie van algemene matrices

Vorig hoofdstuk: \({\mathsf{A}} \in {\mathbb{F}}^{m \times n}\) met \(m \geq n\):

\({\mathsf{A}} = {\mathsf{Q}} {\mathsf{R}}\) via Gram-Schmidt

• \({\mathsf{Q}} \in {\mathbb{F}}^{m \times n}\) en \({\mathsf{Q}}^{\mathsf{H}}{\mathsf{Q}} = {\mathsf{I}}_n\)
• \({\mathsf{R}} \in {\mathbb{F}}^{n \times n}\) bovendriehoeksmatrix

Alternatieve voorstelling:

• breidt \({\mathsf{Q}}\) uit met \(m-n\) extra orthonormale kolommen tot \({\mathsf{Q}} \in \mathop{\mathrm{U}}(m)\)

• \({\mathsf{A}} = {\mathsf{Q}} {\mathsf{\tilde{R}}}\) met \(\tilde{{\mathsf{R}}} = \begin{bmatrix} {\mathsf{R}}\\ {\mathsf{O}}_{(m-n) \times n} \end{bmatrix} \in {\mathbb{F}}^{m \times n}\)

• kan ook voor \({\mathsf{A}} \in {\mathbb{F}}^{m \times n}\) met \(n > m\), nog steeds \({\mathsf{R}} \in {\mathbb{F}}^{m \times n}\) met \(R^i_{\ j}=0\) voor \(i > j\)

• we zoeken unitaire matrix \({\mathsf{Q}} \in \mathop{\mathrm{U}}(m)\) zodat \({\mathsf{\tilde{R}}}={\mathsf{Q}}^\dagger {\mathsf{A}}\) bovendriehoeksmatrix is

  \(\Rightarrow\) bouw \({\mathsf{Q}}\) uit Givens- of Householdertransformaties

QR decompositie van algemene matrices

• algoritme op basis van Householder transformaties:

  \({\mathsf{H}}_{n-1}^{\mathsf{H}}\ldots {\mathsf{H}}_2^{\mathsf{H}}{\mathsf{H}}_{1}^{\mathsf{H}}{\mathsf{A}} = \tilde{{\mathsf{R}}} \implies {\mathsf{A}} = \underbrace{{\mathsf{H}}_1 {\mathsf{H}}_2 \ldots {\mathsf{H}}_{n-1}}_{\tilde{{\mathsf{Q}}}} \tilde{{\mathsf{R}}}\)

  • \(H_1\) werkt op alle rijen van \({\mathsf{A}}\) en transformeert eerste kolom naar \(\sim \boldsymbol{e}_1\)
  • \(H_2\) werkt op rijen 2 tot \(m\) van \({\mathsf{H}}_1^{\mathsf{H}}{\mathsf{A}}\) en transformeert tweede kolom naar \(\sim \boldsymbol{e}_2\)
  • \(H_3\) werkt op rijen 3 tot \(m\) …
  • …
  • \(H_{k}\) met \(k=\min(m-1,n)\) werkt op rij \(k\) en \(k+1\), transformeert kolom \(k\) naar \(\sim\boldsymbol{e}_{k}\) \(\longrightarrow\) bovendriehoeksmatrix \(\tilde{{\mathsf{R}}}\)

  \(\Rightarrow\) numerieke stabiliteit en precisie in \({\mathsf{Q}}^{\mathsf{H}}{\mathsf{Q}}={\mathsf{I}}\) veel beter dan met Gram-Schmidt algoritme (zonder bewijs)

• decompositie \({\mathsf{A}}={\mathsf{Q}}{\mathsf{R}}\) heeft vrijheid \({\mathsf{Q}}\leftarrow {\mathsf{Q}}{\mathsf{D}}\) en \({\mathsf{R}}\leftarrow {\mathsf{D}}^{-1}{\mathsf{R}}\) met \({\mathsf{D}}\) een unitaire diagonaalmatrix (complexe fasen op de diagonaal)

  \(\Rightarrow\) de substitutie met \({\mathsf{D}}\) kan worden gebruikt om alle diagonaalelementen van \({\mathsf{R}}\) positief te maken; de decompositie wordt dan uniek

Schur decompositie en machtmethode

Schur decompositie

Beschouw vierkante matrices \({\mathsf{A}} \in {\mathbb{C}}^{n \times n}\)

• Gelijkvormigheidstransformaties:

  \(\tilde{{\mathsf{A}}}={\mathsf{V}}^{-1} {\mathsf{A}} {\mathsf{V}}\) met \({\mathsf{V}} \in \mathop{\mathrm{GL}}(n)\)

  \(\Rightarrow\) canonische vorm is Jordan-vorm \({\mathsf{J}}_{{\mathsf{A}}}\)

• Unitaire gelijkvormigheidstransformaties

  \(\tilde{{\mathsf{A}}}={\mathsf{Z}}^{{\mathsf{H}}} {\mathsf{A}} {\mathsf{Z}}\) met \({\mathsf{Z}} \in \mathop{\mathrm{U}}(n)\)

  \(\Rightarrow\) canonische vorm is de Schur bovendriehoeksvorm:

  Schur-decompositie: \({\mathsf{A}} = {\mathsf{Z}} {\mathsf{T}}{\mathsf{Z}}^{\mathsf{H}}\) met \(T^i_{\ j}=0\) voor \(1 \leq j < i \leq n\)

  (bewijs aan bord)

  \(\Rightarrow\) \(\text{diag}({\mathsf{T}}) = \sigma({\mathsf{T}}) = \sigma({\mathsf{A}})\)

• Praktisch: er is geen deterministisch algoritme dat in een eindig aantal stappen de eigenwaarden bepaalt

  • gerelateerd aan Abel-Ruffini theorema: er is geen expliciete oplossing voor nulpunten van veeltermen van graad 5 of hoger in termen van basisoperaties \(+, -, *, /, \cdot^n , \sqrt[n]{\cdot}\)

Schur decompositie van normale matrices

Normale matrix: \({\mathsf{A}}^{\mathsf{H}}{\mathsf{A}} = {\mathsf{A}}{\mathsf{A}}^{\mathsf{H}}\)

• Schur-decompositie: \({\mathsf{A}} = {\mathsf{Z}} {\mathsf{T}}{\mathsf{Z}}^{\mathsf{H}}\)

  • normaliteit is een intrinsieke eigenschap en blijft behouden onder unitaire basistransformatie \({\mathsf{Z}}\) \(\Rightarrow\) \({\mathsf{T}}\) is normaal

• normale bovendriehoeksmatrix \({\mathsf{T}}\) moet zuiver diagonaal zijn

  Bewijs:

  • \(({\mathsf{T}}^{\mathsf{H}}{\mathsf{T}})^1_{\ 1} = {\left\lvert T^1_{ 1}\right\rvert}^2= ({\mathsf{T}} {\mathsf{T}}^{\mathsf{H}})^1_{\ 1} = \sum_{k=1}^n {\left\lvert T^1_{ k}\right\rvert}^2 \Rightarrow T^1_{\ k} =0\) voor \(k=2,\ldots,n\)

  • …

  • \(({\mathsf{T}}^{\mathsf{H}}{\mathsf{T}})^i_{\ i} = \sum_{k=1}^i{\left\lvert T^k_{\ i}\right\rvert}^2 = {\left\lvert T^i_{\ i}\right\rvert}^2\) (wegens \(T^k_{\ i}=0\) voor \(k>i\) uit voorgaande)

    \(({\mathsf{T}} {\mathsf{T}}^{\mathsf{H}})^i_{\ i} = \sum_{k=i}^n {\left\lvert T^i_{ k}\right\rvert}^2 \Rightarrow T^i_{\ k} =0\) voor \(k=i+1,\ldots,n\)

• Schurdecompositie = eigenwaardedecompositie

• orthonormale basis van eigenvectoren

• altijd diagonaliseerbaar, nooit niet-triviale Jordanblokken

• spectrale decompositie \(V = \sum_{\lambda \in \sigma({\mathsf{A}})} V_\lambda\) is orthogonale directe som decompositie

Machtsmethode

Gegeven \({\mathsf{A}}\in {\mathbb{F}}^{n\times n}\):

• Machtsmethode/machtsiteratie (power method/iteration):

  startende van willekeurige vector \(\boldsymbol{v}_0\), herhaal voor \(k=0,1,2,\ldots\):

  • \(\boldsymbol{q}_k =\boldsymbol{v}_k / {\left\lVert\boldsymbol{v}_k\right\rVert}\)
  • \(\boldsymbol{v}_{k+1} = {\mathsf{A}}\boldsymbol{q}_k\)
  • \(\mu_{k} = {\left\langle\boldsymbol{q}_k,\boldsymbol{v}_{k+1}\right\rangle}= \boldsymbol{q}_k^{\mathsf{H}}{\mathsf{A}}\boldsymbol{q}_k\)

  Gevolgen:

  • \(\boldsymbol{q}_k \sim {\mathsf{A}}^k \boldsymbol{v}_0\) (op normalisatie na)

  • sorteer eigenwaarden van \({\mathsf{A}}\) in afnemende absolute waarde, zodat \({\left\lvert\lambda_1\right\rvert}=\rho_{{\mathsf{A}}}\)

  • als \(\lambda_1\) simpel of semisimpel is (geen niet-triviale Jordanblokken, \(V_{\lambda_1}= U_{\lambda_1}\)):

    \({\mathsf{A}} = \lambda_1 {\mathsf{P}}_{\lambda_1} + \tilde{{\mathsf{A}}}\) met \(\rho_{\tilde{{\mathsf{A}}}} = {\left\lvert\lambda_2\right\rvert}\)

  • als bovendien \({\left\lvert\lambda_2\right\rvert} < {\left\lvert\lambda_1\right\rvert}\):

    \({\mathsf{A}}^k \boldsymbol{v}_0 = \lambda_1^k \left({\mathsf{P}}_{\lambda_1} \boldsymbol{v}_0 + \frac{\tilde{{\mathsf{A}}}^k}{\lambda_1^k} \boldsymbol{v}_0\right) \implies \lim_{k\to\infty} \boldsymbol{q}_k \sim {\mathsf{P}}_{\lambda_1} \boldsymbol{v}_0\), \(\lim_{k\to \infty} \mu_k = \lambda_1\)

  • convergentie: \({\left\lVert\boldsymbol{q}_k-\boldsymbol{q}_\infty\right\rVert} = \mathop{\mathrm{\mathscr{O}}}\left({\left\lvert\frac{\lambda_2}{\lambda_1}\right\rvert}^k\right)\) (lineaire convergentie)

Deelruimte-iteratie

Gegeven \({\mathsf{A}}\in {\mathbb{F}}^{n\times n}\):

• deelruimte-iteratie (subspace iteration):

  startende van \(p\leq n\) willekeurige vectoren verzamelend als de kolommen van een matrix \({\mathsf{V}}_0 \in {\mathbb{F}}^{n \times p}\) herhaal voor \(k=0,1,2,\ldots\):

  • \({\mathsf{Q}}_k {\mathsf{R}}_k = {\mathsf{V}}_k\) (QR decompositie)
  • \({\mathsf{V}}_{k+1} = {\mathsf{A}}{\mathsf{Q}}_k\)
  • \({\mathsf{T}}_k = {\mathsf{Q}}_k^{\mathsf{H}}{\mathsf{V}}_{k+1} = {\mathsf{Q}}_k^{\mathsf{H}}{\mathsf{A}}{\mathsf{Q}}_k\)

  Indien convergentie (voorwaarden buiten beschouwing van deze cursus): \({\mathsf{V}}_\infty = {\mathsf{A}} {\mathsf{Q}}_\infty = {\mathsf{Q}}_\infty {\mathsf{R}}_\infty\) en \({\mathsf{T}}_\infty = {\mathsf{R}}_\infty\)

  \(\Rightarrow {\mathsf{Q}}_\infty\) is orthonormale basis voor invariante deelruimte

  \(\Rightarrow\) restrictie van \({\mathsf{A}}\) op \({\mathsf{Q}}_\infty\) is bovendriehoek \(\rightarrow\) Schur canonische vorm

  \(\Rightarrow\) eigenwaarden van \({\mathsf{T}}_\infty\) zijn eigenwaarde van \({\mathsf{A}}\)

  \(\Rightarrow\) indien \(p=n\): volledige Schur-decompositie

  (bemerk: eerste kolom van \({\mathsf{Q}}\) ondergaat zelfde stappen als machtsiteratie)

QR-iteratie

Gegeven \({\mathsf{A}}\in {\mathbb{F}}^{n\times n}\):

• verbeterd algoritme voor volledige Schur-decompositie: QR iteratie

  uit deelruimte-iteratie voor \(p=n\) volgt:

  • \({\mathsf{T}}_k = {\mathsf{Q}}_k^{\mathsf{H}}{\mathsf{A}} {\mathsf{Q}}_k = {\mathsf{Q}}_k^{\mathsf{H}}{\mathsf{V}}_{k+1} = ({\mathsf{Q}}_k^{\mathsf{H}}{\mathsf{Q}}_{k+1}) {\mathsf{R}}_{k+1}\)

  • \({\mathsf{T}}_{k+1} = {\mathsf{Q}}_{k+1}^{\mathsf{H}}{\mathsf{A}} {\mathsf{Q}}_{k+1} = ({\mathsf{Q}}_k^{\mathsf{H}}{\mathsf{Q}}_{k+1})^{\mathsf{H}}{\mathsf{T}}_k ({\mathsf{Q}}_k^{\mathsf{H}}{\mathsf{Q}}_{k+1}) = {\mathsf{R}}_{k+1} ({\mathsf{Q}}_k^{\mathsf{H}}{\mathsf{Q}}_{k+1})\)

  • Hernoem \(({\mathsf{Q}}_k^{\mathsf{H}}{\mathsf{Q}}_{k+1}) \mapsto {\mathsf{Q}}_k\)

  • Startende van \({\mathsf{Z}}_0={\mathsf{Q}}_0 = {\mathsf{I}}\) en \({\mathsf{T}}_0 = {\mathsf{A}}\) herhaal voor \(k=1,2,\ldots\):

    • \({\mathsf{Q}}_k {\mathsf{R}}_k = {\mathsf{T}}_{k-1}\) en \({\mathsf{Z}}_k = {\mathsf{Z}}_{k-1} {\mathsf{Q}}_k\)
    • \({\mathsf{T}}_{k} = {\mathsf{R}}_k {\mathsf{Q}}_k\)

    \(\Rightarrow {\mathsf{A}} = {\mathsf{T}}_0 = {\mathsf{Q}}_1 {\mathsf{R}}_1 = {\mathsf{Q}}_1 {\mathsf{T}}_1 {\mathsf{Q}}_1^{\mathsf{H}}= \ldots = \underbrace{({\mathsf{Q}}_1 {\mathsf{Q}}_2 \cdots {\mathsf{Q}}_k)}_{{\mathsf{Z}}_k}{\mathsf{T}}_{k} \underbrace{({\mathsf{Q}}_1 {\mathsf{Q}}_2 \cdots {\mathsf{Q}}_k)^{\mathsf{H}}}_{{\mathsf{Z}}_k^{\mathsf{H}}}\)

    Convergentie: \({\mathsf{Q}}_k \to {\mathsf{I}}\Rightarrow {\mathsf{T}}_k \to {\mathsf{T}}\) en ook \({\mathsf{R}}_k \to {\mathsf{T}}\) en \({\mathsf{Z}}_k \to {\mathsf{Z}}\)

    \(\Rightarrow {\mathsf{A}}={\mathsf{Z}}{\mathsf{T}}{\mathsf{Z}}^{\mathsf{H}}\): Schurdecompositie

    • Praktijk: bijkomende trucs voor lagere kost en snellere convergentie

Bilineaire en kwadratische vormen herbekeken

Matrixcongruentie

• Matrixgelijkvormigheid: \({\mathsf{\tilde{A}}}={\mathsf{T}}{\mathsf{A}}{\mathsf{T}}^{-1}\)

  \(\rightarrow\) behoudt spectrum, determinant, spoor, rang, …

  \(\rightarrow\) canonische vorm: Jordan

• Matrixcongruentie: \({\mathsf{\tilde{C}}} = {\mathsf{T}}^{-{\mathsf{H}}} {\mathsf{C}} {\mathsf{T}}^{-1}\)

  \(\rightarrow\) behoudt spectrum etc niet, behoudt wel rang en nulliteit

  \(\rightarrow\) canonische vorm: ?

• Unitair: \({\mathsf{\tilde{A}}} = {\mathsf{U}} {\mathsf{A}} {\mathsf{U}}^{{\mathsf{H}}}\) met \({\mathsf{U}}^{\mathsf{H}}{\mathsf{U}}={\mathsf{I}}\)

  \(\rightarrow\) zowel gelijkvormig als congruent: \({\mathsf{U}}^{-1}={\mathsf{U}}^{\mathsf{H}}\) en dus \({\mathsf{U}}={\mathsf{U}}^{-H}\)

  \(\rightarrow\) canonische vorm: Schur (=diagonaal voor normale \({\mathsf{A}}\))

Kwadratische en symmetrische bilineaire vormen

We beperken ons nu tot reële bilineaire vormen \(B:V \times V \to {\mathbb{R}}\) (met \(V\) een reële vectorruimte), die bovendien symmetrisch worden verondersteld (bijvoorbeeld omdat ze geassocieerd zijn aan een kwadratische vorm).

• Matrixrepresentatie is reële, symmetrische matrix \({\mathsf{B}} = {\mathsf{B}}^{\mathsf{T}}\)

  • hermitisch en dus reële eigenwaarden
  • eigenvectoren van reële matrix horende bij reële eigenwaarden kunnen reëel worden gekozen
  • eigenvectoren van normale matrix kunnen orthonormaal worden gekozen

  \(\Rightarrow {\mathsf{B}} = {\mathsf{Q}} {\mathsf{D}} {\mathsf{Q}}^{\mathsf{T}}\)

  waarbij we de eigenwaarden kunnen sorteren zodat we eerst de positieve eigenwaarden, dan de negatieve eigenwaarden en dan de eigenwaarden nul hebben.

  We kunnen deze vorm nog verder reduceren, aangezien matrixcongruentie niet beperkt is tot \({\mathsf{Q}}\) unitair/orthogonaal.

Kwadratische en symmetrische bilineaire vormen

• Gegeven \({\mathsf{B}} = {\mathsf{Q}}{\mathsf{D}}{\mathsf{Q}}^{\mathsf{T}}\)

  Met \(\boldsymbol{q}_k\) de \(k\)de kolom van \({\mathsf{Q}}\) en \(\boldsymbol{v}_k\) de \(k\)de kolom van een nieuwe matrix \({\mathsf{V}}\):

  \(\rightarrow\) \(\boldsymbol{v}_k = \begin{cases} {\left\lvert D_{kk}\right\rvert}^{-1/2} \boldsymbol{q}_k,& D_{kk}\neq 0\\ \boldsymbol{q}_k,& D_{kk}=0 \end{cases}\)

  \(\Rightarrow{\mathsf{V}}^{\mathsf{T}}{\mathsf{B}} {\mathsf{V}} = \mathrm{diag}(\underbrace{+1,\ldots,+1}_{n_+\ \text{times}}, \underbrace{-1,\ldots,-1}_{n_-\ \text{times}}, \underbrace{0,\ldots,0}_{n_0\ \text{times}})\)

  Terminologie:

  • \(n_0 = \mathop{\mathrm{nullity}}({\mathsf{B}})\), \(n_+ + n_- = \mathop{\mathrm{rank}}({\mathsf{B}})\)
  • \((n_+, n_-, n_0)\): traagheid(sindices) / “inertia”
  • \(n_+\): positieve traagheidsindex, \(n_-\): negatieve traagheidsindex
  • \(n_+-n_-\): signatuur

Kwadratische en symmetrische bilineaire vormen

• Gegeven \(\Rightarrow{\mathsf{V}}^{\mathsf{T}}{\mathsf{B}} {\mathsf{V}} = \mathrm{diag}(\underbrace{+1,\ldots,+1}_{n_+\ \text{times}}, \underbrace{-1,\ldots,-1}_{n_-\ \text{times}}, \underbrace{0,\ldots,0}_{n_0\ \text{times}})\)

  • De basistransformatie \({\mathsf{V}}\) is verre van uniek (arbitraire orthogonale transformaties binnen de kolommen geassocieerd aan \(+1\), deze geassocieerd aan \(-1\) en deze geassocieerd aan \(0\) zijn mogelijk)
  • De traagheidsindices zijn uniek en bepalen dus de canonische vorm van alle matrices gerelateerd via congruentie, via onderstaande stelling:

• Traagheidswet van Sylvester: Twee symmetrische matrices \({\mathsf{B}},{\mathsf{\tilde{B}}} \in {\mathbb{R}}^{n \times n}\) zijn congruent als en slechts als hetzelfde aantal positieve, negatieve en nul eigenwaarden hebben.

  (bewijs aan bord)

Kwadratische en symmetrische bilineaire vormen

• Praktisch algoritme voor canonische vorm:

  • eigenwaarden niet van belang, dus misschien mogelijk in eindig aantal stappen

  • \({\mathsf{B}} = {\mathsf{L}}{\mathsf{D}}{\mathsf{L}}^{\mathsf{T}}\) en absorbeer opnieuw de vierkantswortel van de absolute waarde van de niet-nul elementen van \({\mathsf{D}}\) in de kolommen van \({\mathsf{L}}\)

  • dit komt neer op Lagrange-reductie van de kwadratische vorm:

    \(q(\boldsymbol{x})=\boldsymbol{x}^{\mathsf{T}}{\mathsf{B}} \boldsymbol{x} = \sum_{i,j=1}^{n} B_{ij} x^i x^j = B_{11} (x^1)^2 + 2 B_{12} x^1x^2 + \dots\)

    • Vervolledig alle termen met \(x^1\) tot een kwadraat \(\mathop{\mathrm{sgn}}(B_{11}) (\sqrt{{\left\lvert B_{11}\right\rvert}} x^1 + \sum_{k=2}^n B_{1k}/\sqrt{{\left\lvert B_{11}\right\rvert}} x^k)^2\)
    • Vervolledig alle overblijvende termen met \((x^2)\) tot een kwadraat
    • …

  • Voor \(n = n_+\) (positief definiete vorm): \({\mathsf{B}} = {\mathsf{L}}{\mathsf{L}}^{\mathsf{T}}\) met \({\mathsf{L}}\) benedendriehoeksmatrix

    \(\rightarrow\) gekend als Cholesky decompositie

Singulaire waardendecompositie en polaire decompositie

Unitaire equivalentie

• Matrixnormen gebaseerd op Euclidische norm:

  • Geinduceerde 2-norm voor matrix \({\mathsf{A}} \in {\mathbb{F}}^{m \times n}\):

    \[{\left\lVert{\mathsf{A}}\right\rVert}_{2\to 2} = \max \{ {\left\lVert{\mathsf{A}}\boldsymbol{v}\right\rVert}_2 | \boldsymbol{v}\in {\mathbb{F}}^{n}\ \text{with}\ {\left\lVert\boldsymbol{v}\right\rVert}_2=1\}\]

  • Frobeniusnorm \({\left\lVert{\mathsf{A}}\right\rVert}_{\text{F}} = \sqrt{\mathop{\mathrm{tr}}({\mathsf{A}}^{\mathsf{H}}{\mathsf{A}})}\)

• Unitaire equivalentie: \[{\mathsf{\tilde{A}}} = {\mathsf{U}}^{\mathsf{H}}{\mathsf{A}}{\mathsf{V}}\ \text{met}\ {\mathsf{U}} \in \mathop{\mathrm{U}}(m), {\mathsf{V}} \in \mathop{\mathrm{U}}(n)\]

  • \({\left\lVert{\mathsf{A}}\right\rVert}_{2\to 2} = {\left\lVert\tilde{{\mathsf{A}}}\right\rVert}_{2 \to 2}\)
  • \({\left\lVert{\mathsf{A}}\right\rVert}_{\text{F}} = {\left\lVert\tilde{{\mathsf{A}}}\right\rVert}_{\text{F}}\)

  \(\rightarrow\) canonisch vorm?

Singuliere waardendecompositie

Singuliere waardendecompositie van een matrix \({\mathsf{A}}\in{\mathbb{F}}^{m \times n}\): \[{\mathsf{A}} = {\mathsf{U}} {\mathsf{S}} {\mathsf{V}}^{\mathsf{H}}\]

met hierin

• \({\mathsf{U}}\in \mathop{\mathrm{U}}(m)\)
• \({\mathsf{V}}\in \mathop{\mathrm{U}}(n)\)
• \({\mathsf{S}} = {\mathbb{F}}^{m \times n}\) met \({\mathsf{S}}^i_{\ j} = (\sigma_i) \delta^i_{\ j}\) en :
  • \(\sigma_1 \geq \sigma_2 \geq \ldots \geq \sigma_p > \sigma_{p+1} = \ldots \sigma_{\min(m,n)} = 0\)
  • \(p \leq \min(m,n)\)

Singuliere waardendecompositie

Singuliere waardendecompositie van een matrix \({\mathsf{A}}\in{\mathbb{F}}^{m \times n}\): \[{\mathsf{A}} = {\mathsf{U}} {\mathsf{S}} {\mathsf{V}}^{\mathsf{H}}\]

Bewijs:

• diagonaliseer positief semidefiniete matrix \({\mathsf{A}}^{\mathsf{H}}{\mathsf{A}} = {\mathsf{V}}{\mathsf{\Lambda}} {\mathsf{V}}^{\mathsf{H}}\):
  • \(\Lambda^i_{\ j} = \lambda_i \delta^i_{\ j}\) met \(\lambda_i \geq 0 \Rightarrow \sigma_i = \sqrt{\lambda_i}\)
• bereken \({\mathsf{A}}{\mathsf{V}} = {\mathsf{Q}} {\mathsf{R}}\) met \({\mathsf{Q}} \in \mathop{\mathrm{U}}(m)\), \({\mathsf{R}} \in {\mathbb{F}}^{m \times n}\) en bovendriehoeksmatrix

  • \(\Rightarrow {\mathsf{A}}^{\mathsf{H}}{\mathsf{A}} = {\mathsf{R}}^{\mathsf{H}}{\mathsf{R}} = {\mathsf{\Lambda}}\) (diagonaal)

  • \(\Rightarrow\) \({\mathsf{R}}\) is diagonaal met \({\left\lvert R^i_{\ i}\right\rvert}^2 = \sigma_i^2\).

  • Absorbeer fases van \({\mathsf{R}}^i_{\ i}\) in \({\mathsf{Q}}\): \({\mathsf{R}} \to {\mathsf{S}}, {\mathsf{Q}}\to {\mathsf{U}}\)

• \({\mathsf{A}}{\mathsf{A}}^{\mathsf{H}}= {\mathsf{U}} {\mathsf{S}}{\mathsf{S}}^{\mathsf{H}}{\mathsf{U}}^{\mathsf{H}}\): zelfde niet-nul eigenwaarden als \({\mathsf{A}}^{\mathsf{H}}{\mathsf{A}}\)

Singuliere waardendecompositie: eigenschappen

• Notatie: \(\boldsymbol{u}_i\) en \(\boldsymbol{v}_i\) de \(i\)de kolom uit \({\mathsf{U}}\) en \({\mathsf{V}}\)

• Notatie: \({\mathsf{U}}_k \in {\mathbb{F}}^{m \times k}\) en \({\mathsf{V}}_k \in {\mathbb{F}}^{n \times k}\) de restrictie van \({\mathsf{U}}\) en \({\mathsf{V}}\) tot de eerste \(k\) kolommen, en \({\mathsf{S}}_{k} \in {\mathbb{F}}^{k \times k}\) de eerste \(k\) kolommen en rijen van \({\mathsf{S}}\)

• \({\mathsf{A}} = \underbrace{{\mathsf{U}} {\mathsf{S}} {\mathsf{V}}^{\mathsf{H}}}_{\text{"full SVD"}} = \underbrace{{\mathsf{U}}_{\min(m,n)} {\mathsf{S}}_{\min(m,n)} {\mathsf{V}}_{\min(m,n)}^{\mathsf{H}}}_{\text{"thin SVD"}} = \underbrace{{\mathsf{U}}_p {\mathsf{S}}_p {\mathsf{V}}_p}_{\text{"compact SVD"}}\)

  met \(p\) de laatste niet-nul singuliere waarde \(\sigma_p\) (zie volgende: \(p=\mathop{\mathrm{rank}}({\mathsf{A}})\))

• \({\mathsf{A}}{\mathsf{V}}_k = {\mathsf{U}}_k {\mathsf{S}}_k\) en \({\mathsf{A}}^{\mathsf{H}}{\mathsf{U}}_k = {\mathsf{V}}_k {\mathsf{S}}_k\) voor alle \(k=1,\ldots,\min(m,n)\)

  \(\Leftrightarrow {\mathsf{A}} \boldsymbol{v}_i = \sigma_i \boldsymbol{u}_i\) en \({\mathsf{A}}^{\mathsf{H}}\boldsymbol{u}_i = \sigma_i \boldsymbol{v}_i\) voor alle \(i=1,\ldots, \min(m,n)\)

• Uniciteit van SVD:

  • Singuliere waarden: uniek

  • Singuliere vectoren: \({\mathsf{U}}_p \to {\mathsf{U}}_p{\mathsf{Q}}\) en \({\mathsf{V}}_\to {\mathsf{V}}_p{\mathsf{Q}}\) met \({\mathsf{Q}} \in \mathop{\mathrm{U}}(p)\) en \([{\mathsf{Q}},{\mathsf{S}}]=0\). Indien geen degeneraties in \({\mathsf{S}}\): \({\mathsf{Q}}\) diagonaal met complexe fasen op diagonaal

  • Op de kolommen \(p+1,\ldots,m\) van \({\mathsf{U}}\) en \(p+1,\ldots,n\) van \({\mathsf{V}}\) kunnen onafhankelijke unitaire rotaties worden uitgevoerd

Singuliere waardendecompositie: Algoritme

• Bewijs: lijkt constructief, maar niet nauwkeurig!

  • eigenwaarden van \({\mathsf{A}}^{\mathsf{H}}{\mathsf{A}}\) = singuliere waarden kwadraat
  • \(\sigma_i^2 + \epsilon \Rightarrow \sigma_i + \mathop{\mathrm{\mathscr{O}}}(\epsilon/\sigma_i)\)

• Voor \({\mathsf{A}} \boldsymbol{v}_i = \sigma_i \boldsymbol{u}_i\) en \({\mathsf{A}}^{\mathsf{H}}\boldsymbol{u}_i = \sigma_i \boldsymbol{v}_i\), voor vierkante \({\mathsf{A}} \in {\mathbb{F}}^{n\times n}\):

  \[ \begin{bmatrix} {\mathsf{O}}& {\mathsf{A}} \\ {\mathsf{A}}^{\mathsf{H}}& {\mathsf{O}} \end{bmatrix}\left(\frac{1}{\sqrt{2}}\begin{bmatrix} {\mathsf{U}} & {\mathsf{U}} \\ {\mathsf{V}} & -{\mathsf{V}} \end{bmatrix}\right) = \left(\frac{1}{\sqrt{2}}\begin{bmatrix} {\mathsf{U}} & {\mathsf{U}} \\ {\mathsf{V}} & -{\mathsf{V}} \end{bmatrix}\right) \begin{bmatrix} {\mathsf{S}} & {\mathsf{O}}\\ {\mathsf{O}}& -{\mathsf{S}} \end{bmatrix}\]

  \({\mathsf{A}}\in {\mathbb{F}}^{m\times n}\) met \(m > n\): \({\mathsf{A}} = {\mathsf{Q}} {\mathsf{R}} = ({\mathsf{Q}} {\mathsf{U}}_{{\mathsf{R}}}) {\mathsf{S}}_{{\mathsf{R}}} {\mathsf{V}}_{{\mathsf{R}}}^{\mathsf{H}}= {\mathsf{U}}_{{\mathsf{A}}}{\mathsf{S}}_{{\mathsf{A}}} {\mathsf{V}}_{{\mathsf{A}}}^{\mathsf{H}}\)

Verband met rang, norm en conditiegetal:

Voor matrix \({\mathsf{A}} = {\mathsf{U}} {\mathsf{S}}{\mathsf{V}}^{\mathsf{H}}\in {\mathbb{F}}^{m \times n}\):

• \(\boldsymbol{w} \in \mathop{\mathrm{im}}({\mathsf{A}})\): \(\boldsymbol{w}\) is lineaire combinatie van eerste \(p\) kolommen van \({\mathsf{U}}\)

  \(\Rightarrow \mathop{\mathrm{rank}}({\mathsf{A}}) = p \leq \min(m,n)\) (aantal niet-nul singuliere waarden)

  • \(\mathop{\mathrm{rank}}({\mathsf{A}})=\min(m,n)\): volle rang
  • \(\mathop{\mathrm{rank}}({\mathsf{A}})<\min(m,n)\): rang-deficiete matrix

• \({\mathsf{A}} \boldsymbol{v}_i=0\) voor \(i=p+1,\ldots,n\):

  \(\Rightarrow\) deze kolommen vormen orthonormale basis voor \(\mathop{\mathrm{ker}}({\mathsf{A}})\)

• geïnduceerde norm \({\left\lVert{\mathsf{A}}\right\rVert}_2 = \sigma_1\) (bewijs aan bord)

• Frobenius norm \({\left\lVert{\mathsf{A}}\right\rVert}_{\text{F}} = \sqrt{\sum_{i=1}^p \sigma_i^2}\)

• voor inverteerbare (en dus vierkante volle-rang) \({\mathsf{A}}\in{\mathbb{F}}^{n \times n}\): \({\mathsf{A}}^{-1} = {\mathsf{V}} {\mathsf{S}}^{-1} {\mathsf{U}}^{\mathsf{H}}\)

  \(\Rightarrow\) conditiegetal (geassocieerd aan geïnduceerde \(2\)-norm): \(\kappa({\mathsf{A}}) = \sigma_1/\sigma_n\)

Kleinste kwadratenoplossing

Beschouw een lineair stelsel \({\mathsf{A}}{\mathsf{x}} = {\mathsf{y}}\) met \({\mathsf{A}}\in{\mathbb{F}}^{m \times n}\) en \(\mathop{\mathrm{nullity}}({\mathsf{A}}) \geq 0\):

• als \(\boldsymbol{y}\in \mathop{\mathrm{im}}({\mathsf{A}})\): oplossing bestaat, uniek als \(\mathop{\mathrm{nullity}}({\mathsf{A}})=0\)
• als \(\boldsymbol{y}\not\in \mathop{\mathrm{im}}({\mathsf{A}})\): kleinste kwadratenoplossing, uniek als \(\mathop{\mathrm{nullity}}({\mathsf{A}})=0\)
• generiek geval:

  • verzameling van alle kleinste kwadratenoplossingen: \(L = \{\boldsymbol{x} \in {\mathbb{F}}^n | {\left\lVert{\mathsf{A}}\boldsymbol{x} - \boldsymbol{y}\right\rVert}_2 = \min_{\boldsymbol{x}' \in {\mathbb{F}}^n} {\left\lVert{\mathsf{A}}\boldsymbol{x}' - \boldsymbol{y}\right\rVert}_2\}\)

  • kleinste kwadratenoplossing met minimale norm (uniek): \(\boldsymbol{x}^\ast = \mathop{\mathrm{arg\ min}}_{\boldsymbol{x} \in L} {\left\lVert\boldsymbol{x}\right\rVert}\)

    \[\Rightarrow \boldsymbol{x}^\ast = \underbrace{{\mathsf{V}}_p {\mathsf{S}}_p^{-1} {\mathsf{U}}_p^{\mathsf{H}}}_{={\mathsf{A}}^+} \boldsymbol{y}\]

    (bewijs aan bord)

• Moore-Penrose pseudo-inverse gekarakteriseerd door
  • \({\mathsf{A}} {\mathsf{A}}^+ = {\mathsf{P}}_{\mathop{\mathrm{im}}({\mathsf{A}})}\)
  • \({\mathsf{A}}^+ {\mathsf{A}} = {\mathsf{P}}_{\mathop{\mathrm{ker}}({\mathsf{A}})^\perp}\)

Laagste rang benadering

• gegeven \({\mathsf{A}} ={\mathsf{U}}{\mathsf{S}}{\mathsf{V}}^{\mathsf{H}}\in {\mathbb{F}}^{m\times n}\)

• vind matrix \({\mathsf{B}}\in {\mathbb{F}}^{m \times n}\) met \(\mathop{\mathrm{rank}}({\mathsf{B}}) \leq r\) zodat \({\left\lVert{\mathsf{A}}-{\mathsf{B}}\right\rVert}\) minimaal is:

• Eckart-Young-Mirsky theorema:

  oplossing \({\mathsf{B}}= {\mathsf{U}}_r {\mathsf{S}}_r {\mathsf{V}}_r^{\mathsf{H}}\)

  (getruncteerde singulierenwaardendecompositie)

  • voor \({\left\lVert{\mathsf{A}}-{\mathsf{B}}\right\rVert}_{2 \times 2}\) (bewijs aan bord)
  • ook voor \({\left\lVert{\mathsf{A}}-{\mathsf{B}}\right\rVert}_{\text{F}}\) (bewijs niet te kennen)

Polaire decompositie en isometrische benadering

• gegeven \({\mathsf{A}} ={\mathsf{U}}_n{\mathsf{S}}_n{\mathsf{V}}_n^{\mathsf{H}}\in {\mathbb{F}}^{m\times n}\) met \(m\geq n\)

• polaire decompositie voor \(m \geq n\):

  \({\mathsf{A}} = {\mathsf{U}} {\mathsf{P}} = ({\mathsf{U}}_n {\mathsf{V}}_n^{\mathsf{H}}) ({\mathsf{V}}_n {\mathsf{S}}_n {\mathsf{V}}_n^{\mathsf{H}})\)

  met dus \({\mathsf{U}}^{\mathsf{H}}{\mathsf{U}} = {\mathsf{I}}_n\) en \({\mathsf{P}}\) positief (semi)definiet

  \(\Rightarrow\) veralgemeent \(z = {\mathrm{e}}^{{\mathrm{i}}\arg(z)} {\left\lvert z\right\rvert}\)

• vind isometrische matrix \({\mathsf{B}}\) waarvoor \({\left\lVert{\mathsf{A}}-{\mathsf{B}}\right\rVert}\) minimaal is

  \(\Rightarrow {\mathsf{B}}= {\mathsf{U}}_n{\mathsf{V}}_n^{{\mathsf{H}}}\) (als \(m\geq n\) en voor \({\left\lVert{\mathsf{A}}-{\mathsf{B}}\right\rVert}_{\text{F}}\))

  (bewijs niet te kennen)