Hoofdstuk 4 - Normen en afstanden

Doel van dit hoofdstuk

$$ % Math operators % %

% VECTORS

% specifically for vectors in F^n

% MATRICES

% SCALARS

% LINEAR MAPS

% FIELDS

% RELATIONS

% % % % % % % % %

%

$$

• Concept van norm = lengte van een vector

• Norm geeft aanleiding tot een afstand tussen vectoren

• Vormt de basis om concepten uit analyse te importeren

  (rijen, reeksen, continuïteit, …)

Genormeerde vectorruimten

Norm

Gegeven een vectorruimte \(V\). Een norm is een afbeelding \(V \to {\mathbb{R}}: {v}\mapsto {\left\lVert{v}\right\rVert}\) die voldoet aan

• absolute homogeniteit: \({\left\lVert{a}{v}\right\rVert} = {\left\lvert{a}\right\rvert} {\left\lVert{v}\right\rVert}\)

  \(\Rightarrow {\left\lVert{o}\right\rVert} = 0\) ,

• subadditiviteit / driehoeksongelijkheid: \({\left\lVert{v}+ {w}\right\rVert} \leq {\left\lVert{v}\right\rVert} + {\left\lVert{w}\right\rVert}\)

  \(\Rightarrow {\left\lVert{o}\right\rVert} = 0 \leq {\left\lVert{v}\right\rVert} + {\left\lVert-{v}\right\rVert} = 2 {\left\lVert{v}\right\rVert}\)

• positief definiet: \({\left\lVert{v}\right\rVert} = 0 \Leftrightarrow {v}= 0\)

Voor de eerste eigenschap hebben we op het veld van scalairen \({\mathbb{F}}\) een absolute waarde \({\left\lvert{a}\right\rvert}\) nodig. Voor \({\mathbb{R}}\) en \({\mathbb{C}}\) komt dit overeen met de gekende definitie.

Nuttige eigenschap

\({\left\lVert{v}\right\rVert} \leq {\left\lVert{w}\right\rVert} + {\left\lVert{v}- {w}\right\rVert}\) (uit driehoeksongelijkheid)

\(\implies {\left\lVert{v}\right\rVert} - {\left\lVert{w}\right\rVert} \leq {\left\lVert{v}- {w}\right\rVert}\) \(\implies {\left\lvert{\left\lVert{v}\right\rVert} - {\left\lVert{w}\right\rVert}\right\rvert} \leq {\left\lVert{v}- {w}\right\rVert}\) (uit \({v}\leftrightarrow {w}\))

Voorbeelden:

• \(V = {\mathbb{F}}^n\): \({\left\lVert{v}\right\rVert} = \sum_{i=1}^n {\left\lvert v^i\right\rvert}\)
• \(V = {\mathbb{R}}^2\): \({\left\lVert(x,y)\right\rVert} = \sqrt{x^2 + y^2}\)
• \(V = C(I,{\mathbb{F}})\) voor een interval \(I=[a,b] \subseteq {\mathbb{R}}\): \({\left\lVert f\right\rVert} = \int_I {\left\lvert f(x)\right\rvert}\,{\mathrm{d}}x\) (zie later)

Hölder \(p\)-norm

Voor \(V = {\mathbb{F}}^n\) hebben we een familie van normen

\[{\left\lVert{v}\right\rVert}_p = \left[\sum_{i=1}^{n} {\left\lvert v^i\right\rvert}^p\right]^{1/p}\]

Speciale gevallen:

• \(p=1\): Manhattan norm
• \(p=2\): Euclidische norm \(\rightarrow\) zie volgend hoofdstuk
• limiet \(p\to \infty\): \[{\left\lVert{v}\right\rVert}_\infty = \max \{{\left\lvert{v}^i\right\rvert}, i=1,\ldots,n\}\]

Hölder \(p\)-norm

• \({\left\lVert\cdot\right\rVert}_p\) is absoluut homogeen en positief definiet per constructie.

• driehoeksongelijkheid kunnen we in een aantal stappen bewijzen, waarvoor we \(q = p/(p-1)\) invoeren, of dus \(1/p + 1/q = 1\) (inclusief \(p=0 \leftrightarrow q=\infty\) en vice versa):

  • Young’s ongelijkheid: \(\forall a,b \in {\mathbb{R}}_{\geq 0}: ab \leq \frac{a^p}{p} + \frac{b^q}{q}\)
  • Hölder’s ongelijkheid: \(\sum_{i=1}^n {\left\lvert v^i\right\rvert}{\left\lvert w^i\right\rvert} \leq {\left\lVert v\right\rVert}_p {\left\lVert w\right\rVert}_q\)
  • Minkowski’s ongelijkheid: \({\left\lVert{v}+{w}\right\rVert}_p \leq {\left\lVert{v}\right\rVert}_p + {\left\lVert{w}\right\rVert}_p\)

Hölder \(p\)-norm

Uitbreiding naar oneindig-dimensionale ruimten:

• \(\ell^p({\mathbb{N}}_0,{\mathbb{F}}) {\preccurlyeq}{\mathbb{F}}^{{\mathbb{N}}_0}\): de ruimte van alle rijen \((v^1,v^2,v^3,\ldots)\) waarvoor \(\sum_{i=1}^{+\infty} {\left\lvert v^i\right\rvert}^p\) convergeert naar een eindige waarde

  • Minkowski’s ongelijkheid is noodzakelijk om aan te tonen dat \(\ell^p({\mathbb{N}}_0,{\mathbb{F}})\) een vectorruimte is

  • norm \({\left\lVert{v}\right\rVert}_p = \left[\sum_{i=1}^{+\infty} {\left\lvert v^i\right\rvert}^p\right]^{1/p}\) is eindig

  • speciaal geval \(p=\infty\):

    \({\left\lVert{v}\right\rVert}_\infty = \sup\{{\left\lvert v^i\right\rvert}, i\in {\mathbb{N}}_0\}\) (supremum norm)

    \(\ell^\infty({\mathbb{N}}_0,{\mathbb{F}})\): ruimte van begrensde rijen

  Bewijs van eigenschappen norm als limiet \(n\to\infty\) van bewijs voor \({\mathbb{F}}^n\).

Hölder \(p\)-norm

Uitbreiding naar oneindig-dimensionale ruimten:

• Voor \(V = C^0([a,b],{\mathbb{F}})\): \({\left\lVert f\right\rVert}_p = \left(\int_a^b {\left\lvert f(x)\right\rvert}^p\,{\mathrm{d}}x\right)^{1/p}\)

  • Continuïteit en compactheid van interval \([a,b]\) noodzakelijk om goed gedefinieerd te zijn (geen divergenties), en voor de eigenschap \({\left\lVert f\right\rVert}_p=0 \implies f=0\)
  • Driehoeksongelijkheid kan op analoge manier bewezen worden
  • Meer over functies in H7

Metrische ruimten

Gegegeven een verzameling \(X\), een metriek of afstandsfunctie is een functie \(d:X \times X \to {\mathbb{R}}_{\geq 0}\) met eigenschappen:

• \(d(x,y) = 0 \iff x=y\)
• \(d(x,y) = d(y,x)\)
• \(d(x,y) + d(y,z) \geq d(x,z)\)

en dan noemen we \((X,d)\) een metrische ruimte (ruimte wijst niet noodzakelijk op vectorruimte)

• Een genormeerde vectorruimte \((V,{\left\lVert\cdot\right\rVert})\) wordt een metrische ruimte met de keuze \(d({v},{w}) = {\left\lVert{v}-{w}\right\rVert}\)

Metrische ruimten

Belang van metrische ruimten is dat we concepten uit analyse van functies \({\mathbb{R}}\to {\mathbb{R}}\) kunnen veralgemenen:

• Convergentie van een rij \((x_n \in X)_{n \in {\mathbb{N}}_0}\):

  • \(\lim_{n \to \infty} x_n = x \iff \lim_{n \to \infty} d(x_n,x) = 0\)

  • of dus: \(\forall \epsilon > 0, \exists N_\epsilon \in {\mathbb{N}}_0\) zodat \(n \geq N_\epsilon \implies d(x,x_n) \leq \epsilon\)

• Continuïteit van \(\Phi:X \to Y\) tussen metrische ruimten \((X,d_X)\) en \((Y,d_Y)\):

  • \(\Phi\) is continu in \(x \in X\): \(\lim_{n \to \infty} \Phi(x_n) = \Phi(x)\) voor alle rijen \((x_n)_{n \in{\mathbb{N}}_0}\) met \(\lim_{n\to\infty} x_n = x\)
  • \(\Phi\) is continu in \(x \in X\): \(\forall \epsilon > 0\), \(\exists \delta_{\epsilon} > 0\) zodat \(d_X(x',x) < \delta_\epsilon \implies d_Y(\Phi(x'),\Phi(x))<\epsilon\)
  • \(\Phi\) continu in volledig \(X\): \(\lim_{n\to\infty}\Phi(x_n) = \Phi(\lim_{n\to\infty} x_n)\) voor alle convergerende rijen

Voor een continue afbeelding \(\Phi\) kan \(\delta_\epsilon\) in de tweede definitie nog steeds afhangen van \(x\). Is dat niet nodig, dan heet \(\Phi\) ook “uniform continu”.

Metrische ruimten

• Een afbeelding \(\Phi:X \to Y\) tussen metrische ruimten \((X,d_X)\) en \((Y,d_Y)\) is isometrisch als \(d_Y(\Phi(x),\Phi(x')) = d_X(x,x')\) voor alle \(x,x'\in X\)
  • Een isometrische afbeelding is automatisch (uniform) continu (\(\delta_\epsilon = \epsilon\))
  • Een isometrische afbeelding is automatisch injectief
  • Een bijectieve isometrische afbeelding definieert een isomorfisme tussen \((X, d_X)\) en \((Y, d_Y)\)

Metrische ruimten

Topologische concepten in een metrische ruimte \((X,d)\):

• Open bol: \(B_r(x) = \{x'\in X| d(x,x') < r\}\)
• Open (deel)verzameling \(S\): \(\forall x \in S, \exists r>0\) zodat \(B_r(x) \subseteq S\)
• Gesloten deelverzameling \(S\) als \(S^\text{c} = X \setminus S\) open is
  • \(\Rightarrow\) een convergerende rij \((x_n \in S)\) voldoet aan \(\lim_{n\to\infty} x_n \in S\)
  • \(X\) and \(\{\}\) zijn zowel open als gesloten
• Sluiting \(\overline{S}\): kleinste gesloten verzameling die \(S\) bevat = \(S\) en al zijn limietpunten
• Dichte deelverzameling \(S\): als \(\overline{S} = X\) (bvb: \(\overline{Q}={\mathbb{R}}\))
• Begrensde verzameling \(S\): \(\exists M \in {\mathbb{R}}_{\geq 0}\) zodat \(d(x,y)<M, \forall x,y \in S\)
• Compacte verzameling: zie verderop
• \(X\) is separabel (scheidbaar?) als \(X\) een aftelbare dichte deelverzameling heeft

Continuïteit in genormeerde vectorruimte

We beschouwen nu een genormeerde vectorruimte \((V,{\left\lVert\cdot\right\rVert})\) als metrische ruimte met metriek \(d({v},{w}) = {\left\lVert{v}-{w}\right\rVert}\)

• De norm \({\left\lVert\cdot\right\rVert}:V\to {\mathbb{R}}\) is zelf een continue afbeelding (bewijs aan bord)

  \(\Rightarrow\) voor een convergente rij \((v_n \in V)_{n\in{\mathbb{N}}_0}\) is de geassocieerde rij \(({\left\lVert{v}_n\right\rVert})_{n\in{\mathbb{N}}_0}\) convergent (en dus begrensd)

• Vector optelling \(+:V \times V \to V\) en scalaire vermenigvuldiging \({\mathbb{F}}\times V \to V\) zijn continue afbeeldingen¹

Convergentie in functieruimten

Beschouw opnieuw \(C^0([a,b],{\mathbb{F}})\) met nu de \(p=\infty\)-norm, welke zich herleidt tot:²

\[{\left\lVert f\right\rVert}_p = \sup_{x\in [a,b]}{\left\lvert f(x)\right\rvert} = \max_{x\in[a,b]}{\left\lvert f(x)\right\rvert}\]

Convergentie: \(\lim_{n\to \infty} f_n = f\) als

• \(\max_{x\in [a,b]} {\left\lvert f_n(x)-f(x)\right\rvert} < \epsilon\) voor alle \(n > N_\epsilon\)

• \({\left\lvert f_n(x)-f(x)\right\rvert} < \epsilon\) voor alle \(x \in [a,b]\) voor alle \(n > N_\epsilon\)

  \(\Rightarrow\) uniforme convergentie van een reeks

  \(\Rightarrow\) \({\left\lVert f\right\rVert}_{\infty}\) voor continue functies wordt de uniform-norm genoemd

• contrast met puntsgewijze convergentie:

  \({\left\lvert f_n(x)-f(x)\right\rvert} < \epsilon\) voor alle \(n > N_{\epsilon,x}\) voor alle \(x \in [a,b]\)

  kan niet worden bekomen met behulp van norm (tegenvoorbeeld aan bord)

Equivalentie van normen

• Twee normen voor een vectorruimte \(V\) zijn equivalent als ze aanleiding geven tot dezelfde definitie van convergerende rijen (met dan dezelfde limietpunten)

• Stelling: twee normen \({\left\lVert\cdot\right\rVert}_a\) en \({\left\lVert\cdot\right\rVert}_b\) zijn equivalent als en slechts als er constanten \(C \geq c > 0\) bestaan zodat \(c {\left\lVert{v}\right\rVert}_a \leq {\left\lVert{v}\right\rVert}_b \leq C{\left\lVert{v}\right\rVert}_a\) voor alle \({v}\in V\)

  (bewijs aan bord)

• Stelling: voor een eindig-dimensionale vectorruimte \(V\) zijn alle normen equivalent

  (bewijs aan bord)

• Voorbeelden voor \(\boldsymbol{v} \in {\mathbb{F}}^n\):

  • \(\frac{{\left\lVert\boldsymbol{v}\right\rVert}_1}{\sqrt{n}} \leq {\left\lVert\boldsymbol{v}\right\rVert}_2 \leq {\left\lVert\boldsymbol{v}\right\rVert}_1\)
  • \(\frac{{\left\lVert\boldsymbol{v}\right\rVert}_1}{n} \leq {\left\lVert\boldsymbol{v}\right\rVert}_\infty \leq {\left\lVert\boldsymbol{v}\right\rVert}_1\)

Compacte verzameling (geen bewijzen)

• Een verzameling \(U\) is compact als

  • Wanneer \(U\) wordt bedekt door open verzamelingen \(\mathcal{V}=\{V_1,V_2,\ldots,\}\) (i.e. \(U \subseteq \bigcup \mathcal{V}\)), dan wordt \(U\) ook bedekt door een eindig aantal van die verzamelingen
  • Elke rij \(({v}_n \in U)\) heeft een convergerende deelrij met limietpunt in \(U\)

  (equivalente karakterisaties in metrische ruimten)

• Stelling: in een eindig-dimensionale vectorruimte \(V\) is een deelverzameling \(U\) compact als en slechts als \(U\) begrensd en gesloten is (analoog aan Vectoranalayse).

Compacte verzamelingen (geen bewijzen)

In een oneindig-dimensionale vectorruimte zijn gesloten begrensde deelverzamelingen niet compact.

• Voorbeeld: \(C^0([a,b],{\mathbb{F}})\) met \({\left\lVert\cdot\right\rVert}_\infty\)

  • Beschouw de gesloten eenheidsbol: \(\overline{B_1({o})} = \{{v}\in V|{\left\lVert{v}\right\rVert} \leq 1\}\)
  • Beschouw de rij \(\{f_n(x)=x^n\}\) met elke \({\left\lVert f_n\right\rVert} = 1\). Er bestaat geen convergente deelrij.

• Technisch (Riesz lemma): Beschouw een eigenlijke gesloten deelruimte \(W{\preccurlyeq}V\). Voor elke \(\epsilon \in (0,1)\) kunnen we een \({v}_\epsilon \in V\) vinden waarvoor \({\left\lVert{v}_\epsilon\right\rVert}=1\) en \({\left\lVert{v}_\epsilon - {w}\right\rVert} > \epsilon\) voor alle \(w \in W\).

Banachruimten (geen bewijzen)

Cauchy rijen en compleetheid

• Een Cauchy-rij in een metrische ruimte \((X,d)\) is een rij \((x_n \in X)_{n\in{\mathbb{N}}_0}\) zodat \(\forall \epsilon >0: \exists N_\epsilon \in {\mathbb{N}}\) met dan \(n,m > N_\epsilon \implies d(x_n,x_m) < \epsilon\)

  (intuïtief: elementen in de staart van de rij komen arbitrair dicht bij elkaar)

• Een convergente rij is altijd een Cauchy-rij

• Als elke Cauchy-rij convergeert wordt \(X\) (metrisch) compleet genoemd

• Een genormeerde vectorruimte \((V,{\left\lVert\cdot\right\rVert})\) die metrisch compleet is wordt een Banachruimte genoemd

Banachruimten

Voorbeelden:

• Elke eindig-dimensionale vectorruimte, met om het even welke keuze van norm
• Elke eindig-dimensionale deelruimte \(W\) van een oneindig-dimensionale vectorruimte \(V\), met als norm de restrictie van \({\left\lVert\cdot\right\rVert}\) tot \(W\)
• De ruimte \(\ell^p({\mathbb{F}})\) van oneindige rijen met eindige \(p\)-norm (en dit voor alle \(p \in [1,+\infty]\))
• Ruimte \(C^0([a,b],{\mathbb{F}})\) met maximumnorm/uniformnorm \({\left\lVert\cdot\right\rVert}_\infty\) voor begrensd (compact) interval \([a,b]\)

Banachruimten

Tegenvoorbeeld:

• Ruimte \({\mathbb{F}}[x]\) van polynomen met norm \({\left\lVert p\right\rVert}= \max_{x \in [a,b]} {\left\lvert p(x)\right\rvert}\)
  • \(p_n(x) = \sum_{k=0}^n \frac{1}{k!}x^k\) definieert een Cauchy-rij
  • \(\lim_{n\to\infty} p_n\) bestaat niet als polynoom
• Herinterpreteer \({\mathbb{F}}[x]\) als (eigenlijke) deelruimte van \(C^0([a,b],{\mathbb{F}})\)

  • \(\lim_{n\to\infty} p_n = \exp\) bestaat als continue functie

    \(\Rightarrow\) een oneindige deelruimte van een Banachruimte is niet noodzakelijk gesloten

Banachruimten: complete verzameling

Aangezien (oneindig-dimensionale) deelruimten \(W {\preccurlyeq}V\) open kunnen zijn, kunnen we hun sluiting \(\overline{W}\) bekijken.

• Zoals eerder: als \(\overline{W}=V\), dan is \(W\) een dichte deelruimte

  Elke vector \({v}\in V\) kan arbitrair dicht benaderd worden door een vector \({w}\in W\):

  \(\forall \epsilon > 0, {v}\in V : \exists {w}\in W\) zodat \({\left\lVert{v}-{w}\right\rVert}<\epsilon\)

• Een verzameling \(S\) waarvoor \({\mathbb{F}}S\) dicht is, of dus \(\overline{{\mathbb{F}}S}=V\), wordt een totale, fundamentele of complete verzameling genoemd

  (Contrast met H1: complete verzameling als \({\mathbb{F}}S = V\))

Banachruimten: complete verzameling

Voorbeeld: stelling van Stone-Weierstrass

Equivalente formuleringen:

• Elke continue functie kan aribtrair dicht (in uniform-norm) benaderd worden door een veelterm
• \({\mathbb{F}}[x]\) is een dichte deelverzameling van \(C^0([a,b],{\mathbb{F}})\)
• \(\{x^n, n=0,1,2,\ldots\}\) is een complete verzameling voor \(C^0([a,b],{\mathbb{F}})\)

Banachruimten

Van rijen naar reeksen in genormeerde vectorruimten \((V,{\left\lVert\cdot\right\rVert})\)

• Convergentie van reeksen: als rij van partieelsommen convergeert

  \(\sum_{n=1}^{+\infty} {v}_n ={v}\iff \lim_{n\to\infty} \sum_{k=1}^{n} {v}_k = {v}\iff \lim_{n\to \infty} {\left\lVert\sum_{k=1}^{n} {v}_k - {v}\right\rVert} = 0\)

• Een reeks \(\sum_{n=1}^{+\infty} {v}_n\) is absoluut convergent als de reeks \(\sum_{n=1}^{+\infty} {\left\lVert{v}_n\right\rVert}\) convergeert

  (absolute convergentie is zeker geen nodige voorwaarde voor convergentie van een reeks)

• Stelling: Een genormeerde vectorruimte is metrisch compleet (Banachruimte) als en slechts als absolute convergentie een voldoende voorwaarde is voor convergentie van een reeks (elke absoluut convergente reeks convergeert).

Banachruimten en basis

Convergentie van rijen en reeksen laat een nieuw concept van basis toe in Banachruimten \((V,{\left\lVert\cdot\right\rVert})\)

• Een Schauder basis is een rij \(({e}_n \in V)_{n \in {\mathbb{N}}_0}\) zodat voor elke vector \({v}\in V\) een rij van coefficiënten \((a^n \in {\mathbb{F}})_{n \in {\mathbb{N}}_0}\) bestaat, zodat de reeks \(\sum_{n =1}^{+\infty} a^n {e}_n\) convergeert naar \({v}\)

• De rij \((x^n)_{n \in {\mathbb{N}}}\) is geen (!!) Schauder basis voor \((C^0([a,b],{\mathbb{F}}), {\left\lVert\cdot\right\rVert}_{\infty})\):

  • een reeks \(\sum_{n=0}^{+\infty} a_n x^n\) die convergeert met betrekking tot \({\left\lVert\cdot\right\rVert}_{\infty}\) (uniforme convergentie) geeft sowieso aanleiding tot een analytische functie

  • een continue functie zoals \({\left\lvert x\right\rvert}\) heeft geen convergente Taylorreeks

\(\Rightarrow\) allerlei technische subtiliteiten die verdwijnen in het geval van Hilbertruimten (zie volgend hoofdstuk)

Normen voor lineaire afbeeldingen

Normen voor matrices

Gegeven \({\mathsf{A}} \in {\mathbb{F}}^{m \times n}\):

• ‘vectoriseer’ \({\mathsf{A}}\) (vergeet de matrixstructuur) via \({\mathbb{F}}^{m \times n} \cong {\mathbb{F}}^{m n}\) (vectorruimte-isomorphisme) en gebruik een vectornorm

• voorbeeld: Frobenius norm (ook wel Hilbert-Schmidt norm):

  \({\left\lVert{\mathsf{A}}\right\rVert}_\text{F} = \left(\sum_{i=1}^{m}\sum_{j=1}^{n} {\left\lvert A^i_{\ j}\right\rvert}^2\right)^{1/2} = \sqrt{\mathop{\mathrm{tr}}({\mathsf{A}}^{\mathsf{H}}{\mathsf{A}})}\)

• kunnen we normen met extra nuttige eigenschappen bedenken voor lineaire afbeeldingen?

Continuïteit van lineaire afbeeldingen

Beschouw genormeerde vectorruimten \((V,{\left\lVert\cdot\right\rVert}_V)\) en \((W,{\left\lVert\cdot\right\rVert}_W)\).

• Een lineaire afbeelding \({\hat{A}}\in \mathop{\mathrm{Hom}}(V,W)\) wordt begrensd genoemd als er een constante \(C \in {\mathbb{R}}_{\geq 0}\) bestaat zodat \[{\left\lVert{\hat{A}}{v}\right\rVert}_W\leq C {\left\lVert{v}\right\rVert}_V,\quad\forall {v}\in V\]
• Stelling: Voor een lineaire afbeelding \({\hat{A}}\in \mathop{\mathrm{Hom}}(V,W)\) zijn volgende eigenschappen equivalent (bewijs aan bord)
  • \({\hat{A}}\) is begrensd
  • \({\hat{A}}\) is continu in de oorsprong
  • \({\hat{A}}\) is overal continu (en zelfs uniform continu)

Begrensde lineaire afbeeldingen

We definiëren \(\mathcal{B}(V,W) {\preccurlyeq}\mathop{\mathrm{Hom}}(V,W)\) als de ruimte van begrensde lineaire afbeeldingen tussen genormeerde vectorruimten \((V,{\left\lVert\cdot\right\rVert}_V)\) en \((W,{\left\lVert\cdot\right\rVert}_W)\).

• \(\mathcal{B}(V,W)\) vormt inderdaad een vectorruimte (een deelruimte van \(\mathop{\mathrm{Hom}}(V,W)\)): tracht dit zelf aan te tonen!

• Als het domein \(V\) een eindig-dimensionale ruimte is, geldt \(\mathcal{B}(V,W)=\mathop{\mathrm{Hom}}(V,W)\)

• Een norm \({\left\lVert{\hat{A}}\right\rVert}\) voor lineaire afbeeldingen \({\hat{A}}\in \mathcal{B}(V,W)\) heet ondergeschikt (subordinate) aan de vectornormen in \(V\) en \(W\) als \[{\left\lVert{\hat{A}}{v}\right\rVert}_W \leq {\left\lVert{\hat{A}}\right\rVert} {\left\lVert{v}\right\rVert}_V,\quad\forall {v}\in V\]

Geïnduceerde norm

Beschouw genormeerde vectorruimten \((V,{\left\lVert\cdot\right\rVert}_V)\) en \((W,{\left\lVert\cdot\right\rVert}_W)\). We kunnen een norm voor afbeeldingen \({\hat{A}}\in \mathcal{B}(V,W)\) definiëren via

\[\begin{align} {\left\lVert{\hat{A}}\right\rVert}_{V \to W} &= \inf\{ C | {\left\lVert{\hat{A}} {v}\right\rVert}_W \leq C {\left\lVert{v}\right\rVert}_V, \forall {v}\in V\}\nonumber\\ &= \sup\left\{\frac{{\left\lVert{\hat{A}}{v}\right\rVert}_W}{{\left\lVert{v}\right\rVert}_V}\ \text{with}\ {v}\neq {o}_V\right\}\nonumber\\ &= \sup\{ {\left\lVert{\hat{A}}{v}\right\rVert}_W \text{with}\ {\left\lVert{v}\right\rVert}_V = 1\} \end{align}\]

Deze norm staat gekend als de geïnduceerde norm of soms ook operator norm (ook al geldt hij voor algemene lineaire afbeeldingen). Soms wordt ook met de “subordinate norm” specifiek naar deze definitie verwezen.

Geïnduceerde norm

• Voor \((V, {\left\lVert\cdot\right\rVert}_V)\) een genormeerde ruimte en \((W,{\left\lVert\cdot\right\rVert}_W)\) een Banachruimte geldt dat de ruimte \(\mathcal{B}(V,W)\) van begrensde lineaire afbeeldingen in combinatie met de geïnduceerde norm \({\left\lVert\cdot\right\rVert}_{V\to W}\) zelf een Banachruimte is (geen bewijs)

Normen voor lineaire operatoren

Beschouw nu specifiek \({\hat{A}}\in \mathop{\mathrm{End}}(V)\) voor een Banachruimte \((V,{\left\lVert\cdot\right\rVert}_V)\). De begrensde lineaire operatoren worden genoteerd als \(\mathcal{B}(V) = \mathcal{B}(V,V) {\preccurlyeq}\mathop{\mathrm{End}}(V)\).

• Een norm \({\left\lVert\cdot\right\rVert}\) voor lineaire operatoren wordt submultiplicatief genoemd als \[{\left\lVert{\hat{A}}\cdot{\hat{B}}\right\rVert} \leq {\left\lVert{\hat{A}}\right\rVert} {\left\lVert{\hat{B}}\right\rVert}, \quad \forall {\hat{A}},{\hat{B}} \in \mathcal{B}(V)\]

• De geinduceerde norm \({\left\lVert{\hat{A}}\right\rVert}_{V\to V}\) is submultiplicatief (bewijs aan bord)

• Voor elke submultiplicatieve of ondergeschikte norm geldt \({\left\lVert{\hat{1}}\right\rVert} \geq 1\). Voor de geinduceerde norm is \({\left\lVert{\hat{1}}\right\rVert}=1\).

Normen voor matrices

• voor gegeven \(p\): \(p\)-norm vormt een familie van normen voor vectoren in \({\mathbb{F}}^n\) voor arbitraire \(n\)

• voor een matrix \({\mathsf{A}}\in{\mathbb{F}}^{m \times n}\) kunnen we in principe de geïnduceerde norm \({\left\lVert{\hat{A}}\right\rVert}_{p\to q}\) berekenen voor \(p\)-norm op \({\mathbb{F}}^m\) en \(q\)-norm op \({\mathbb{F}}^n\); typisch willen we \(p=q\).

  • \({\left\lVert{\mathsf{A}}\right\rVert}_{\text{col}} = {\left\lVert{\mathsf{A}}\right\rVert}_{1 \to 1} = \max_{j=1,\ldots,n} \sum_{i=1}^{m} {\left\lvert A^i_{\ j}\right\rvert}\)
  • \({\left\lVert{\mathsf{A}}\right\rVert}_{\text{row}} = {\left\lVert{\mathsf{A}}\right\rVert}_{\infty \to \infty} = \max_{i=1,\ldots,m} \sum_{j=1}^{n} {\left\lvert A^i_{\ j}\right\rvert}\)

  (oefeningen, zelf proberen)

  • (\({\left\lVert{\mathsf{A}}\right\rVert}_{2 \to 2}\) is moeilijker te berekenen, en is gegeven door de grootste “singuliere waarde” (zie H6))

Consistente matrixnormen

Gegeven een familie van normen \(\{{\left\lVert\cdot\right\rVert}^{(m \times n)}: {\mathbb{F}}^{m\times n} \to {\mathbb{R}}_{\geq 0}; \forall m, n \in {\mathbb{N}}\}\) voor matrices van alle groottes:

• deze worden consistent genoemd als \[{\left\lVert{\mathsf{A}}{\mathsf{B}}\right\rVert}^{(m \times n)} \leq {\left\lVert{\mathsf{A}}\right\rVert}^{(m \times k)} {\left\lVert{\mathsf{B}}\right\rVert}^{(k \times n)}\] voor alle \({\mathsf{A}}\in{\mathbb{F}}^{m\times k}\) en \({\mathsf{B}}\in{\mathbb{F}}^{k\times n}\)

• de normen \({\left\lVert{\mathsf{A}}\right\rVert}_{p\times p}\) zijn consistent (bewijs aan bord)

• de normen \({\left\lVert{\mathsf{A}}\right\rVert}_{\text{F}}={\left\lVert\text{vectorize}({\mathsf{A}})\right\rVert}_2\) zijn consistent (bewijs aan bord)

• de norm \({\left\lVert\text{vectorize}({\mathsf{A}})\right\rVert}_\infty\) is niet consistent

Matrixnormen: terminologie

• Het concept “matrixnorm” wordt vaak gedefinieerd als een norm die aan de drie voorwaarden van een vectornorm voldoet, en bovendien aan de consistentievoorwaarde.

• De consistentievoorwaarde is een veralgemening van submultiplicativiteit van operatoren, en beide termen worden soms door elkaar gebruikt.

• Er is geen gestandardiseerde terminologie en “subordinate”, “submultiplicative” en “consistent” of ook “compatible” wordt door elkaar gebruikt in gerelateerde betekenissen

• (in vragen hieromtrent zal ook steeds de expliciete voorwaarde als wiskundige ongelijkheid vermeld staan)

Spectraalstraal

• De spectraalstraal van een operator \({\hat{A}}\in\mathop{\mathrm{End}}(V)\) is gedefinieerd als \[\rho_{{\hat{A}}} = \sup\{{\left\lvert\lambda\right\rvert};\lambda \in \sigma_{{\hat{A}}}\}\]

• Voor een submultiplicatieve norm en \(V\) eindig-dimensionaal geldt \({\left\lVert{\hat{A}}\right\rVert} \geq \rho_{{\hat{A}}}\) (bewijs aan bord)

  • ook \(\rho_{{\hat{A}}}^n \leq {\left\lVert{\hat{A}}^n\right\rVert}\)
  • als \({\hat{A}}\) inverteerbaar: \({\left\lVert{\hat{A}}\right\rVert}^{-1}\leq \rho_{{\hat{A}}}^{-1}\)

• Gelfand formule: \(\rho_{\hat{A}} =\lim_{n\to\infty}{\left\lVert{\hat{A}}^n\right\rVert}^{\frac{1}{n}}\)

  (bewijs aan bord)

Duale normen

Gegeven een genormeerde vectorruimte \((V,{\left\lVert\cdot\right\rVert})\):

• geïnduceerde norm op \(\mathcal{B}(V,{\mathbb{F}}){\preccurlyeq}V^\ast\) wordt genoteerd als de duale norm \({\left\lVert\cdot\right\rVert}^\ast\): \[{\left\lVert\xi\right\rVert}^\ast = \sup\left\{\frac{{\left\lvert\xi[v]\right\rvert}}{{\left\lVert v\right\rVert}} ; \forall v \in V, v \neq {o}\right\}, \quad \forall \xi \in V^\ast\]

• voor \(V = {\mathbb{F}}\) met Hölder norm \({\left\lVert\cdot\right\rVert}_p\) wordt de duale norm gegeven door \({\left\lVert\xi\right\rVert}_p^\ast = {\left\lVert\boldsymbol{\xi}\right\rVert}_q\) waarbij \(1/p+1/q=1\), en \(\boldsymbol{\xi}\) de componenten van \(\xi\), i.e. zodat \(\xi[\boldsymbol{v}]=\boldsymbol{\xi}^{\mathsf{T}}\boldsymbol{v}\)

  (bewijs aan bord)

Toepassingen

Functies van matrices en operatoren

• Functie met convergente Taylorreeks rond \(z=0\): \[f(z) = \sum_{n=0}^{+\infty} f_n z^n, \quad \forall {\left\lvert z\right\rvert}<R\]

  • \({\hat{A}}\in\mathcal{B}(V)\) met submultiplicatieve operatornorm:

    \({\left\lVert\sum_{n=0}^{+\infty} f_n {\hat{A}}^n\right\rVert} \leq \sum_{n=0}^{+\infty} {\left\lvert f_n\right\rvert} {\left\lVert{\hat{A}}^n\right\rVert} \leq \sum_{n=0}^{+\infty} {\left\lvert f_n\right\rvert} {\left\lVert{\hat{A}}\right\rVert}^n\)

    \(\Rightarrow\) \(\sum_{n=0}^{+\infty} f_n {\hat{A}}^n\) convergeert voor alle \({\hat{A}}\) met \({\left\lVert{\hat{A}}\right\rVert}<R\) als \(V\) een Banachruimte is

Functies van matrices en operatoren

• Functies met convergente Taylorreeks rond \(z=\lambda\) voor elke eigenwaarde \(\lambda\)

  • Beschouw \({\hat{N}}\) met \({\hat{N}}^s = 0\) en definieer \[{\left\lVert{v}\right\rVert}_{R,s} = {\left\lVert{v}\right\rVert} + \frac{{\left\lVert{\hat{N}}{v}\right\rVert}}{R} + \dots + \frac{{\left\lVert{\hat{N}}^{s-1}{v}\right\rVert}}{R^{s-1}}\]

    \(\Rightarrow {\left\lVert{\hat{N}}{v}\right\rVert}_{{\hat{N}},R} = R({\left\lVert v\right\rVert}_{{\hat{N}},R} - {\left\lVert{v}\right\rVert}) \leq R {\left\lVert v\right\rVert}_{{\hat{N}},R}\)

    \(\Rightarrow \sup_{{v}\neq 0} \frac{{\left\lVert{\hat{N}}{v}\right\rVert}_{{\hat{N}},R}}{{\left\lVert{v}\right\rVert}_{{\hat{N}},R}} \leq R\)

Sensitiviteit van lineaire systemen

Lineair system \({\hat{A}}{x}= {y}\) met \({x},{y}\in V\) en \({\hat{A}} \in \mathop{\mathrm{End}}(V)\) met \(V\) een genormeerde vectorruimte met norm \({\left\lVert\cdot\right\rVert}\)

• Stel kleine variatie \({y}\to {y}+ \Delta{y}\Rightarrow {x}\to {x}+ \Delta {x}\)

• \(\frac{{\left\lVert\Delta {x}\right\rVert}}{{\left\lVert{x}\right\rVert}} \leq \kappa({\hat{A}}) \frac{{\left\lVert\Delta{y}\right\rVert}}{{\left\lVert{y}\right\rVert}}\)

  met het condititiegetal \(\kappa({\hat{A}})\) gegeven door

  \[\kappa({\hat{A}}) = \begin{cases} {\left\lVert{\hat{A}}\right\rVert}{\left\lVert{\hat{A}}^{-1}\right\rVert},&\text{if ${\hat{A}}$ is invertible}\\ +\infty,&\text{otherwise} \end{cases}\]

  met hierin \({\left\lVert{\hat{A}}\right\rVert}\) de geïnduceerde norm geassocieerd aan de vectornorm (bewijs: eenvoudig, zie ook Py4Sci)

Sensitiviteit van lineaire systemen

• Uitbreiding: ook variatie \({\hat{A}}\to {\hat{A}}+\Delta{\hat{A}}\) met \({\left\lVert{\hat{A}}^{-1}\Delta{\hat{A}}\right\rVert} < 1\)

  • \({\left\lVert({\hat{A}} + \Delta{\hat{A}})^{-1}\right\rVert} \leq \frac{{\left\lVert{\hat{A}}^{-1}\right\rVert}}{1 - {\left\lVert{\hat{A}}^{-1} \Delta{\hat{A}}\right\rVert}}\)
  • \(\frac{{\left\lVert\Delta {x}\right\rVert}}{{\left\lVert{x}\right\rVert}} \leq \frac{\kappa({\hat{A}})}{1 - {\left\lVert{\hat{A}}^{-1} \Delta{\hat{A}}\right\rVert}} \left( \frac{{\left\lVert\Delta {y}\right\rVert}}{{\left\lVert{y}\right\rVert}} + \frac{{\left\lVert\Delta{\hat{A}}\right\rVert}}{{\left\lVert{\hat{A}}\right\rVert}}\right)\)

• A postiori error: het residu \(r = {\hat{{y}}} - {\hat{A}}\tilde{{x}}\) voor een benaderde oplossing \(\tilde{{x}}\):

  \(\Rightarrow \frac{{\left\lVert{x}- \tilde{{x}}\right\rVert}}{{\left\lVert{x}\right\rVert}} \leq \kappa({\hat{A}}) \frac{{\left\lVert{r}\right\rVert}}{{\left\lVert{y}\right\rVert}}\) met \({x}\) de echte oplossing

Markovketens en stochastische matrices

Misschien later?

Footnotes

1. Hiervoor hebben we het volgende nodig: de productverzameling \(X \times Y\) van twee metrische ruimten \((X, d_X)\) en \((Y, d_Y)\) is metrische ruimte, bevoorbeeld met metriek \(d_{X,Y}((x,y), (x',y')) = d_X(x,x') + d_Y(y,y')\)}

2. Extremumstelling van Weierstrass: \(\sup\) wordt \(\max\) voor continue \(f\) begrensd interval \([a,b]\)