Universidade Federal de Santa Catarina Curso de P´

Livre

0
0
108
1 year ago
Preview
Full text

  

Universidade Federal de Santa Catarina

Curso de P´ os-Gradua¸c˜ ao em Matem´ atica

Pura e Aplicada

  

M´ etodos de Quadrados

M´ınimos Totais Regularizados

Jonathan Ruiz Quiroz

Orientador: Prof. Dr. Ferm´ın Sinforiano Viloche

  

Baz´ an

  Florian´ opolis Fevereiro de 2014

  

Universidade Federal de Santa Catarina

Curso de P´ os-Gradua¸c˜ ao em Matem´ atica

Pura e Aplicada

  

M´ etodos de Quadrados M´ınimos Totais

Regularizados

  Disserta¸ c˜ ao apresentada ao Curso de P´ os-Gradua¸ c˜ ao em Matem´ atica Pura e Aplicada, do Centro de Ciˆ encias F´ısicas e Matem´ aticas da Universidade Federal de Santa Catarina, para a obten¸ c˜ ao do grau de Mestre em Matem´ atica, com

  ´ Area de Concentra¸ c˜ ao em Matem´ atica Aplicada.

  Jonathan Ruiz Quiroz Florian´ opolis, Fevereiro de 2014

  

M´ etodos de Quadrados M´ınimos Totais

Regularizados

  por Jonathan Ruiz Quiroz

  Esta Disserta¸c˜ ao foi julgada para a obten¸c˜ao do T´ıtulo de Mestre, en Matem´ atica, ´ Area de Concentra¸c˜ ao em Matem´atica Aplicada, e aprovada em sua forma final pelo Curso de P´os-Gradua¸c˜ao em Matem´ atica Pura e Aplicada.

  Prof. Dr. Daniel Gon¸calves Coordenador

  Comiss˜ ao Examinadora Prof. Dr. Ferm´ın S. Viloche Baz´ an

  (Orientador - UFSC) Prof. Dr. Marcelo Vitor W¨ ust Zibetti (UTFPR) Prof. Dr. Juliano de Bem Francisco (UFSC) Prof. Dra. Melissa Weber Mendon¸ca (UFSC) Florian´ opolis, Fevereiro de 2014.

  Agradecimentos Primeiro quero agradecer a Deus por tudo o que ele tem feito por mim.

  ` A Meus pais Irma e Jos´e para todo o seu amor, exemplo e apoio nesta fase da minha vida.

  Ao Meu amor Lila por ter sido minha companheira incondicional durante estes anos de estudo. Eu tamb´em quero agradecer ao Professor Dr. Ferm´ın por ter aceio ser o meu orientador. Suas recomenda¸c˜ oes foram muito importantes na prepara¸c˜ao deste trabalho.

  Aos Professores Marcelo, Melissa e Juliano por terem aceito par- ticipar da banca, pela leitura e recomenda¸c˜oes que melhoraram este trabalho.

  Ao Programa de P´ os-Gradua¸c˜ ao em Matem´atica Pura e Aplicada da UFSC pela oportunidade. ` A Elisa por sua ajuda. Ao programa de bolsas Capes pelo auxilio financeiro nestes dois anos.

  Resumo

  Neste trabalho estudamos m´etodos de regulariza¸c˜ao para o problema de Quadrados M´ınimos Totais (RTLS) baseado em t´ecnicas da ´ Algebra Linear Num´erica e teoria de regulariza¸c˜ ao.

  O foco principal do trabalho ´e o estudo da regulariza¸c˜ao de Tikho- nov para o m´etodo de Quadrados M´ınimos Totais (TLS) e de uma t´ecnica de truncamento que atua como regularizador. No primeiro caso, abordamos um m´etodo desenvolvido por Renaut e Guo base- ado na resolu¸c˜ ao de um sistema n˜ ao linear atrav´es de um problema de autovalores lineares e sobre o tamanho da solu¸c˜ao.

  Resultados num´ericos mostram que este m´etodo pode n˜ao funcio- nar em alguns problemas. Ent˜ ao, estudamos o m´etodo TLS truncado (T-TLS) e introduzimos um crit´erio de escolha do parˆametro de trun- camento baseado no trabalho de Baz´ an, Cunha e Borges que n˜ao requer informa¸c˜ao pr´evia sobre a solu¸c˜ ao. Ambos os m´etodos s˜ao ilustrados numericamente e comparados com respeito `a qualidade das solu¸c˜oes.

  Os resultados num´ericos mostram que o m´etodo de truncamento ´e uma boa alternativa para resolver o problema RTLS. Palavras-chave

  : SVD, Regulariza¸c˜ ao de Tikhonov, Quadrados m´ınimos totais, M´etodos iterativos.

  Abstract

  In this paper we study regularization methods for Total Least Squares problems (RTLS) based on Numerical Linear Algebra tools and regu- larization theory.

  The focus of the work is to study the Tikhonov regularization method for Total Least Square (TLS) and a truncation technique which acts as regularization. First, we study a method developed by Renaut and Guo based on linear eigenvalue problems and on a priori information about the size of the solution.

  Numerical results show that this method may not work in some problems. Then, we study the truncated TLS method (T-TLS) and introduce a criterion for choosing the truncation parameter based on work by Baz´an, Borges and Cunha that does not require any a priori information about the solution. Both methods are illustrated numeri- cally and compared in terms of efficiency and accuracy.

  The numerical results show that the truncation method is a good alternative to solve the RTLS problem. Keywords:

  SVD, Tikhonov regularization, Total Least Squares, Iterative methods. Lista de Figuras 1.1 Descri¸c˜ ao geom´etrica do Teorema 1.1.1. . . . . . . . . .

  4 1.2 Valores e vetores singulares. . . . . . . . . . . . . . . . .

  7 1.3 Solu¸c˜ oes de um sistema discreto Ax = b. . . . . . . . . .

  9 2.1 Ilustra¸c˜ ao geom´etrica do ˆ angulo β com b e ). . .

  25 R(A 2.2 Sinais puro e perturbado. . . . . . . . . . . . . . . . . .

  28 2.3 Res´ıduo relativo. . . . . . . . . . . . . . . . . . . . . . .

  29 2.4 Amplitude. . . . . . . . . . . . . . . . . . . . . . . . . .

  30 2.5 Frequˆencia. . . . . . . . . . . . . . . . . . . . . . . . . .

  30 3.1 Valores singulares e valores singulares generalizados. . .

  34

  3.2 Norma da solu¸c˜ ao aproximada e norma do Res´ıduo na norma Frobenius. . . . . . . . . . . . . . . . . . . . . . .

  45 3.3 Erro relativo na solu¸c˜ ao TLS truncado. . . . . . . . . .

  45 4.1 Solu¸c˜ao do problema heat. . . . . . . . . . . . . . . . . .

  62

  4.2 Linha superior: Parˆ ametros λ

  I , λ L e fun¸c˜ao g(θ) para o

  problema heat usando dados com ru´ıdo de 0.1%. Linha inferior: Solu¸c˜ oes regularizadas LS e TLS. . . . . . . . .

  63 4.3 Solu¸c˜ao do problema Phillips. . . . . . . . . . . . . . . .

  64

  4.4 Solu¸c˜ oes RLS e RTLS para o problema phillips com 5% de ru´ıdo. . . . . . . . . . . . . . . . . . . . . . . . . . . .

  65 4.5 Solu¸c˜ao do problema shaw. . . . . . . . . . . . . . . . .

  66

  4.6 Solu¸c˜ oes RLS e RTLS para o problema shaw com 0.1% de ru´ıdo. . . . . . . . . . . . . . . . . . . . . . . . . . . .

  66

  4.7 Estimativa (4.2.2), fun¸c˜ao Ψ e erros relativos em x

  k k

  para o problema gravity com n = 32 e NR = 0,02. Erro

  ∗

  relativo m´ınimo atingido em k = 7 = argmin Ψ e

  k

  7

  kx − x . . . . . . . . . . . . . . . . . . . . .

  69

  ex ex

  2

  k = 0,0778kx k

  4.8 Linha superior: Erros relativos RLS e T-TLS para o problema heat usando dados com ru´ıdo de 0.1% e solu¸c˜ao x . Linha inferior: Fun¸c˜ ao Ψ . . . . . . . . . . . . .

  70 T T LS k 4.9 Fun¸c˜ ao ψ k e solu¸c˜ ao T-TLS para o problema phillips. . .

  71

  4.10 Erros relativos dos m´etodos T-TLS e ETLS aplicado ao problema shaw com 0.1% de ru´ıdo. . . . . . . . . . . . .

  72 4.11 T-TLS aplicado ao problema Shaw com 5% de ru´ıdo. . .

  73

  Lista de Tabelas 2.1 Valores exatos para o sinal MRS. . . . . . . . . . . . . .

  e x

  71 4.6 Erro relativo da solu¸c˜ ao T-TLS para o problema shaw. .

  4.5 Erro relativo dos m´etodos T-TLS e RTLS para o pro- blema phillips. . . . . . . . . . . . . . . . . . . . . . . . .

  71

  4.4 Erro relativo da solu¸c˜ ao T-TLS e RTLS com diferentes n´ıveis de ru´ıdo para o problema heat. . . . . . . . . . .

  67

  65 4.3 Erro relativo da solu¸c˜ ao RTLS para o problema shaw. .

  δ para trˆes n´ıveis de ru´ıdo.

  λ

  28 2.2 Erro relativo e Res´ıduo relativo das solu¸c˜oes LS e TLS.

  4.2 Resultados da solu¸c˜ ao x

  para trˆes n´ıveis de ru´ıdo. 63

  δ

  e x

  λ

  4.1 Resultados das solu¸c˜ oes x

  29

  29 2.3 Erros Relativos dos parˆ ametros α e ω. . . . . . . . . . .

  72

  Lista de S´ımbolos

  LS Quadrados M´ınimos

  SVD Decomposi¸c˜ ao em Valores Singulares

  GSVD Decomposi¸c˜ ao em Valores Singulares Generalizados

  TSVD Decomposi¸c˜ ao em Valores Singulares Truncada

  TLS Quadrados M´ınimos Totais

  MRS Espectroscopia de Ressonˆ ancia Magn´etica

  RTLS Quadrados M´ınimos Totais Regularizados

  RTLSEVP Quadrados M´ınimos Totais Regularizados via Problema de Autovalores T-TLS M´ınimos Quadrados Totais Truncados

  Nota¸c˜ oes As seguintes nota¸c˜ oes ser˜ ao usadas neste trabalho. n .

  • O espa¸co vetorial n-dimensional ´e denotado por R

  T

  ) ´e o espa¸co das linhas e

  • R(S) denota o espa¸co coluna, R(S N (S) denota o espa¸co nulo ou n´ ucleo de S.
  • Para as matrizes diagonais, fazemos a seguinte nota¸c˜ao. Se A ∈

  m×n

  escrevemos R

  A = diag(α

  1 , . . . , α p ), p = min

  {m, n}, ent˜ao a ij = 0, se i ii = α i para i = 1, . . . , p. 6= j e a .

  m

  • A matriz identidade m × m ´e denotada por I • A norma Frobenius de uma matriz m × n M ´e definida por v

  m n

  u

  X X u

  2

  t F = m . kMk

  ij i=1 j=1

  • A norma 2 de um vetor n-dimensional ´e definida por v u

  n

  X u

  2

  t = y .

  2

  kyk i

  i=1

  • Definimos a norma 2 de uma matriz m × n M por

  2

  kMyk = sup .

  2

  kMk

  y6=0

  2

  kyk e ´e igual ao maior valor singular de M .

  • Posto(A) denota o posto da matriz A, definida como o n´umero de valores singulares n˜ ao nulos.

  min (A).

  • O menor valor singular da matriz A ´e denotado por σ

  k denota uma matriz de posto k. A matriz [C k D k ] denota

  • A uma matriz aumentada de posto k.

  † denota a pseudo-inversa de A.

  • A

  (k) k∈N , denota uma sequˆencia de n´ umeros reais, e

  • O conjunto {λ }

  (k) n denotamos por k∈N .

  {x } a sequˆencia de vetores em R Sum´ ario

  1 Preliminares 3 1.1 Problema de Quadrados M´ınimos (LS) . . . . . . . . . .

  3 1.2 A Decomposi¸c˜ ao em Valores Singulares . . . . . . . . . .

  5 1.2.1 Problemas Discretos Mal Postos . . . . . . . . .

  7

  2 M´ etodo de Quadrados M´ınimos Totais

  12 2.1 Princ´ıpios do M´etodo TLS . . . . . . . . . . . . . . . . .

  12 2.2 An´ alise do M´etodo TLS Via Proje¸c˜ oes Ortogonais . . .

  16

  2.2.1 M´etodo Geral de Proje¸c˜ oes Ortogonais e an´ alise de perturba¸c˜ oes . . . . . . . . . . . . . . . . . . .

  17 2.2.2 Estimativas para os M´etodos LS e TLS . . . . .

  24 2.2.3 Rela¸c˜ ao entre as Solu¸c˜ oes LS e TLS . . . . . . .

  26 2.3 Resultados Num´ericos Preliminares . . . . . . . . . . . .

  27

  3 M´ etodo de Quadrados M´ınimos Totais Regularizados

  31 3.1 Regulariza¸c˜ ao de Tikhonov do problema LS e a GSVD .

  31

  3.1.1 M´etodos de Escolha do Parˆametro de Regulariza¸c˜ao 35 3.2 Regulariza¸c˜ ao de Tikhonov e TLS . . . . . . . . . . . .

  36 3.2.1 O Caso da Forma Padr˜ ao . . . . . . . . . . . . .

  39 3.2.2 Caso da Forma Geral . . . . . . . . . . . . . . .

  42 3.3 Regulariza¸c˜ ao TLS via Truncamento . . . . . . . . . . .

  43 3.3.1 Fatores de Filtro para o TLS Truncado . . . . .

  46

  3.3.2 Bidiagonaliza¸c˜ ao de Lanczos para o TLS truncado 52

  4 M´ etodos para Calcular Solu¸ c˜ oes TLS Regularizadas

  55

  4.1 RTLS Via Problema de Autovalores segundo Renault e Guo . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

  55 4.1.1 Suporte Te´orico do M´etodo Iterativo . . . . . . .

  57 4.1.2 Experimentos Num´ericos . . . . . . . . . . . . .

  60 4.2 M´etodo de Truncamento para o Problema TLS . . . . .

  67

  4.2.1 O Crit´erio do Produto M´ınimo . . . . . . . . . .

  67 4.2.2 Experimentos Num´ericos . . . . . . . . . . . . .

  69

  5 Conclus˜ oes

  74 A Problema de Minimiza¸ c˜ ao com Restri¸ c˜ oes de Igualdade e Desigualdade

  76 A.0.3 Condi¸c˜ oes de Regularidade/Qualifica¸c˜ao . . . . .

  77 A.1 M´ınimos Quadrados com Restri¸c˜ ao de Igualdade . . . .

  78 A.1.1 A Fun¸c˜ ao de Lagrange e as Equa¸c˜oes Normais .

  78 A.1.2 Caracteriza¸c˜ ao da Solu¸c˜ ao . . . . . . . . . . . . .

  81 A.2 Quociente de Rayleigh . . . . . . . . . . . . . . . . . . .

  81 Introdu¸c˜ ao

  No modelo cl´assico de quadrados m´ınimos (LS) min

  2

  kAx − bk

  m×n m

  onde A , m , ´e assumido frequentemente que a ∈ R ≥ n, e b ∈ R matriz A ´e exata e o vetor b ´e contaminado por erros. Esta hip´otese n˜ao ´e sempre realista, pois erros de medi¸c˜ ao, de modelagem, de instru- menta¸c˜ao, tamb´em acrescentam incertezas na matriz de dados A.

  Uma maneira de lidar com problemas desta natureza ´e atrav´es do m´etodo de Quadrados M´ınimos Totais (TLS) que ´e um m´etodo apro- priado quando existem perturba¸c˜ oes na matriz de dados A e no vetor de observa¸c˜ oes b. Neste trabalho fazemos um estudo da regulariza¸c˜ ao de Tikhonov para o m´etodo TLS.

  O problema foi estudado por Golub e Van Loan [11], teoricamente e algoritmicamente, e fortemente baseado na decomposi¸c˜ao em valores singulares. Nos ´ ultimos anos o interesse no m´etodo TLS ´e mantido devido ao desenvolvimento da eficiˆencia computacional e algoritmos confi´aveis para resolver este problema.

  ´ E necess´ ario comentar que o TLS ´e uma das muitas t´ecnicas de ajuste de estimativas dos dados, quando as vari´aveis est˜ao sujeitas a erros. Muitas outras aproxima¸c˜ oes gerais para este problema guiaram a outras t´ecnicas de ajuste para problemas lineares, assim como n˜ao

  Na pr´ atica tamb´em aparecem problemas nos quais a matriz A ´e mal condicionada e a solu¸c˜ ao tem que satisfazer uma condi¸c˜ ao quadr´ atica

  p×n

  e δ > 0 . Estes casos aparecem natural-

  2

  kLxk ≤ δ, onde L ∈ R mente nos problemas inversos, onde queremos, por exemplo, estudar a estrutura de um problema f´ısico a partir de seu comportamento. Um dos m´etodos importantes para resolver problemas mal condicionados ´e a regulariza¸c˜ao de Tikhonov [36], o qual incorpora hip´oteses adicio- nais sobre o tamanho e a suavidade da solu¸c˜ao desejada que ajuda a contornar a sensibilidade da matriz A sobre a solu¸c˜ao. Para problemas discretos, a regulariza¸c˜ ao de Tikhonov na forma geral leva ao problema de minimiza¸c˜ao

  2

  2

  min + λ n kAx − bk

  2 kLxk

  2 x∈R

  onde o parˆametro de regulariza¸c˜ ao λ > 0 controla o peso, dado pelo termo de regulariza¸c˜ ao

  2 relativo ` a minimiza¸c˜ao da norma resi-

  kLxk dual [36]. Em nosso trabalho estudamos o caso no qual a matriz A e b est˜ao sujeitos a perturba¸c˜ oes, introduzindo t´ecnicas que foram desenvolvi- das previamente ao problema TLS bem como aplica¸c˜oes do m´etodo de quadrados m´ınimos totais. O presente trabalho est´a organizado como segue.

  No primeiro cap´ıtulo estudamos o m´etodo de quadrados m´ınimos e a decomposi¸c˜ ao em valores singulares, junto com as propriedades e os resultados te´ oricos importantes desta decomposi¸c˜ao, tal como o Teorema de Eckart-Young sobre aproxima¸c˜ oes duma matriz, que ser´a muito usado neste trabalho.

  No cap´ıtulo 2 definimos o problema TLS, introduzindo seus fun- damentos te´ oricos tais como teoremas de existˆencia e unicidade da solu¸c˜ ao. Al´em disso, tamb´em estudamos a rela¸c˜ ao entre as solu¸c˜ oes do m´etodo LS e o m´etodo TLS usando o ˆ angulo entre subespa¸cos e finalmente comparamos os m´etodos LS e TLS para o problema de res- sonˆancia magn´etica.

  No cap´ıtulo 3 introduzimos a regulariza¸c˜ ao de Tikhonov para o m´etodo TLS baseado em [14], estudando as propriedades mais impor- tantes do m´etodo, para depois us´ a-las em conex˜ ao com o m´etodo TLS regularizado (RTLS), incluindo os casos L = I e L

  6= I. O cap´ıtulo tamb´em considera uma outra forma de regulariza¸c˜ao baseada na id´eia de truncamento do m´etodo SVD truncada (TSVD) e inclui um estudo do m´etodo de bidiagonaliza¸c˜ ao de Lanczos que ´e ´ util para problemas com dimens˜ oes muito grandes.

  No cap´ıtulo 4 estudaremos um m´etodo iterativo para calcular a solu¸c˜ao aproximada do problema RTLS baseado em autovalores e de- notado por RTLSEVP. Este algoritmo ser´ a usado para resolver alguns problemas teste extra´ıdos de [17] e os resultados ser˜ ao comparados com o m´etodo de truncamento baseado na teoria desenvolvida em [7], o qual n˜ ao requer informa¸c˜ oes adicionais sobre o tamanho e a suavidade da solu¸c˜ao desejada.

  Cap´ıtulo 1 Preliminares

  Neste cap´ıtulo apresentamos algumas id´eias b´asicas que servem como motiva¸c˜ ao e suporte te´ orico para o tema central deste trabalho.

1.1 Problema de Quadrados M´ınimos (LS)

  A solu¸c˜ao num´erica de equa¸c˜ oes integrais de primeira esp´ecie Z

  b

  K(x, y)f (y)dy = g(x), c (1.1.1) ≤ x ≤ d

  a

  requer o uso de m´etodos de discretiza¸c˜ ao, que em geral, resultam em problemas de minimiza¸c˜ ao min (1.1.2)

  2 n kAx − bk x∈R m×n m

  onde A , b onde m ∈ R ∈ R ≥ n. Neste cap´ıtulo apresentamos os princ´ıpios do problema (1.1.2), chamado neste trabalho de problema

  LS. Van Huffel e Vandewalle [37] definiram um problema LS como b´asico quando s˜ ao satisfeitas as condi¸c˜ oes abaixo.

  m .

  • O lado direito b ´e um ´unico vetor em R • O problema tem solu¸c˜ao.
  • A solu¸c˜ao ´e ´unica. Em certos problemas, ambos a matriz A e o lado direito b est˜ao sujei- tos a incertezas e uma maneira de lidar com estes problemas ´e atrav´es
do m´etodo de Quadrados M´ınimos Totais (TLS). Neste cap´ıtulo vamos desenvolver a teoria necess´ aria para o estudo desse m´etodo. Consi-

  n

  dere o problema de encontrar um vetor x tal que Ax = b, onde ∈ R

  m×n m

  A e b ´e o vetor de observa¸c˜ oes. Quando existem mais ∈ R ∈ R equa¸c˜oes do que inc´ ognitas, ou seja, m > n, o sistema ´e sobredetermi- nado e o problema n˜ ao tem solu¸c˜ ao se b /

  ∈ R(A). Neste caso usamos a notac˜ ao Ax ≈ b. A solu¸c˜ ao x do problema (1.1.2) ´e caracterizada pelo seguinte Teo- rema

  Teorema 1.1.1.

  O vetor x ´e solu¸c˜ ao do problema (1.1.2) se e somente se T

  A (b − Ax) = 0.

  Demonstra¸c˜ ao. Ver [3].

  Este Teorema diz que o res´ıduo r = b − Ax associado `a solu¸c˜ao x ´e ortogonal ao

  R(A), como mostra a Figura 1.1. Ent˜ao o lado direito ´e decomposto em duas componentes ortogonais.

  ′

  b = b + r = Ax + r, r ⊥ Ax,

  ′

  onde b ´e a proje¸c˜ ao ortogonal de b sobre R(A).

  Figura 1.1: Descri¸c˜ ao geom´etrica do Teorema 1.1.1. Corol´ ario 1.1.1.

  (Solu¸c˜ ao LS e Res´ıduo) Se posto(A) = n, ent˜ ao (1.1.2) tem solu¸c˜ ao LS ´ unica dada por T −1 T

  x = (A

  A) A b (1.1.3)

  e a correspondente corre¸c˜ ao LS ´e dado pelo res´ıduo.

  ′ ′

  r = b , b = P (b)

  A

  − Ax = b − b

  T −1 T onde P = A(A

  A) A ´e a proje¸c˜ ao ortogonal sobre

  A R(A).

  Se posto(A) < n, o problema LS (1.1.2) tem infinitas solu¸c˜oes, pois se x ´e solu¸c˜ ao do (1.1.2) e z ∈ N (A) ent˜ao x+z ´e tamb´em uma solu¸c˜ao. Denotamos por x LS a solu¸c˜ ao do problema (1.1.2). Note que se A tem posto completo, existe uma ´ unica solu¸c˜ ao.

  Na seguinte se¸c˜ ao vamos encontrar express˜oes para a solu¸c˜ao x LS e o res´ıduo LS

  2 . em termos da SVD.

  kAx − bk

  

1.2 A Decomposi¸c˜ ao em Valores Singula-

res m×n

  A decomposi¸c˜ ao em valores singulares (SVD) de uma matriz A ∈ R

  ´e de muita importˆ ancia te´ orica e pr´ atica em ´ Algebra Linear Num´erica como vamos verificar neste trabalho.

  m×n Teorema 1.2.1.

  

(SVD) Seja A com m

  ∈ R ≥ n ent˜ao existem

  m×m matrizes ortonormais U = [u 1 , . . . , u m ] e V = [v 1 , . . . , v m ]

  ∈ R ∈

  n×n

  R tais que

  n

  X T T A = U ΣV = σ u v (1.2.1)

  i i i i=1 onde Σ = diag(σ , . . . , σ ) possui elementos n˜ ao negativos tais que

  1 n

  σ

  1

2 n

≥ σ ≥ . . . ≥ σ ≥ 0.

  Demonstra¸c˜ ao. O Teorema pode ser encontrado em [16].

  Os n´ umeros σ i s˜ ao chamados valores singulares de A, e os vetores u i e v i s˜ao chamados vetores singulares ` a esquerda e `a direita de A, respectivamente.

  Geometricamente, a SVD de A fornece duas bases de vetores orto- normais (as colunas de U e V ) tais que a matriz A ´e diagonal quando ´e transformada nessas bases.

  ´ E f´acil verificar pela compara¸c˜ao das colunas nas equa¸c˜oes AV =

  T T

  U Σ e A U = Σ V que

  T

  Av = σ u e A u = σ v , i = 1, . . . , n. (1.2.2)

  i i i i i i A SVD tamb´em mostra informa¸c˜ ao sobre a estrutura de A. Se a SVD de A ´e dada pelo Teorema 1.2.1, e σ

  

1 r > σ r+1 = . . . = σ n = 0,

  ≥ . . . ≥ σ ent˜ ao posto(A) = r,

  , . . . , u ]),

  1 r

  R(A) = R([u , . . . , v ]),

  r+1 n

  N (A) = R([v

  T

  ) =

  1 , . . . , v r ]),

  R(A R([v

  T ) = , . . . , u ]). r+1 m

  N (A R([u A norma 2 e a norma Frobenius da matriz A s˜ ao caracterizadas em termos da SVD:

  m n

  X X

  2

  

2

  2

  2

  = a = σ + . . . + σ , kAk F ij

  1 n i=1 j=1

  

2

  kAyk = sup = σ .

  2

  1

  kAk

  

2

y6=0 kyk

  A SVD permite definir o n´ umero de condi¸c˜ ao da matriz A.

  m×n Defini¸ c˜ ao 1.2.1.

  Seja A com posto r, consideremos a SVD

  ∈ R

  

de A dada por (1.2.1). O n´ umero de condi¸c˜ ao de A ´e definido como

  σ

  1 †

  κ(A) = = , (1.2.3)

  

2

  2

  kAk kA k σ

  r †

onde A denota a pseudo-inversa geralizada de Moore-Penrose de A.

  Note que se A ´e invers´ıvel a inversa ´e dada pela express˜ao

  

n

  X

  

−1 −1 T

  A = σ v u ,

  i i i

i=1

  caso contr´ ario, a pseudo-inversa A ´e definida por

  r

  X

  

† † T −1 T

  A = V Σ U = σ v u ,

  i i i i=1

  1

  1 † † n×m

  em que Σ = diag( , . . . , , 0, . . . , 0) com Σ .

  ∈ R

  σ 1 σ r

  A pseudo-inversa da matriz A satisfaz as quatro condi¸c˜oes de Moore- Penrose:

  † (i) AA A = A. † † † (ii) A AA = A .

  † T † (iii) (AA ) = AA . † T †

  (iv) (A

  A) = A A.

1.2.1 Problemas Discretos Mal Postos

  O problema (1.1.2) ´e dito problema discreto mal posto quando os valo- res singulares da matriz decaem para zero, i.e., apresentam um n´ umero de condi¸c˜ ao elevado. Outra caracter´ıstica deste tipo de problemas ´e que os elementos dos vetores singulares ` a esquerda e `a direita u e v

  i i

  tˆem grandes mudan¸cas de sinal quando o ´ındice i cresce, com mostra a Figura 1.2. 10

  10

  0.4 1 v

  Valores Singulares v 10 20 v

  0.2

  10 −10

  10 −20 −0.2 10 −0.4

  10

  20

  30

  40

  50

  10

  20

  30

  40

  50 Figura 1.2: Valores e vetores singulares. m

  Quando b est´ a contaminado por erros, ou seja, b = b + e,

  exato

  ∈ R com b sendo o vetor sem perturba¸c˜ oes desejado e desconhecido, a

  exato †

  solu¸c˜ao de quadrados m´ınimos, x = A

  b, n˜ao tem nenhuma rela¸c˜ao

  LS

  com a solu¸c˜ao exata do problema e nem tem utilidade pr´atica por estar completamente dominada pelos erros.

  A SVD ´e uma poderosa ferramenta computacional para resolver problemas LS. A raz˜ ao disso ´e que as matrizes ortogonais que trans- formam a matriz A numa matriz diagonal (1.2.1) n˜ao mudam a norma 2 dos vetores. O seguinte Teorema expressa a solu¸c˜ao LS usando a decomposi¸c˜ao SVD. Teorema 1.2.2. (Solu¸c˜ ao de norma m´ınima LS de Ax

  ≈ b). Seja P n

  m×n T

(1.2.1) a SVD de A , i.e., A = σ u v , e assumimos que

i i

  ∈ R i=1 i m

  posto(A) = r. Se b , ent˜ ao o vetor ∈ R

  r

  X

  −1 T

  x = σ v u b (1.2.4)

  

LS i

i i i=1

minimiza e ´e o minimizador de norma m´ınima. Al´em disso

  2

  kAx − bk

  m

  X

  2

2 T

  2

  ρ = = (u

  b) . (1.2.5)

  LS

  kAx − bk

  2 i i=r+1 Demonstra¸c˜ ao. Ver [13].

  No problema de minimiza¸c˜ ao (1.1.2) se o vetor de dados ´e da forma b = b exato + e, com b exato o vetor sem pertuba¸c˜oes e e o vetor de incertezas, usando a SVD obtemos

  r T

  X u b

  i

  x = v , r = posto(A). (1.2.6)

  LS i

  σ

  i i=1

  a solu¸c˜ ao do problema (1.1.2). Sendo b = b + e temos

  exato r T T

  X u b exato u e

  i i

  x = v + v . (1.2.7)

  

LS i i

  σ σ

  i i i=1 T u e i

  Devido `a divis˜ao por pequenos valores singulares, os coeficientes

  σ i

  s˜ ao grandes, fazendo com que a parcela do erro seja dominante, tor- nando assim esta abordagem in´ util. Portanto, ´e necess´ ario estabilizar a solu¸c˜ ao. Uma maneira de amenizar o efeito da influˆencia do erro na solu¸c˜ao ´e truncando a soma em (1.2.6) para s < r termos:

  

s

T

  X u b

  s i

  x = v , (1.2.8)

  i LS

  σ

  i

i=1

  onde s, chamado ´ındice de truncamento, ´e escolhido de modo que exista um balan¸co apropriado entre a qualidade da informa¸c˜ ao do problema que ´e capturada e a quantidade de erro que ´e inclu´ıda na solu¸c˜ ao. Este m´etodo ´e conhecido como o m´etodo da SVD Truncada (TSVD) [16].

  Para ilustrar o m´etodo TSVD, na Figura 1.3 consideramos duas solu¸c˜oes num´ericas de um sistema Ax = b, 64 × 64, que prov´em da dis- cretiza¸c˜ao de uma equa¸c˜ao integral de Fredholm de primeira esp´ecie, chamada de shaw [16]. A parte esquerda mostra a solu¸c˜ao calculada usando a fun¸c˜ ao inversa de MATLAB x=inv(A)*b. O lado direito mostra a solu¸c˜ ao TSVD (linha verde) obtida pela reten¸c˜ao de 7 com- ponentes associadas aos maiores valores singulares, junto com a solu¸c˜ao exata (linha azul). Vemos que a solu¸c˜ ao dada pela invers˜ao de A tem muitas oscila¸c˜ oes de grande amplitude.

  200 1

  2.5 Solu¸c˜ao Exata x = A b Solu¸c˜ao TSVD

  2 100

  1.5

  1 −100 0.5 −200

  −300 −0.5

  20

  40

  60

  80

  20

  40

  60

  80 Figura 1.3: Solu¸c˜ oes de um sistema discreto Ax = b.

  Por outro lado a solu¸c˜ ao TSVD apresenta um bom balan¸co entre o erro relativo / = 0.0475 e a norma residual

  exata T SV D

2 exata

  2

  kx − x k kx k

  −5

  relativa / = 2.2042 , pois em alg´ uns casos

  T SV D

  2

  2

  kAx − bk kbk × 10 temos um res´ıduo relativo pequeno e um erro relativo grande. O n´ umero

  20

  de condi¸c˜ao da matriz A da Figura 1.3 ´e κ(A) = 4.0583 o qual × 10 indica que a matriz A tem alta sensibilidade a erros no vetor de dados.

  Matriz com n´ umero de condi¸c˜ ao grande ´e chamada mal condicio- nada. No problema de equa¸c˜ oes lineares, o n´ umero de condi¸c˜ao (1.2.3) mede a sensibilidade da solu¸c˜ ao aos erros da matriz A e o lado direito

  b. Isto mostra que pequenas mudan¸cas nas entradas de A, podem pro- duzir grandes varia¸c˜ oes na solu¸c˜ ao x de Ax ≈ b quando as colunas s˜ao quase dependentes, i.e. σ

  n ≈ 0.

  A express˜ ao (1.2.8) pode ser escrita como

  n T

  X u b

  s i

  x = f v

  i i LS

  σ

  i i=1

  onde 1, se 1

  ≤ i ≤ s f =

  i

  0, se s < i ≤ n Os coeficientes f s˜ao chamados fatores de filtro da solu¸c˜ao (1.2.8).

i Mais adiante veremos que existem outras f´ormulas para esses valores.

  A SVD cumpre um papel importante em problemas de aproxima¸c˜ao de matrizes, como mostra o seguinte Teorema.

  m×n Teorema 1.2.3.

  (Eckart-Young-Mirsky) Seja a matriz A

  ∈ R (m

  ≥ n) com posto(A) = r. Considere a SVD de A

  T A = U ΣV .

  Ent˜ ao se k < r

  min

  2

  kA − Bk

  posto(B)=k ´e atingido em A onde k k

  X T A k = σ i u i v e k

  2 = σ k+1 . (1.2.9) i kA − A k i=1 T

  Demonstra¸c˜ ao. Desde que U A k V = diag(σ 1 , . . . , σ k , 0, . . . , 0) temos

  posto(A k ) = k e tamb´em

  T

  U (A k )V = diag(0, . . . , 0, σ k+1 , . . . , σ r ) − A portanto = σ .

  k 2 k+1

  kA − A k

  m×n

  Suponha que posto(B) = k, para algum B . Ent˜ao podemos ∈ R encontrar uma base ortonormal de vetores x , . . . , x tal que

  1 n−k

  N (B) = span , . . . , x

  1 n−k

  {x }. Usando a dimens˜ao tem-se span , . . . , x , . . . , v

  1 n−k 1 k+1 {x } ∩ span{v } 6= {0}.

  Seja z um vetor unit´ ario na norma 2 nesta interse¸c˜ ao. Como Bz = 0 e

  k+1

  X T Az = σ (v z)u

  i i i i=1

  temos

  k+1

  X

  2

  2

  2

  2 T

  2

  2

  2 ≥ k(A − B)zk

2 kAzk

2 i i ≥ σ k+1 i=1

  = = σ (v z) kA − Bk

  o que completa a prova do Teorema.

  Observa¸ c˜ ao: O Teorema 1.2.3 foi provado inicialmente para a norma Frobenius [9], para esta norma temos

  1/2 min = = (σ + . . . + σ ) . F k F k+1 r

  kA − Bk kA − A k

  posto(B)=k

  Este Teorema ser´ a de muita utilidade nas seguintes se¸c˜oes, pois permite trocar um sistema Ax x

  k

  ≈ b por um sistema aproximado A ≈ b .

  k O seguinte Teorema mostra a sensibilidade dos valores singulares. m×n Teorema 1.2.4.

  

Sejam A e e A = A+E , m

  ∈ R ≥ n com os valores

  singulares σ

  1 2 n σ

  

1

2 n , respectivamente.

  ≥ σ ≥ . . . ≥ σ e e ≥ eσ ≥ . . . ≥ eσ

  Ent˜ ao

  ,

  i i

  2

  |σ − eσ | ≤ kEk

  n

  X

  2 . i i

  |σ − eσ | ≤ kEk F

  i=1 Demonstra¸c˜ ao. Ver [3].

  O seguinte Teorema apresenta a propriedade de interlacing para va- lores singulares e mostra o que acontece quando s˜ao removidas algumas linhas ou colunas da matriz. Teorema 1.2.5.

  (Propriedade de interlacing dos valores singulares) m×n

  Seja C com valores singulares ¯ σ 1 . Seja D

  ∈ R ≥ . . . ≥ ¯σ min{m,n} ∈

  p×q

  R uma submatriz de C, com valores singulares σ

  1 ,

  ≥ . . . ≥ σ min{p,q}

  e definimos por conveniˆencia ¯ σ = 0 para min t

  {m, n} < t ≤ max{m, n}

  e σ = 0 para min t

  {p, q} < t ≤ max{p, q}. Ent˜ao

  (1) ¯ σ para i = 1, . . . , min i i ≥ σ {p, q}.

  (2) σ para i i ≥ ¯σ i+(m−p)+(n−q) ≤ min{p + q − m, p + q − n}.

  Demonstra¸c˜ ao. Ver [35].

  Se D ´e o resultado de remover uma coluna de C ent˜ao o Teorema 1.2.5 diz que

  (1) Se m

  1

  1

  2 2 n−1 n ≥ n: ¯σ ≥ σ ≥ ¯σ ≥ σ ≥ . . . ≥ σ ≥ ¯σ ≥ 0.

  (2) Se m < n: ¯ σ

  1

  1

  2 2 m m ≥ σ ≥ ¯σ ≥ σ ≥ . . . ≥ ¯σ ≥ σ ≥ 0.

  Teorema 1.2.6.

  (Teorema de Interlacing de Cauchy). Seja A uma

matriz Hermitiana de dimens˜ ao n, e seja B a submatriz principal de

ordem n s˜ ao os autovalores de A e

n n−1

  2

  1

  − 1. Se λ ≤ λ ≤ . . . ≤ λ ≤ λ µ s˜ ao os autovalores de B, ent˜ ao

  n−1

  2

  1

  ≤ . . . ≤ µ ≤ µ λ .

  n n−1 n−1 n−2

  2

  1

  1

  ≤ µ ≤ λ ≤ µ ≤ . . . ≤ λ ≤ µ ≤ λ Demonstra¸c˜ ao. Ver [39]. Cap´ıtulo 2 M´ etodo de Quadrados M´ınimos Totais

  O problema de quadrados m´ınimos totais foi introduzido na literatura por Golub e Van Loan [11] e Van Huffel e Vandewalle [37], como uma alternativa para o problema de quadrados m´ınimos, no caso em que am- bos a matriz A e o vetor b cont´em incertezas. Uma forma de contornar os erros em A ´e introduzindo um termo corretor ∆ e A.

2.1 Princ´ıpios do M´ etodo TLS Defini¸ c˜ ao 2.1.1.

  Seja o sistema linear de m equa¸c˜ oes lineares Ax

  ≈ b

  com n vari´ aveis x. Considere o problema

  2

  min A eb] (2.1.1) (n+1) k[A b] − [ e k F

  [ e A e b]∈R

  sujeito a eb

  A). (2.1.2) ∈ R( e

  

Quando a solu¸c˜ ao [ e A eb] ´e encontrada, ent˜ ao qualquer x que satisfaz

  e Ax = eb (2.1.3)

  

´e chamado solu¸c˜ ao TLS e ´e denotado por x T LS . [∆ e A ∆eb] = [A b]

  − [ e A eb] ´e o correspondente corretor TLS. A an´alise do problema TLS depende fortemente do uso da SVD da matriz aumentada [A b] e come¸ca com a observa¸c˜ao que o sistema Ax = b pode ser reescrito como x [A b] = 0. (2.1.4)

  −1 Sejam

  T

  A = U Σ V , (2.1.5) e

  T

  [A b] = U Σ V , (2.1.6) as decomposi¸c˜ oes em valores singulares das matrizes A e [A b] res- pectivamente. Uma consequˆencia imediata ´e que se σ n+1

  6= 0, ent˜ao posto([A b]) = n + 1 e o espa¸co nulo da matriz ampliada ´e trivial, logo o conjunto de equa¸c˜ oes (2.1.4) n˜ ao ´e compat´ıvel. Da´ı, para obter uma solu¸c˜ ao, o posto da matriz aumentada [A b] deve ser reduzido de n + 1 para n. Para isso, decomponha a matriz V como

    Σ

  1 V v

  11

  

12

   V = [v , . . . , v ] = , Σ = σ  , (2.1.7)

  1 n+1 n+1 T

  v v

  

22

  21 n×n n

  em que V , Σ e v , v . Usando o Teorema 1.2.3,

  11

  1

  12

  

21

  ∈ R ∈ R a melhor aproxima¸c˜ ao de posto n no sentido da norma Frobenius da matriz [A b] ´e

  n

  X T [ e A ] = σ u v .

  

n eb n i i

i i=1

  O corretor TLS minimal ´e σ = min A eb ]

  

n+1 n n F

  k[A b] − [ e k

  e posto([ e A n b n ])=n

  e ´e atingido quando

  T [A b] A ] = [∆ e A ∆eb] = σ u v . n eb n n+1 n+1

  − [ e n+1 Note que a matriz corretora TLS tem posto um. ´ E claro que o sistema aproximado x [ e A ] = 0.

  n eb n

  −1 ´e compat´ıvel, al´em disso usando o fato de que v n+1 A n eb n ]), se

  ∈ N ([ e [v n+1 ] n+1

  6= 0, temos que x

  1 = v n+1 . (2.1.8)

  − [v ]

  −1 n+1 n+1 Portanto, usando (2.1.7) temos que a solu¸c˜ ao TLS pode ser expressa como: v

  12

  x = . (2.1.9)

  T LS

  − v

  22 Note que se σ n+1 = 0, ent˜ ao [A b] tem posto n. Neste caso o sis- tema ´e compat´ıvel e n˜ ao precisamos aproximar a matriz ampliada.

  Tamb´em, se σ n+1 ´e um valor singular simples (n˜ao repetido), temos que A eb ]) = span

  n n n+1

  N ([ e {v } e a solu¸c˜ao TLS ´e ´unica. O seguinte Teorema descreve as condi¸c˜ oes para a existˆencia e unicidade da solu¸c˜ao TLS.

  Teorema 2.1.1.

  (Solu¸c˜ ao do problema TLS b´ asico Ax

  ≈ b) Sejam

  

(2.1.5) a SVD de A e (2.1.6) a SVD de [A b] respectivamente. Se

  σ > σ > 0, ent˜ ao

  n n+1 n

  X T [ e A ] = σ u v (2.1.10)

  

n eb n i i

i i=1 ´e uma solu¸c˜ ao do problema (2.1.1) e a solu¸c˜ ao x ´e ´ unica.

  T LS

Demonstra¸c˜ ao. O Teorema de interlacing (1.2.5) para valores singula-

  res implica que σ ¯ .

  1 1 n n n+1

  ≥ σ ≥ . . . ¯σ ≥ σ ≥ ¯σ A hip´ otese σ > ¯ σ garante que ¯ σ n˜ ao ´e um valor singular repe-

  n n+1 n+1 T T T

  2 T T

  tido de [A b]. Agora note que se [A b] [A b][y 0] = ¯ σ [y 0]

  n+1 n T

  2

  2

  e 0 , segue que A Ay = ¯ σ y ou seja ¯ σ ´e autovalor de 6= y ∈ R

  n+1 n+1 T

2 T

  A

  A. Isto ´e uma contradi¸c˜ ao pois σ ´e o menor autovalor de A A.

  n

  Portanto, A eb]) cont´em um vetor cuja (n + 1)-´esima compo- N ([ e nente ´e n˜ao nula, logo o problema TLS tem solu¸c˜ao. Como A eb])

  N ([ e tem dimens˜ao um, esta solu¸c˜ ao ´e unica. As igualdades (2.1.9), (2.1.10) seguem diretamente da aplica¸c˜ ao do Teorema de Eckart-Young-Mirsky 1.2.3 como foi provado acima.

  ´ E interessante notar a equivalˆencia das condi¸c˜oes

  σ > ¯ σ > ¯ σ e [¯ v ]

  n n+1 n n+1 n+1 n+1 ⇔ ¯σ 6= 0.

  Uma ´ util e conhecida caracteriza¸c˜ ao da solu¸c˜ ao x e do corretor

  T LS minimal TLS ´e dada no seguinte Teorema.

  Teorema 2.1.2.

  (Express˜ ao Fechada da Solu¸c˜ ao B´ asica TLS) Sejam

(2.1.5) a SVD de A e (2.1.6) a SVD de [A b] respectivamente. Se

  σ > σ , ent˜ ao

  n n+1 T 2 −1 T

  x = (A A I) A b (2.1.11)

  T LS

  − ¯σ n+1

  e

  !

  n T

2 X

  (u

  b)

  2 i

  2

  2

  ¯ σ 1 + = ρ = min . (2.1.12)

  n+1 kAx − bk

  2

  2 2 n x∈R

  σ − σ n+1

  i i=1

Demonstra¸c˜ ao. A condi¸c˜ ao σ > σ garante que x existe e ´e

n n+1 T LS

  unica dada por (2.1.9). Como os vetores singulares v ´ s˜ao autovetores

  i T

  de [A b] [A b], x tamb´em satisfaz a seguinte equa¸c˜ao de autove-

  T LS

  tores:

  T T

  x A A A b x

  T T LS T LS

  [A b] [A b] =

  T T

  b A b b −1 −1 x

  2 T LS

  = ¯ σ . (2.1.13)

  n+1

  −1 A igualdade (2.1.11) segue da parte superior de (2.1.13). Para obter (2.1.12) usamos a SVD de A, assim temos

  T

  Σ Σ g z z

  2

  = ¯ σ ,

  T 2 n+1

  g kbk

  2 −1 −1 T T T

  onde g = Σ U

  b, z = V x . Desta equa¸c˜ ao vemos que

  T LS T

  2

  2 T

  2 (Σ Σ I)z = g e σ ¯ + g z = .

  − ¯σ n+1 n+1 kbk

  2 Substituindo z na ´ ultima express˜ ao temos

  2 T T 2 −1

  2 ¯ σ + g (Σ Σ I) g = .

n+1 − ¯σ n+1 kbk

  2 Isto pode ser reescrito como

n m

2 T

  X σ (u

  b)

  2 X

  

2 i i T

  2

  • σ ¯ = (u

  b)

  

n+1 i

  2

  

2

  σ

  

i − ¯σ n+1

i=1 i=1

  ou " #

  

n m

T

  X

  2 X

  

2 i T

  2

  σ ¯ 1 + = (u b) .

  n+1 i

  2

  

2

  σ − ¯σ n+1

  i i=1 i=n+1

  A igualdade (2.1.13) segue j´ a que

  m

  X T

  2 T

  2

  min

  kb − Axk kU − Σwk

  2 i x w i=n+1

  2 = min b = (u b) . Corol´ ario 2.1.1.

  Sejam (2.1.5) a SVD de A e (2.1.6) a SVD de [A b] respectivamente. Se σ > σ , ent˜ ao n n+1

2 T −1

  2 T 2 −1

  x = (I (A

  A) )x = (I + ¯ σ (A A I) )x

  

T LS LS LS

  − ¯σ n+1 n+1 − ¯σ n+1 O seguinte resultado mostra uma rela¸c˜ ao das solu¸c˜oes LS e TLS. Corol´ ario 2.1.2.

  Sejam (2.1.5) o SVD de A e (2.1.6) o SVD de [A b] ′ respectivamente. Seja b a proje¸c˜ ao ortogonal de b sobre

  R(A). Se σ > σ , ent˜ ao

  n n+1

  

2 T

2 −1

  = ¯ σ A I) x

  T LS LS

  2 LS

  2

  kx − x k n+1 k(A − ¯σ n+1 k

  2 ′ −1

  2 2 −1 2 σ (σ )

  ≤ ¯σ n+1 kb k n n − ¯σ n+1

  2

  2 2 −1 LS 2 (σ ) ,

  ≤ ¯σ n+1 kx k n − ¯σ n+1

  T LS

  2 LS

  

2

  kx k ≥ kx k Vamos considerar o n´ umero de condi¸c˜ ao do problema TLS e sua rela¸c˜ ao com o problema de quadrados m´ınimos. Para assegurar a uni- cidade das solu¸c˜oes LS e TLS, assumimos que σ > ¯ σ . O vetor

  n n+1 T T

  2

  [x , ´e um autovetor de [A b] [A b] com ¯ σ como autova-

  T LS

  −1] n+1 lor associado, i.e.,

  T T

  A A A b x T LS x T LS

  2 = ¯ σ . T T n+1

  b A b b −1 −1

  A primeira linha desta equa¸c˜ ao pode ser escrita como

  T

2 T

  (A A I)x = A b.

  T LS

  − ¯σ n+1

  T

  Aqui um n´ umero positivo da matriz identidade ´e subtra´ıdo de A A e o problema TLS ´e uma deregulariza¸c˜ ao do problema de quadrados m´ınimos. Como

  2

  2

  2

  σ σ

  T

  2 1 − ¯σ n+1

  1 T

  κ(A A I) = > = κ(A

  A) − ¯σ n+1

  2

  2

  2

  σ σ

  n − ¯σ n+1 n

  segue que problema TLS ´e sempre pior condicionado do que o problema

  

2.2 An´ alise do M´ etodo TLS Via Proje¸c˜ oes

Ortogonais

  Nos m´etodos LS e TLS, temos constru´ıdo solu¸c˜oes aproximadas ba- seadas em sistemas com matrizes de posto incompleto obtidas proje- tando o problema original num subespa¸co de pequena dimens˜ao. Por exemplo, no caso da t´ecnica TLS truncada, o problema a ser resol- vido, e A x = eb , resulta da aproxima¸c˜ ao de posto k, [ e A eb ] =

  

k k k k

T T

  U U [A b], onde U U ´e a matriz de proje¸c˜ao ortogonal sobre o su-

  1

  1

  1

  1

  bespa¸co span

  1 , . . . , u k

  {u }. Ou seja, o sistema resultante ´e obtido via proje¸c˜ao ortogonal. A pergunta natural ´e: o que acontece com a solu¸c˜ao do “problema projetado” em rela¸c˜ ao a solu¸c˜ao exata do problema ori-

  T

  ginal se em de lugar U

1 U usamos outra matriz de proje¸c˜ao? Nesta

  1 se¸c˜ ao vamos estudar essas rela¸c˜ oes e tentar responder a essa pergunta.

  

2.2.1 M´ etodo Geral de Proje¸c˜ oes Ortogonais e an´ alise

de perturba¸c˜ oes

  Come¸camos introduzindo formalmente o conceito de operador proje¸c˜ao que vamos usar nesta se¸c˜ ao.

  n×q n×n

  Defini¸ c˜ ao 2.2.1. Seja D . P ´e uma matriz de

  D

  ∈ R ∈ R

  2 T

proje¸c˜ ao ortogonal sobre ) = = P , e P =

  D D

  R(D) se R(P R(D), P D D P .

  D n×q

  Defini¸ c˜ ao 2.2.2. Sejam C, D , dizemos que C ´e uma per- ∈ R T T

  

turba¸c˜ ao aguda de D se < 1 e < 1. Neste

C D

  2 C D

  2

  kP − P k kP − P k caso dizemos que C e D s˜ ao agudas. A seguinte defini¸c˜ ao permite comparar o ˆangulo entre dois subespa¸cos com a mesma dimens˜ ao. Defini¸ c˜ ao 2.2.3. Suponha que

  R(C) e R(D) s˜ao subespa¸cos equidi-

  q . Definimos o ˆ angulo entre estes subespa¸cos por mensionais de R

  sin φ C D

  2 ,

  ≡ kP − P k onde φ ´e chamado de ˆ angulo entre os subespa¸cos [13]. Seja M um m´etodo geral de proje¸c˜ ao (como por exemplo os m´etodos

  LS ou TLS). Denotamos por x a solu¸c˜ ao de norma m´ınima de

  M

  e Ax = eb (2.2.1) onde [ e A eb] ´e a matriz de posto k que aproxima [A b], baseada no

  T

  m´etodo de proje¸c˜ ao M . Denotemos por e A = e U e Σ e V a decomposi¸c˜ao em valores singulares de e A e por [∆ e A ∆eb] = [A b] A eb] a matriz − [ e corretora. Consideremos tamb´em a matriz aproximada A de posto k

  k

  de A com

  k

  X T A = σ u v .

  k i i i i=1 Precisamos saber quando o sistema (2.2.1) tem solu¸c˜ao. O seguinte resultado d´a condi¸c˜oes suficientes da existˆencia da solu¸c˜ao x .

  M m×m

  Teorema 2.2.1.

  Seja P uma matriz proje¸c˜ ao ortogonal,

  ∈ R [ e A eb] = P [A b], e ∆ e A = A

  A. Ent˜ ao posto( e

  A) = k e e Ax = eb − e ´e compat´ıvel, sempre que A < σ .

  

2 k

  k∆ e k

  Demonstra¸c˜ ao. ´ E claro que posto( e

  A) A eb]) ≤ posto([ e ≤ k. Precisamos mostrar que eb

  A), para tanto vamos mostrar que posto( e A) = k. ∈ R( e

  De fato, como e A = P A, usando [34, p. 34] segue que σ para i = 1, . . . , k. (2.2.2)

  i i

  ≥ eσ Agora, como A A = ∆ e

  A, segue do Teorema de perturba¸c˜ao de valores − e singulares (1.2.4) e (2.2.2) que

  σ σ A , para i = 1, . . . , k.

  i i

  2

  − e ≤ k∆ e k Usando a hip´otese A < σ , temos que 0 < σ A . Logo

  

2 k k

2 k

  k∆ e k −k∆ e k ≤ eσ σ k

  1 implica que posto( e

  A) = k e portanto eb A). 0 < e ≤ . . . ≤ eσ ∈ R( e

  Esta condi¸c˜ao sugere que e A seja uma perturba¸c˜ao aguda de A k , no Teorema 1.2.3. Note do Corol´ario 1.1.1 que para o problema LS, a matriz proje¸c˜ao ortogonal ´e P = P e a matriz projetada ´e

  

A

  [ e A eb] = P [A b] = [P A P b] = [A b ].

  A A A

  Seja [A b] = [A b]+[∆A ∆b] uma perturba¸c˜ao da matriz [A b], denotamos por [A k b k ] a matriz aproxima¸c˜ ao de posto k da matriz [A b] baseada no m´etodo M . Definimos a matriz corretora [∆A ∆b] = [A b] b ] e assumimos que

  2

  • k k

  2 < σ k . Pelo Teo-

  − [A k∆Ak k∆Ak rema 2.2.1, A k x = b k ´e compat´ıvel e denotamos por ¯ x M a solu¸c˜ao de norma m´ınima. Por outro lado de (2.2.1) temos x

  

M

[ e A eb] = 0.

  −1 Sejam as colunas

  Y

  1 n×(n−k+1) n−k+1

  Y = com Y

  1 e y

  2 T ∈ R ∈ R

  y

  2 uma base ortonormal do n´ ucleo de [ e A eb] , A eb]).

  N ([ e T T

  Como [x A eb]) segue que

  M − 1] ∈ N ([ e

  x Y

  M 1 n−k+1 = s para algum s .

  Y Y T ∈ R

  y −1

  2 Assim temos um sistema compat´ıvel T

  y s Y =

2 −1.

Como x ´e a solu¸c˜ ao de norma m´ınima temos que

  M

  y

  2 T † T −1 s = ) = (y y ) = . Y

  

2

  2

  −(y

  2 −y 2 −

  2

  2

  ky k

  2 Ent˜ ao

  y

  2 x = . M

  1

  −Y

  2

  2

  ky k

  2 (n−k+1)×(n−k+1)

  Al´em disso, se Q ´e uma matriz ortonormal tal ∈ R que n

  • -k

  1 n

  D v Y Q =

  1

  γ onde γ 6= 0, segue que

  T † T †

  x = (y ) = Q)(y Q)

  M

  1

  1

  −Y

  

2 −(Y

  2 †

  = −[D v][0 γ]

  =

  −1

  −[D v] γ

  −1 = v.

  −γ

  −1

  Da´ı s´ o precisamos multiplicar um vetor por uma constante γ para encontrar a solu¸c˜ ao x .

  M

  Se Z = [Z z

  2 ] ´e outra base ortonormal de A eb]), existe uma

  N ([ e

  1 (n−k+1)×(n−k+1)

  matriz ortogonal Q tal que Z = QY . Ent˜ao ∈ R

  T † T T † T † T †

  x M =

  1 (y ) =

1 QQ (y ) = (

  1 Q)(y Q) = 1 (z ) .

  −Y −Y −Y −Z

  2

  2

  2

  2 O que significa que a solu¸c˜ao n˜ao depende da escolha da base do n´ ucleo de [ e A eb].

  De forma an´aloga suponha que a condi¸c˜ao max( A , +

  2

  2

  k∆ e k k∆Ak ) < σ ´e satisfeita, e sejam as colunas de Y a base ortonormal

  2 k

  k∆Ak

  (n−k+1)×(n−k+1)

  de b ]). Seja a matriz Q uma matriz

  k k

  N ([A ∈ R ortogonal tal que n

  • -k

  1 n

  D v Y Q =

  1

  γ

  T † −1

  Ent˜ ao x M =

  1 (y ) = . Logo

  −Y

  2 −¯γv

  x M x M v v

  −1 −1

  = γ γ . (2.2.3) − −

  γ γ −1 −1

  (n+1)×n

  Seja W uma matriz ortonormal com a parti¸c˜ao ∈ R n n

  W

  1 W = T

  1

  w

2 T T T

  tal que W [v γ] = 0 (i.e. as colunas de W completam o espa¸co

  n+1

  R ). Da equa¸c˜ao (2.2.3) segue que x M x M v

  

T T −1

  W = γ , (2.2.4) − −W

  γ −1 −1 e consequentemente pela parti¸c˜ ao de W temos v

  

T T −1

  W (x ) = γ . (2.2.5)

  M M 1 − x −W

  γ A express˜ ao v

  T

  sin φ W

  M

  ≡ γ

  2 denota o seno do ˆ angulo entre subespa¸cos.

  v v e . R R

  γ γ Agora podemos apresentar o seguinte resultado. Teorema 2.2.2.

  Seja [A b] = [A b] + [∆A ∆b]. Sejam x M e x M as

solu¸c˜ oes de norma m´ınima dos sistemas compat´ıveis e Ax = eb e A x = k b obtidas pelo m´etodo de proje¸c˜ ao M , respectivamente. Sempre que

  k

  max( A , ) < σ + , temos

  2

  2 2 k

  k∆ e k k∆Ak k∆Ak q q

  2

  2

  sin φ M M M

2 M 1 + M 1 + M (2.2.6)

  ≤ kx − x k ≤ sin φ kx k

  2 kx k

  2

  v v onde φ ´e o ˆ angulo entre os subespa¸cos e .

  M

  R R γ γ

  Demonstra¸c˜ ao. Pelo Teorema CS [26] a matriz

  W v

  

1

T

  w γ

  2

  ´e uma matriz ortogonal, onde W ´e uma matriz quadrada; sabemos que

  1 −1 −1

  σ (W ) =

  1 min |γ |. De (2.2.5) temos T

  σ min (W

  1 ) M M 2 (¯ x M M )

  2

  k¯x − x k ≤ kW

  1 − x k

  v

  T −1

  = γ W

  γ

  2 −1 M

  ≤ sin φ |¯γ |, ou

  −1 −1 (W ). M M

2 M

  1

  k¯x − x k ≤ sin φ |¯γ |σ min Logo, segue que

  

−1 −1

M M

2 M

  k¯x − x k ≤ sin φ |¯γ ||γ | q q

  2

  2

  = sin φ 1 + 1 + . (2.2.7)

  M M M

  k¯x k

  2 kx k

  2 Isto prova a desigualdade a direita em (2.2.6). Para a outra desigual-

  dade,

  T

  (¯ x )

  M M

2 M M

  2

  k¯x − x k ≥ kW

  1 − x k

  ¯ v

  T −1

  = γ ¯ W

  γ ¯

  2 −1

  ¯ γ

  M

  ≥ sin φ ,

  M

  ≥ sin φ

  −1

  pois |¯γ | ≥ 1.

  O Teorema 2.2.2 mostra que para o m´etodo M , toda perturba¸c˜ao v v ¯ [∆A ∆b] que iguala com faz o sistema ¯ A k x = ¯b k

  R R γ ¯ γ compat´ıvel e gera a mesma solu¸c˜ ao x . As perturba¸c˜oes [∆A ∆b] que

  M

  conseguem este resultado est˜ ao caracterizados por

  T

  [∆A ∆b] = A ∆eb] + H , −[∆ e v onde . Assim temos v´ arias perturba¸c˜oes que produ-

  R(H) ⊥ R γ zem a mesma solu¸c˜ ao. No caso em que [∆A ∆b] forem arbitr´arios concluimos que para o m´etodo M os efeitos da perturba¸c˜ao dependem

  ¯ v do ru´ıdo presente em . Van Huffel e Vandewalle [37] chega- R

  γ ¯ ram a esta conclus˜ ao quando estudaram os efeitos de perturba¸c˜ao no problema TLS de posto completo. v

  O Teorema 2.2.2 mostra que quando ´e perturbado de R

  γ modo que 0 < sin φ M , a solu¸c˜ ao x M n˜ ao coincide com x M . Na presen¸ca do ru´ıdo [∆A ∆b] a melhor precis˜ ao que o m´etodo M pode atingir ´e medido por sin φ M . Neste caso, o produto das ra´ızes quadradas em (2.2.6) representa um n´ umero de condi¸c˜ ao para o m´etodo de proje¸c˜ao. Seja

  T T

  sin θ =

  M

  2

  kY Y − Y Y k o seno do ˆ angulo entre A eb]) e b ]).

  k k

  N ([ e N ([A Um c´ alculo direto para encontrar estimativas para sin φ em ter-

  M

  mos de parˆ ametros conhecidos n˜ ao ´e f´ acil. Portanto, vamos atacar o problema fazendo uma an´ alise do sin θ . Existem v´arias razo˜es para

  M fazer isto.

  (1) sin φ M = sin θ M quando k = n. Este caso acontece em muitas aplica¸c˜oes. (2) As estimativas para sin θ em termos de parˆametros conhecidos ´e

  M

  poss´ıvel. Estes resultados fornecem resultados adicionais quando A ´e de posto incompleto e o sistema ´e compat´ıvel. (3) Podemos limitar sin φ M usando sin θ M mais um termo, como se- gue:

  Definamos as seguintes matrizes de proje¸c˜ ao

  T T T T

  P = Y Y , P = [v γ] [v γ],

  Y v,γ T T T T

  P = Y Y , P = [v γ] [v γ]

  v,γ Y

T T T T P = [D 0] [D 0], e P = [D 0] [D 0]. D D Usando o fato de que P = P +P , P = P +P , P P = 0,

  Y D v,γ v,γ D v,γ Y D n+1

  P P = 0, para qualquer vetor z temos

  v,γ D ∈ R

  2

  2

  2

  )z = + )z )z

  Y D v,γ v,γ

  k(P − P k

  Y 2 k(P − P D k 2 k(P − P k

  2 T (P D P v,γ + P v,γ + P v,γ P + P v,γ P D )z.

  − z

  D

  Em particular, se z ´e um vetor unit´ ario tal que

  γ

  = )z ,

  v,γ v,γ 2 v,γ v,γ γ

  2

  kP − P k k(P − P k ent˜ ao segue que sin φ M M + ǫ M , (2.2.8)

  ≤ sin θ onde

  T 2 1/2 ǫ = (P P + P + P P + P P )z )z .

  M D v,γ v,γ v,γ v,γ D γ D γ

  |z γ D − k(P − P D k

  2 |

  Os pontos mencionados acima s˜ ao motiva¸c˜ ao para encontrar cotas supe- riores para sin θ em termos do ajuste das matrizes [ e A eb] e [A b ],

  M k k

  corre¸c˜ oes e perturba¸c˜ oes. Para obtermos a estimativa desejada, vamos usar dois lemas auxiliares. e e Lema 2.2.1.

  Seja [C D] = [ e C D] + [∆ e C ∆ e D], onde [ e C D] ´e obtida usando o m´etodo de proje¸c˜ ao M . Ent˜ ao

  e [ e C D] [∆ e C ∆ e D] = 0.

  Demonstra¸c˜ ao. Ver [1].

  Lema 2.2.2. Se C ´e uma perturba¸c˜ ao aguda de D, com C = D + E,

  ent˜ ao † † † †

  ,

  2

  2

  2

  2

  kC − D k ≤ µkC k kD k kEk √ onde µ = (1 + 5)/2.

  Demonstra¸c˜ ao. Ver [38].

  Teorema 2.2.3.

  Seja [A b] = [A b] + [∆A ∆b] com [ e A eb] e

  [A b ] obtidas pela proje¸c˜ ao ortogonal usando o m´etodo M . Defina

  k k

  √ µ = (1 + 5)/2. Se max( A , ) < σ ent˜ ao +

  2

  2 2 k

  k∆ e k k∆Ak k∆Ak

  †

  sin θ M A eb]

  2

  

2

  ≤ k[ e k k[∆A ∆b]k

  † †

  • µ A eb] b ] A eb] b ]

  2 k k 2 k k

  2

  k[ e k k[A k k[ e − [A k k∆A ∆bk, onde θ ´e o ˆ angulo entre os subespa¸cos A eb]) e b ]).

  M k k

  N ([ e N ([A

  ⊥ †

Demonstra¸c˜ ao. Seja R b ] [A b ]. Usando os lemas

k k k k

  ≡ I − [A acima temos

  † †

  sin θ = A eb] [ e A eb] b ] [A b ]

  M k k k k

  2

  k[ e − [A k

  ⊥ †

  = A eb] [ e A eb]R

  2

  k[ e k

  ⊥ †

  = A eb] ([ e A eb] k b k ])R

  2

  k[ e − [A k

  †

  A eb] ([ e A eb] b ])

  k k

  2

  ≤ k[ e − [A k

  †

  = A eb] ([∆A ∆b]

  2

  k[ e − [∆A ∆b])k

  † † †

  = A eb] [∆A ∆b] A eb] b ] )[∆A ∆b]

  k k

  2

  k[ e − ([ e − [A k

  

† † †

  A eb] A eb] b + ]

  2 2 k k

  2

  2

  ≤ k[ e k k[∆A ∆b]k k[ e − [A k k[∆A ∆b]k

  †

  A eb]

  2

  2

  ≤ k[ e k k[∆A ∆b]k

  † † + µ A eb] b ] A eb] b ] .

  2 k k 2 k k

  2

  2

  k[ e k k[A k k[ e − [A k k[∆A ∆b]k

2.2.2 Estimativas para os M´ etodos LS e TLS

  Quando estudamos sistemas lineares com perturba¸c˜ oes ´e importante distinguir problemas zero e n˜ ao zero residuais. A Figura 2.1 ajuda a esclarecer esta rela¸c˜ ao. Definimos o ˆ angulo β entre os dados exatos b e ) como sendo

  R(A x

  2

  kb − A k sin β = .

  2

  kb k O problema ´e chamado zero residual se b ), i.e., β ´e zero. Em

  ∈ R(A outras palavras, quando o ru´ıdo n˜ ao est´ a presente nos dados, existe uma rela¸c˜ ao exata mas n˜ ao observ´ avel A x = b . Os problemas TLS se aplicam a estes casos. A sensibilidade da solu¸c˜ ao depende linearmente do n´ umero de condi¸c˜ ao.

  Em problemas n˜ ao zero residuais, b / ) e ent˜ ao o ˆ angulo β ∈ R(A

  ´e diferente de zero. Isto significa que, ainda sem a presen¸ca de ru´ıdo nos dados n˜ ao ´e poss´ıvel encontrar uma rela¸c˜ ao linear exata A x = b . Estes problemas aparecem, por exemplo, em modelos de ajuste e predi¸c˜ao quando desejamos aproximar dados n˜ao lineares por meio de modelos lineares ou predizer a resposta de sistemas por modelos de sistemas simplificados.

  Figura 2.1: Ilustra¸c˜ ao geom´etrica do ˆ angulo β com b e ).

R(A

  Nesta parte vamos considerar o problema zero residual e vamos usar resultados anteriores para investigar a presi¸c˜ao dos m´etodos LS e TLS na presen¸ca de perturba¸c˜ oes nos dados. Vamos considerar o caso Posto(A) = k e Ax = b.

  Em problemas de c´ alculo de frequˆencias a matriz coeficiente A tem posto k ≤ n e Ax = b ´e compat´ıvel quando os dados s˜ao exatos. Por´em na presen¸ca de ru´ıdo temos que lidar com um problema perturbado

  ¯ Ax ≈ ¯b.

  Vamos assumir que Posto(A) = k e Ax = b ´e compat´ıvel; portanto as solu¸c˜oes LS e TLS coincidem: x = x = x . Seja

  LS T LS

  [A b] = [A b] + [∆A ∆b], denotamos por A k a matriz aproxima¸c˜ ao de posto k de A k + ∆A k .

  ≡ A Vamos resolver o problema LS truncado A k x = b. Este sistema ´e equivalente a encontrar a solu¸c˜ ao de norma m´ınima x LS do sistema compat´ıvel

  A x = b (2.2.9)

  

k k

  onde b k = A k A b ´e a proje¸c˜ ao ortogonal de b sobre k ). Pelos resul-

  

k R(A

  tados anteriores, para calcular a cota de sin φ LS , precisamos calcular uma cota superior para sin θ

  LS sin θ = dist( b ])).

LS k k

  N ([A b]), N ([A Tamb´em estamos interessados em aplicar o m´etodo TLS truncado ao sistema Ax = b. Seja

  

k

  X T [ e A eb] = σ ¯ u ¯ v ¯

  i i i

i=1

  P

  n+1 T

  a matriz aproxima¸c˜ ao de posto k da matriz [A b] = σ ¯ u ¯ v ¯ e

  i i i=1 i

  [∆ e A ∆eb] = [A b] A eb]. Ent˜ ao o m´etodo TLS calcula a solu¸c˜ao − [ e x T LS do sistema compat´ıvel de norma m´ınima e e

  Ax = eb. De forma an´ aloga que acima temos que calcular cotas para sin φ

  T LS

  usando as cotas de sin θ

  T LS sin θ = dist( A eb])). T LS

  N ([A b]), N ([ e Teorema 2.2.4. Assuma que o posto(A)=k, e que x ´e a solu¸c˜ ao de

  

norma m´ınima do sistema compat´ıvel Ax = b. Seja [A b] = [A b] +

  [∆A ∆b] e denote por x x as solu¸c˜ oes de norma m´ınima dos

  LS e e T LS sistemas perturbados como acima, com < σ . Ent˜ ao

  2 k

  k[∆A ∆b]k q q

  2

  2

  sin φ 1 + 1 +

LS LS

2 LS LS

  ≤ kx − x k ≤ sin φ kx k

  2 kx k

  2 onde

  2

  k[∆A ∆b]k sin φ + ǫ ;

LS LS

  ≤ σ k

  2

  − k∆Ak q q

  2

  2

  sin φ 1 + 1 + x

  T LS T LS

2 T LS T LS

  ≤ kx − ex k ≤ sin φ kx k

  2 ke k

  2 onde

  2

  k[∆A ∆b]k sin φ + ǫ .

  T LS T LS

  ≤ σ

  k

  2

  − k[∆A ∆b]k Demonstra¸c˜ ao. Ver [8]. Desprezando ǫ e ǫ , vemos que a cota superior para o ˆangulo

  LS T LS

  TLS ´e menor que o ˆangulo LS, desde que σ . De fato, concluimos

  k k

  ≤ ¯σ que o m´etodo TLS melhora quando ¯ σ /σ cresce.

  k k

2.2.3 Rela¸c˜ ao entre as Solu¸c˜ oes LS e TLS

  Finalmemte temos o resultado que relaciona as solu¸c˜oes LS e TLS Teorema 2.2.5. Sejam A e [A b] com a decomposi¸c˜ ao usual SVD.

  ′−1 ′ −1

Seja R = b , x = v , x = < σ

k LS LS T LS ev. Se σ k+1 k

  − Ax −γ −eγ

  ent˜ ao

  q q

  2

  2

  sin φ 1 + 1 +

  LS T LS

2 LS T LS

  ≤ kx − x k ≤ sin φ kx k

  2 kx k

  2 ′T ′ T T T onde φ ´e o ˆ angulo entre os subespa¸co γ ] ) e ),

  R([v R([ev eγ] √

  2 sin φ (2¯ )/σ + ǫ), e µ = (1 + + σ 5)/2. k+1 k+1 k

  

2

  ≤ (µ¯σ kR k k Demonstra¸c˜ ao. Ver [8].

2.3 Resultados Num´ ericos Preliminares

  Nesta se¸c˜ao apresentamos um estudo comparativo da eficiˆencia dos m´etodos LS e TLS quando aplicados a um problema da ´area de es- pectroscopia de ressonˆ ancia magn´etica (MRS). Neste caso a matriz de dados A tem estrutura Hankel, i.e., as entradas s˜ao definidas como a = h

  i,j i+j−1

    h h . . . h

  1 2 n

    h h . . . h

  2 3 n+1

    A =

    .. .. ..  . ..  . . . h h . . . h

  n n+1 n+m T

  e b = [h , . . . , h ] , onde n + m ´e um sinal modelado por

  n−1 k

  ≤ q, e h

  p

  X j j

  ιφj (α +ιω )k∆t

  h k = c j e e , ι = −1, k = 0, 1, . . . , q.

  j=1

  O problema consiste em estimar os parˆ ametros α j , β j , φ j , e c j , a partir de medidas experimentais do sinal h k .

  Se h ´e livre de erros, ´e conhecido que posto(A) = p e a solu¸c˜ ao de

  k

  norma m´ınima do problema min pode ser usada para estimar

  2

  kAx−bk as constantes de interesse atrav´es de t´ecnicas de predi¸c˜ao linear [5]. A principal dificuldade do problema ´e que, como o sinal experimen-

  exato

  tal ´e da forma h k = h + e k , ent˜ ao a matriz ´e da forma A = A + E,

  k exato

  com posto completo e vetor de dados ´e b = b + e. Maiores in- forma¸c˜oes podem ser encontradas na referˆencia [5].

  Para nosso exemplo consideramos os valores da Tabela 2.1, com p = 11, m = n = 256, q = 600, ∆t = 0.000333 e φ = ξ π/180.

  j j j c j

  ξ j

  Sinal

  em termos de erro relativo e res´ıduos relativos com respeito `a solu¸c˜ao original x s˜ao mostrados na

  T LS

  , x

  LS

  A qualidade das solu¸c˜oes x

  Apresentamos resultados obtidos com a t´ecnica LS truncada e TLS truncada usando em ambos os casos o ´ındice de truncamento k = 11, considerando v´arios valores do desvio padr˜ao.

  Sinal Figura 2.2: Sinais puro e perturbado.

  1000 2000 Tempo

  0.2 −3000 −2000 −1000

  0.15

  0.1

  0.05

  1000 2000 Tempo

  (graus) α j

  0.2 −3000 −2000 −1000

  0.15

  0.1

  0.05

  A Figura 2.2 mostra a parte real do sinal usado no experimento.

  E, onde E ´e uma matriz de ru´ıdo Gaussiano, σ ´e o desvio padr˜ ao nas partes real e imagin´aria. Note que a matriz exata A tem posto 11.

  Tabela 2.1: Valores exatos para o sinal MRS. Consideramos matriz perturbada A, sendo A = A + σ

  10 60 135 25 490 11 500 135 200 530

  3 75 135 50 -54 4 150 135 50 152 5 150 135 50 168 6 150 135 50 292 7 150 135 50 308 8 150 135 25 360 9 1400 135 285 440

  1 75 135 50 -86 2 150 135 50 -70

  /2π (Hz)

  ω j

Tabela 2.2 e ilustrados graficamente na Figura 2.3.

  σ kx LS − x k 2 / kx k 2 kx T LS − x k 2 /

kx k

2 kAx LS − bk 2 / kbk 2 kAx T LS − bk 2 / kbk 2 2 0.01627 0.01631 0.00203 0.00205

  Resíduo relativo LS Resíduo relativo TLS

  12 0.03305 0.02884 0.00172 0.00192 14 0.04473 0.03309 0.00196 0.00213 16 0.05989 0.03833 0.00225 0.00230 18 0.07904 0.04567 0.00262 0.00246

  − ωk 2 / kωk 2 2 0.00571 0.00618 0.00039 0.00040 4 0.01015 0.01172 0.00073 0.00078 6 0.01406 0.01662 0.00102 0.00111 8 0.01845 0.02098 0.00127 0.00142 10 0.02448 0.02495 0.00150 0.00169

  − αk 2 /

kαk

2

ke ω LS − ωk 2 / kωk 2 ke ω T LS

  σ ke α LS − αk 2 / kαk 2 ke α T LS

  As estimativas dos valores dos parˆ ametros α e ω s˜ao apresentados na Tabela 2.3 e graficamente nas Figuras 2.4 e 2.5.

  Figura 2.3: Res´ıduo relativo. Vemos que os erros relativos associados `as solu¸c˜oes LS e TLS s˜ao muito pr´oximos. No caso do res´ıduo relativo, vemos que para valores grandes de σ a solu¸c˜ ao TLS ´e melhor.

  σ Resíduo relativo

  4 0.03266 0.03279 0.00397 0.00403 6 0.04928 0.04950 0.00587 0.00594 8 0.06622 0.06650 0.00780 0.00779 10 0.08358 0.08386 0.00984 0.00961

  20 0.005 0.01 0.015 0.02 0.025

  15

  10

  5

  Tabela 2.2: Erro relativo e Res´ıduo relativo das solu¸c˜oes LS e TLS.

  12 0.10143 0.10167 0.01208 0.01142 14 0.11989 0.12005 0.01459 0.01325 16 0.13910 0.13929 0.01742 0.01515 18 0.15936 0.16033 0.02067 0.01716

  Tabela 2.3: Erros Relativos dos parˆametros α e ω.

  −3 x 10

  0.08

  3 Amplitude LS Frequência LS Amplitude TLS

2.5 Frequência TLS

  0.06

  2

  0.04

  1.5

  1 Erro relativo Erro Relativo

  0.02

  0.5

  5

  10

  15

  20

  5

  10

  15

  20

σ σ

Figura 2.4: Amplitude. Figura 2.5: Frequˆencia.

  Vemos que ambos m´etodos fornecem boas estimativas das frequˆencias ω independente do valor de σ. A mesma observa¸c˜ao vale para os parˆ ametros α quando σ ´e pequeno. Por´em, para valores maiores de σ, vemos que o m´etodo TLS proporciona uma melhor precis˜ao, confir- mando que o m´etodo TLS ´e uma excelente alternativa para problemas onde o ru´ıdo afeta a matriz e o vetor de dados.

  Cap´ıtulo 3 M´ etodo de Quadrados M´ınimos Totais Regularizados

  Neste cap´ıtulo apresentamos a teoria b´ asica do m´etodo de Regula- riza¸c˜ao de Tikhonov para o problema TLS e um m´etodo de regula- riza¸c˜ao via truncamento do m´etodo TLS.

  

3.1 Regulariza¸c˜ ao de Tikhonov do problema

LS e a GSVD

  A id´eia b´ asica da regulariza¸c˜ ao ´e incorporar alguma informa¸c˜ao adicio- nal ao problema que permita estabiliz´ a-lo, e determinar uma solu¸c˜ao aproximada e compat´ıvel com os dados de entrada; um dos m´etodos mais usuais ´e o m´etodo de regulariza¸c˜ ao de Tikhonov.

  Nesta se¸c˜ ao apresentamos um estudo introdut´ orio ` a regulariza¸c˜ ao de Tikhonov bem como a Decomposi¸c˜ ao em Valores Singulares Gene- ralizada (GSVD) que ser´ a usada para calcular a solu¸c˜ ao regularizada.

  No m´etodo de Tikhonov para o problema LS, substituimos o pro- blema (1.1.2) por

  

2

  2

  x = argmin + λ ) (3.1.1)

  λ n

  {kAx − bk

  2 kL(x − x k 2 } x∈R

  onde λ ´e uma constante positiva, chamada de parˆamtro de regula- riza¸c˜ao, escolhida de modo a controlar o tamanho do vetor solu¸c˜ao, e L p×n

  que define uma seminorma sobre a solu¸c˜ao. Geral- ´e uma matriz R mente, L representa o operador primeira derivada ou segunda derivada. x ´e uma aproxima¸c˜ ao inicial para a solu¸c˜ ao caso esteja dispon´ıvel, caso contr´ario define-se x = 0.

  O desafio deste problema ´e escolher um parˆametro λ tal que x λ aproxime satisfatoriamente a solu¸c˜ ao exata x exata de (1.1.2). A escolha da matriz L determina o tipo de problema de Tikhonov: L = I : Problema de Tikhonov na Forma Padr˜ao.

  n L : Problema de Tikhonov na Forma Geral. n

  6= I Esquemas equivalentes ` a regulariza¸c˜ ao de Tikhonov foram propostos por J. Riley [32] e D. L. Phillips [28], mas foi G. H. Golub o primeiro au- tor a propˆ or uma maneira apropriada de resolver o problema (3.1.1). A id´eia ´e tratar este problema como um problema de quadrados m´ınimos

  2

  b A x = argmin √ √ x (3.1.2)

  λ n

  λLx λL

  x∈R

  2

  cujas equa¸c˜ oes normais s˜ ao

  

T T T T

  (A A + λL L)x λ = A b + λL Lx . (3.1.3) A solu¸c˜ ao da equa¸c˜ ao (3.1.3) pode ser escrita, para o caso frequente x = 0, como

  

T T T

  (A A + λL L)x = A b (3.1.4)

  λ

  sendo a unicidade obtida se N (A) ∩ N (L) = {0}.

  Considerando a regulariza¸c˜ ao de Tikhonov na forma padr˜ao, x λ ´e dado por

  r T

  X u b

  i

  x = f v (3.1.5)

  

λ i i

  σ

  i i=1

  onde r = posto(A) e (

  √

  2

  1, σ λ

  i ≫

  ∼ 2 f = (3.1.6)

  

i = √

σ 2 i

  σ + λ , σ λ

  

i i

  ≪

  λ s˜ ao chamados fatores de filtro para a regulariza¸c˜ ao de Tikhonov.

  Os fatores f filtram as componentes de erro da solu¸c˜ ao. Assim,

  i

  se em (3.1.5) λ for muito grande, a solu¸c˜ao calculada pode n˜ao ter incorporado informa¸c˜oes da solu¸c˜ao do problema. Em contrapartida, se λ for muito pequeno, pouco ru´ıdo pode ter sido filtrado e a solu¸c˜ao encontrada n˜ao ´e relevante.

  O res´ıduo associado pode ser escrito como

  

r

  X T r = b = (1 )u bu + b

  

λ λ i i ⊥

  − Ax − f i

  i=1

  P P

  r m T T

  onde b ⊥ = b u bu i = u bu i ´e a componente do vetor − i i

  i=1 i=r+1

  b que n˜ ao pertence ao espa¸co coluna da matriz A. Como i {u } ´e uma

  P

  m m T

  , ent˜ ao b = (u b)u i . Asim, base ortonormal em R i

  i=1 r

  2 T

  X u b

  2 i λ = f i (3.1.7)

  kx k

  2

  σ

  

i

i=1 r

  X

  2

2 T

  2

  • λ = (1 i )u b ⊥ .

  kr k

  2 − f kb k i

  2 i=1

  O caso geral pode ser abordado eficientemente atrav´es da Decomposi¸c˜ ao em Valores Singulares Generalizados (GSVD). Teorema 3.1.1.

  (GSVD). Seja o par matricial (A, L) em que A

  ∈

  m×n p×n

  R e L com m ∈ R ≥ n ≥ p com posto(L) = p. Ent˜ao existem

  m×m p×p

matrizes U e V com colunas ortonormais e X uma

  ∈ R ∈ R

  matriz n˜ ao singular tais que

  Σ

  −1 −1

  A = U X , L = V [M 0]X (3.1.8) I n−p

  

com Σ = diag(σ , . . . , σ ) e M = diag(µ , . . . , µ ). Os coeficientes σ e

1 p 1 p i

  µ satisfazem

  i 1 p 1 p (3.1.9) ≤ σ ≤ . . . ≤ σ ≤ 1 e 1 ≥ µ ≥ . . . ≥ µ ≥ 0.

  

Tamb´em, Σ + M = I e os valores singulares generalizados de (A, L)

p i σ s˜ ao definidos como γ := . i µ i

  Demonstra¸c˜ ao. A prova pode ser encontrada em [13].

  Uma caracter´ıstica relevante dos valores singulares generalizados de um par matricial (A, L) ´e que crescem `a medida que i aumenta como mostra a Figura 3.1.

  10

10 Valores Singulares de A Valores Singulares de (A, L)

  −5 −5

  10

  10

  10

  20

  30

  40

  50

  10

  20

  30

  40

  50 Figura 3.1: Valores singulares e valores singulares generalizados.

  Na pr´ atica, para problemas onde a GSVD de (A, L) pode ser cal- culada facilmente, a solu¸c˜ ao do m´etodo de regulariza¸c˜ao de Tikhonov dada na equa¸c˜ ao (3.1.4) pode ser escrito como

  p n T

  X X u b

i T

  x + = f z (u b)z (3.1.10)

  

λ i i i

i

  σ i 2

i=1 i=p+1

γ i onde f = e z s˜ ao as colunas da matriz X dada pela GSVD.

  i 2 i γ +λ i

  Neste caso temos o res´ıduo associado dado por

  p m

  X X

  T T

  r = b = (1 )u bu (u b)u , +

  

λ λ i i i

  − Ax − f i i

  i=1 i=n+1

  usando o fato que Az = σ u , para i = 1, . . . , p e Az = u para

  i i i i i

  i = p + 1, . . . , n. Assim

  p m

  X X

  2

2 T T

  2

  • = (1 )u b (u b) .

  λ i

  kr k

  

2 − f i i

i=1 i=n+1

  Note que = quando L = I. Para o caso em que

  λ 2 λ

  2

  kLx k kx k L ´e substitu´ıda pela seminorma . Usando

  λ 2 λ

  2

  6= I, a norma kx k kLx k a GSVD temos

  

p

  2 T

  X u b

  

2 i

λ = f i .

  kLx k

  2

  γ

  i

i=1

  Vemos que se λ cresce, a seminorma do vetor solu¸c˜ao decresce

  2

  kLxk de forma mon´otona, enquanto o res´ıduo cresce de forma

  2

  kAx − bk mon´otona.

  

3.1.1 M´ etodos de Escolha do Parˆ ametro de Regu-

lariza¸c˜ ao

  Na literatura existem v´ arios m´etodos de escolha deste parˆametro, va- mos mencionar quatro deles que tˆem sido usados mais frequentemente.

  (1) O m´etodo de Discrepˆ ancia atribuido a Morozov [25], escolhe λ tal que a norma do res´ıduo seja igual a uma cota superior δ para , i.e., escolhemos o parˆ ametro λ que satisfaz a equa¸c˜ao n˜ao

  2

  kek linear = δ,

  λ

  

2

  2 kb − Ax k kek ≤ δ.

  Este ´e um dos poucos m´etodos que determina o parˆametro λ como fun¸c˜ ao da norma do erro

  2 presente no vetor de dados b.

  kek (2) Outro m´etodo importante ´e o m´etodo de Valida¸c˜ao Cruzada Ge- neralizada (GCV), desenvolvido por G. H Golub, M. T. Heath e

  G. Wahba [12]. Neste m´etodo o parˆ ametro de regulariza¸c˜ao ´e o valor que minimiza a fun¸c˜ ao

  2 †

  n

  b) (I − AA λ

  2 G A,b (λ) = †

  tr(I ) − AA λ

  † T −1 T

  onde A = (A A + λI) A .

  λ

  (3) O m´etodo da curva L, introduzido por P. C. Hansen [18], escolhe como parˆ ametro de regulariza¸c˜ ao o valor que maximiza a curva- tura da curva parametrizada por λ ≥ 0.

  2

  2

  ), b = log( )

  λ λ

  L(λ) = {(a, b); a = log(kr k

  2 kx k 2 } onde x e r s˜ ao dados por (3.1.7). λ λ

  (4) O algoritmo de Ponto Fixo foi proposto por Baz´ an [6] baseado no trabalho de Regi´ nska [29], este m´etodo minimiza a fun¸c˜ao

  µ ψ = x(λ)y(λ) , µ > 0. µ

  2

  2

  em que y(λ) = λ e x(λ) = λ . Baz´an provou que o valor

  2

  2

  kx k kr k

  ∗

  λ = λ que minimiza a fun¸c˜ao ψ µ ´e ponto fixo da fun¸c˜ao

  λ

  2

  √ kb − Ax k φ µ = µ .

  λ

  2

  kx k A diferen¸ca entre os m´etodos acima ´e que os trˆes ´ ultimos n˜ao dependem do conhecimento de qualquer cota para a norma do erro e. Na pr´atica eles funcionam bem numa variedade grande de problemas, mas podem falhar ocasionalmente, e, por isso, s˜ ao conhecidos como heur´ısticos.

3.2 Regulariza¸c˜ ao de Tikhonov e TLS

  A regulariza¸c˜ ao do problema TLS ´e baseado nas id´eias do m´etodo de regulariza¸c˜ ao de Tikhonov para o problema LS. Ent˜ao, lembramos que a vers˜ ao geral do m´etodo de Tikhonov tem a forma

  2

  2

  min + λ (3.2.1) {kAx − bk

  2 kLxk 2 } x

  e que a solu¸c˜ ao ´e

  

T T T

  A A + λL L x = A

  b. (3.2.2) Agora observamos que a regulariza¸c˜ ao de Tikhonov para o problema LS tem uma importante formula¸c˜ ao equivalente min

  2 (3.2.3)

  kAx − bk

  x sujeito a

  2

  kLxk ≤ δ, onde δ ´e uma constante positiva. O problema de quadrados m´ınimos sujeito (3.2.3) pode ser resolvido usando o m´etodo dos multiplicadores de Lagrange, ver apˆendice A. De fato, consideremos a fun¸c˜ao Lagran- geana

  

2

  2

  2

  2 kLxk 2 − δ

  • λ , (3.2.4) L(x, λ) = kAx − bk

  pode ser demonstrado que se δ , onde x ´e a solu¸c˜ao de

  LS

  2 LS

  ≤ kLx k quadrados m´ınimos do sistema (1.1.2), ent˜ ao a solu¸c˜ao x de (3.2.3) ´e

  δ

  idˆentica `a solu¸c˜ao de Tikhonov x de (3.2.1) para um λ apropriado, e

  λ existe uma rela¸c˜ ao mon´ otona entre os parˆ ametros δ e λ.

  Para levar esta id´eia ao problema TLS, adicionamos a desigualdade

  2

  kLxk ≤ δ do vetor solu¸c˜ao x no problema (2.1.1). Portanto, a for- mula¸c˜ao do problema regularizado TLS (RTLS) pode ser escrita como

  2

  min A eb ] (3.2.5) m× F (n+1) [ A b ] − [ e

  [ e A e b]∈R sujeito a e Ax = eb e

  2 kLxk ≤ δ.

  A fun¸c˜ao Lagrangeana correspondente ´e

  2

  2

  2

  ˆ e A, x, µ) = A Ax ] + µ (3.2.6)

  L( e [ A b ] − [ e kLxk

  2 − δ F O seguinte teorema caracteriza completamente solu¸c˜ao x do pro-

  δ blema regularizado (3.2.5).

  Teorema 3.2.1.

  A solu¸c˜ ao regularizada TLS ¯ x de (3.2.5), com a δ desigualdade como igualdade, ´e a solu¸c˜ ao do problema

  

T T T

  A A + λ I + λ L L x = A b (3.2.7)

  I n L onde os parˆ ametros λ e λ s˜ ao

  I L

  2

  kAx − bk

  2

  λ

  I = (3.2.8)

  −

  2

  1 + kxk

  2

  2

  λ = µ 1 + (3.2.9)

  L

  kxk

  2

onde µ ´e o multiplicador de Lagrange em (3.2.6). Os dois parˆ ametros

est˜ ao relacionados pela equa¸c˜ ao

2 T

  λ δ = b (b

  L

  I

  − Ax) + λ

  Ainda mais, o res´ıduo TLS satisfaz

  2 A eb] = . (3.2.10)

  I

  k[A b] − [ e k F −λ

  

Demonstra¸c˜ ao. Para caracterizar ¯ x , igualamos as derivadas parciais

δ

  da fun¸c˜ ao Lagrangeana a zero. Derivando em rela¸c˜ ao ` as entradas de e A, temos

  T

  e A = 0, (3.2.11)

  − A − rx onde r = b Ax. Por outro lado, derivando em rela¸c˜ao `as entradas de − e x resulta

  T T

  A r + µL Lx = 0. (3.2.12) − e

  Derivando em rela¸c˜ ao a µ

  

2

  2

  = δ . (3.2.13) kLxk

  

2

Substituindo r, na express˜ ao (3.2.12), temos a igualdade

T T T

  e e A A + µL L x = e A

  b. (3.2.14)

  T T T

  Usando (3.2.11) e (3.2.12), temos A = e A e e A r = L Lx. Por- − rx tanto

  T T T T

  2 T T T

  e A A = e A A L L + xx Lxx (3.2.15)

  − µxx krk

  2 − µL e

  T T T

  A b = e A b b x. (3.2.16) − r

  Inserindo (3.2.15) e (3.2.16) em (3.2.14) e usando a identidade (3.2.13)

  T T

  2

  xx L Lx = δ x

2 T

  2

  2

  2 krk 2 kxk

  xx x = x, krk

  2

  chegamos ` a seguinte express˜ ao

  

T T T

  A A + λ

  b, com

  I I n + λ L L L x = A

  2

  2

  2 T

  λ

  I = µδ b (3.2.17)

  − krk

  2 kxk 2 − r

  e

  2

  λ = µ 1 + . (3.2.18)

  L

  kxk

  2 O passo seguinte ´e a elimina¸c˜ ao do multiplicador de Lagrange µ, nas

  express˜oes λ

  

I e λ L . Primeiro, usamos a rela¸c˜ ao (3.2.11)

  2

  r = b Ax = b r, − e − Ax − kxk

  2

  para obter

  2

  1 + r = b (3.2.19) kxk

  2 − Ax.

  Tomando norma e elevando ao quadrado

  2

  2 2 kb − Axk

  2

  1 + = . (3.2.20) kxk

  2 krk

  

2

  2

  1 + kxk

  2 Por outro lado, multiplicando (3.2.12) por x e isolando µ temos T T

  e x A r

  1 T

  2

  µ = = r b . (3.2.21) − krk

  2

  2

  

2

  δ kLxk

2 Inserindo (3.2.20) e (3.2.21) em (3.2.17) temos

  2

  kb − Axk

  2

  λ = . (3.2.22)

  I

  −

  2

  1 + kxk

  2 Passando agora para o parˆ ametro λ L , usamos (3.2.20) e (3.2.21) para

  obter

  1

2 T

  2

  2

  λ = µ 1 + = r b 1 + (3.2.23)

  L

  kxk

  2 − krk 2 kxk

  2

  2

  δ Finalmente, a rela¸c˜ ao entre λ e λ pode ser derivada como se-

  

L

  I

  2

  2

  gue: De (3.2.20) e (3.2.22), temos λ = 1 + , da´ı usando

  I

  −krk

  2 kxk

  2

  (3.2.19), (3.2.23) obtemos

  1 T λ = b (b . (3.2.24)

  L

  I

  − Ax) + λ

  2

  δ Para calcular o erro de aproxima¸c˜ ao, usamos a rela¸c˜ao (3.2.11)

  T

  x

  T

  e [ A b ] A Ax ] = [ A A r ] = [ r ] = ,

  − [ e − e −rx −r −1 junto com (3.2.20) e (3.2.22). Assim temos:

  2

  2

  2 A eb ] = 1 + = I . (3.2.25)

  [ A b ] − [ e kxk

  2 krk 2 −λ F

  Com estes resultados concluimos que ¯ x ´e solu¸c˜ao da equa¸c˜ao (3.2.7)

  δ

  com λ e λ dados por (3.2.22) e (3.2.24) respectivamente. Agora

  I L

  vamos discutir as implica¸c˜ oes deste Teorema para a forma padr˜ao L = I (matriz identidade).

  n

3.2.1 O Caso da Forma Padr˜ ao

  Na forma padr˜ ao, a equa¸c˜ ao (3.2.7) fica na forma

  

T T

  (A A + λ I )x = A b

  

IL n

  com λ

  IL = λ I + λ L . A solu¸c˜ ao RTLS ¯ x δ de (3.2.5) tem a mesma forma

  do que a solu¸c˜ ao de Tikhonov x δ de (3.2.3). As duas solu¸c˜oes tˆem a seguinte rela¸c˜ ao Teorema 3.2.2.

  Seja L = I n e seja ¯ σ n+1 o menor valor singular da

matriz [A b]. Ent˜ ao para qualquer valor de δ, as solu¸c˜ oes ¯ x δ e x δ

est˜ ao relacionados como segue

  δ solu¸c˜ oes λ

  IL

  δ < x ¯ = x λ > 0

  LS 2 δ δ

  IL

  kx k δ = x ¯ = x = x λ = 0

  LS 2 δ δ LS

  IL

  kx k

  2

  < δ < ¯ x = x 0 > λ >

  LS

  2 T LS 2 δ δ LS

  IL

  kx k kx k 6= x −¯σ n+1

  2

  δ x ¯ = x , x = x λ =

  T LS 2 δ T LS δ LS

  IL

  ≥ kx k −¯σ n+1

  

Demonstra¸c˜ ao. Precisamos determinar o sinal de λ como uma fun¸c˜ao

  IL

  de δ. Para tanto, usamos o fato de que os vetores correpondentes x s˜ao solu¸c˜oes da formula¸c˜ ao Lagrangeano (3.2.4) do problema de regula- riza¸c˜ ao de Tikhonov (3.2.3). Vamos estudar cada caso presentado na

Tabela 3.2.2. Na demostra¸c˜ ao vamos supor que

  T

  u b (3.2.26)

j 6= 0, j = 1, . . . , n.

, usando o Teorema KKT temos que

  LS

  2

  • Se δ < kx k

  ′ T

  (x, λ) = 2A (Ax (3.2.27) L x − b) + 2λx = 0 ent˜ ao

  T T

  (A A + λI)x = A b.

  T

  Seja A = U ΣV a decomposi¸c˜ ao SVD de A. Ent˜ao a solu¸c˜ao x ´e

  n

  X σ

  i T

  x = (u b)v i

  i

  2

  σ + λ

  i i=1

  2

  onde λ , 6= −σ i ∀i = 1, . . . , n.

  2

  2

  2 Por outro lado, temos que < . Usando o fato LS

  kxk

  2 ≤ δ kx k

  2

  que V ´e uma matriz ortonormal segue que

  n n

  X σ

2 X

  1

i T

2 T

  2

  (u

  b) < (u

  b) (3.2.28)

  i i

  2

  2

  2

  (σ + λ) σ

  i i i=1 i=1

  ent˜ ao

  n

  2 X

  1 σ

  i T

  2

  0 < (u b) .

  − i

  2

  2

  2

  σ (σ + λ)

  

i i

i=1

  Vejamos os casos, λ = 0, ou λ < 0.

  2 Se λ = 0 ent˜ao e a solu¸c˜ao ´e x = x . Mas LS

  L(x, λ) = kAx − bk

  2

  pela condi¸c˜ao da restri¸c˜ ao = = δ < ´e uma

  LS

  2

  2 LS

  2

  kx k kxk kx k contradi¸c˜ao. Se λ < 0 segue que

  2

  1 σ

  i

  2 < , .

  ∀i = 1, . . . , n. e λ 6= −σ i

  2

  2

  2

  σ (σ + λ)

  i i

  Ent˜ao

  LS 2 < 2 < LS

  2

  kx k kxk kx k contradi¸c˜ao. Portanto, λ > 0 e temos que ¯ x = x .

  δ δ

  • Se δ = kx
    • λ)

  • Se δ > kx
  • Se δ < kx

  • λ)
  • λ
    • Se δ = kx

  ´e uma solu¸c˜ ao e λ = −¯σ

  T LS

  , usando o Teorema 2.1.2 temos que x

  2

  k

  T LS

  .

  2 n+1

  ≥ 0, ∀i = 1, . . . , n leva a uma contradi¸c˜ ao com a express˜ao acima. Portanto λ > −¯σ

  2 i − ¯σ

2

n+1

  1 σ

  −

  2 i

  1 σ

  , ent˜ao temos que

  2 n+1

  Vamos supor, por absurdo, que λ ≤ −¯σ

  2 .

  b)

  T i

  (u

  2 n+1

  n+1

  , onde ¯ σ

  k 2 . (2) J´ a que pelo Corol´ario 2.1.2 kx

  IL ´e negativo.

  , vemos que existe uma quantidade grande de valores de δ para o qual o multiplicador λ

  2

  k

  LS

  ≥ kx

  2

  k

  T LS

  LS

  ´e o menor valor singular de [A b].

  ≤ kx

  similares ` as solu¸c˜ oes do m´etodo de Tikhonov. Ou seja, substituir o res´ıduo dos quadrados m´ınimos com o res´ıduo da formula¸c˜ ao TLS n˜ao produz novos resultados quando L = I n e δ

  2 , o m´etodo RTLS produz solu¸c˜ oes que s˜ ao

  k

  LS

  ≤ kx

  As seguintes conclus˜ oes podem ser feitas a partir do Teorema acima: (1) Enquanto δ

  b = 0, ∀i = 1, . . . , n ent˜ao a solu¸c˜ao do pro- blema Ax = b ´e x = 0. Lembre que usamos a hip´otese (3.2.26) pois estamos procurando a solu¸c˜ ao n˜ ao trivial.

  T i

  Observa¸ c˜ ao: Se u

  2

  )

  2 n+1 − σ 2 i

  2 i

  Assim λ = 0 ´e uma solu¸c˜ ao.

  2 = 0.

  b)

  T i

  (u

  2 i

  1 σ

  −

  

2

  (σ

  k

  2 i

  σ

  i=1

  X

  n

  temos

  2

  k

  LS

  LS

  2 , temos que λ ´e negativo usando uma id´eia an´aloga ao primeiro caso.

  (¯ σ

  (u

  2 i

  σ

  i=1

  X

  n

  <

  2

  b)

  T i

  2

  T LS

  2 i

  (σ

  2 i

  σ

  i=1

  X

  n

  , ent˜ ao usando os fatores de filtro, temos que

  2

  k

  (3) A solu¸c˜ao RTLS ¯ x δ ´e diferente da solu¸c˜ao de Tikhonov, e pode ser mais dominada por erros que a solu¸c˜ao x LS [14].

3.2.2 Caso da Forma Geral

  Em muitas aplica¸c˜oes a matriz L ´e usada para incorporar restri¸c˜oes de suavidade sobre a solu¸c˜ ao. Para isso ´e preciso escolher uma matriz L diferente da matriz identidade. Escolhas frequentes de L incluem

   

  1 −1

   

  1 −1

    (n−1)×n L

  1 =

    ∈ R  . .. ... 

  1 −1

   

  2 −1 −1

   

  2 −1 −1

    (n−2)×n L

  2 =

    ∈ R   . .. ... ...

  2 −1 −1 as quais s˜ ao os operadores discretos da primeira e da segunda derivada respectivamente. Neste caso, a solu¸c˜ ao RTLS ¯ x δ ´e diferente da solu¸c˜ ao de Tikhonov quando o res´ıduo Ax

  − b ´e diferente de zero, j´a que ambos λ e λ s˜ao n˜ao nulos. Pelo Teorema 3.2.2 percebemos que λ ´e sempre

  I L L

  positivo quando δ < , pois o multiplicador de Lagrange µ ´e

  T LS

  2

  kx k positivo para estes valores de λ. Por outro lado, λ ´e sempre negativo, e adiciona portanto certa

  I

  deregulariza¸c˜ ao ` a soluc˜ ao. Dado δ, existem muitos valores para λ e

  I

  λ L e portanto muitas solu¸c˜ oes x, que satisfazem (3.2.7)-(3.2.9), por´em s´o uma delas resolve o problema de otimiza¸c˜ ao (3.2.5). Segundo (3.2.10) esta solu¸c˜ao corresponde ao menor valor de

  I |λ |.

  Teorema 3.2.3. Dado δ, a solu¸c˜ ao ¯ x ´e relacionada com a solu¸c˜ ao

  δ TLS como segue

  δ solution λ

  I λ L

  δ < x ¯ λ < 0 ∂λ /∂δ > 0 λ > 0

  T LS 2 δ T LS

  I I L

  kLx k 6= x

  2

  δ x ¯ = x λ = λ = 0

  T LS 2 δ T LS

  I L

  ≥ kLx k −¯σ n+1 Demonstra¸c˜ ao. Ver [14].

  T

  Note que se a matriz λ I + λ L L ´e definida positiva, ent˜ao a

  I n L

  solu¸c˜ao RTLS corresponde `a solu¸c˜ao de Tikhonov com termo de pe-

  2

2 T

  naliza¸c˜ao λ + λ . Se a matriz λ I + λ L L ´e definida

  I L I n L

  kxk

  2 kLxk

  2 negativa ou indefinida, n˜ao existe interpreta¸c˜ao equivalente.

  (1) Se δ < , onde x ´e a solu¸c˜ao (2.1.9), a restri¸c˜ao de

  T LS

2 T LS

  kLx k desigualdade ´e obrigat´ oria. O multiplicador de Lagrange µ ´e posi- tivo e por (3.2.23), segue que λ > 0. De (3.2.22), temos que λ

  L

  I

  ´e sempre negativo, isto adiciona um pouco de deregulariza¸c˜ao na solu¸c˜ao (2) O res´ıduo (3.2.25) ´e uma fun¸c˜ ao mon´ otona decrescente de δ, e por- tanto, λ ´e uma fun¸c˜ ao mon´ otona crescente de δ. Se δ = ,

  I T LS

  2

  kLx k o multiplicador de Lagrange µ ´e zero e a solu¸c˜ao TLS regularizada ¯ x coincide com a solu¸c˜ ao x ; para um δ grande, a desigualdade

  δ T LS n˜ ao ´e obrigatoria e portanto, a solu¸c˜ ao na˜o muda.

3.3 Regulariza¸c˜ ao TLS via Truncamento

  O m´etodo de truncamento do problema TLS ´e usado para problemas mal condicionados. A t´ecnica ´e similar ao SVD truncado onde os va- lores singulares pequenos de A s˜ ao considerados nulos. Em ambos os m´etodos a informa¸c˜ ao redundante em A e [A b], respectivamente, as- sociados aos valores singulares pequenos, ´e descartada e o problema original ´e substituido por um sistema aproximado no sentido da norma Frobenius. No caso do m´etodo TLS, vamos aproximar a matriz [A b], pela matriz de posto k

  k

  X T [ e A ] = σ u v

  

k eb k i i

i i=1

  e vamos considerar o problema e A x = eb . Quando este sistema ´e

  k k

  compat´ıvel, a solu¸c˜ ao de norma m´ınima ´e chamada de k-´esima solu¸c˜ ao

  (k)

  TLS e ´e denotado por x . Para construir tal solu¸c˜ao procuramos por

  TLS

  solu¸c˜oes no espa¸co nulo da matriz aproxima¸c˜ao: A ]) = span , . . . , v

  k eb k k+1 n+1 N ([ e {v }.

  Isto ´e, procuramos por solu¸c˜ oes da forma

  n+1

  X x

  V

  12

  = a v =

  a, (3.3.1)

  i i T

  v −1

  22 i=k+1 T n−k+1

  onde a = [a , . . . , a ] , considerando a parti¸c˜ao

  k+1 n+1

  ∈ R

  V V

  11

  12 V = [v , . . . , v ] = , (3.3.2) 1 n+1 T T

  v v

  21

  22

  T n×k n×(n−k+1)

  onde V , V , v = [[v ] , . . . , [v ] ]

  11

  12

  21 1 n+1 k n+1

  ∈ R ∈ R ∈

  T k n−k+1

  , e v = [[v ] , . . . , [v ] ] . Assim, para de- R

  22 k+1 n+1 n+1 n+1

  ∈ R terminar a solu¸c˜ao de norma m´ınima, note que da ultima equa¸c˜ao em (3.3.1) temos

  n+1

  X T v a = a [v ] =

  i i n+1

22 −1 ⇔ −1.

i=k+1

  Mas de (3.3.1)

  n+1

2 X

  x

  2

  2

  = 1 + = a , (3.3.3) kxk

  2 i

  −1

  2 i=k+1

  vemos que para minimizar a norma da solu¸c˜ ao, precisamos minimizar P

  n+1

  2

  o valor de a . Isto pode ser feito resolvendo o problema de

  i=k+1 i

  minimiza¸c˜ ao

  n+1 n+1

  X X

  2

  min a sujeito a a [v ] =

  i i n+1 i −1. a i i=k+1 i=k+1

  Usando o m´etodo dos multiplicadores de Lagrange, a primeira condi¸c˜ ao de otimalidade para a fun¸c˜ ao Lagrangeana !

  n+1 n+1

  X X

  1

  2

  a + λ a [v ] + 1

  i i n+1

  L(a, λ) = i

  2

  i=k+1 i=k+1

  produz a i + λ[v i ] n+1 = 0, i = k + 1, . . . , n + 1,

  n+1

  X a [v ] =

  i i n+1

  −1,

  i=k+1

  e assim obtemos

  1 a = v . (3.3.4)

  22

  −

  2

  

22

  kv k

  2 Ent˜ ao, de (3.3.1) e (3.3.4), a solu¸c˜ ao com norma m´ınima ´e dada por: (k)

  1 x = V v . (3.3.5)

  12

  22 TLS −

  2

  

22

  kv k

2 Note que de (3.3.3), (3.3.4) e o Teorema Eckart-Young-Mirsky, temos:

  1

  (k)

  2

  2 − 1

  = kx TLS k

  2

  22

  kv k

  2

  e

  2

  2

  2

  2 k = A k eb k ] = σ + . . . + σ ,

  kR k F k[A b] − [ e k F k+1 n+1

  (k)

  mostrando que a norma da k-´esima solu¸c˜ ao TLS, cresce em

  2

  kx k

  TLS

  rela¸c˜ ao a k, enquanto a norma residual decresce. Para ilustrar

  k F

  kR k estas propriedades usamos o problema teste shaw de [17], onde A e b tˆem 5% de ru´ıdo nos dados, e n = 50, ver Figura 3.3. b k b k F k ||[A ] − [A ]|| 1.4 ||x ||

  10 1.3

  10 1.2

  

10

  10 1.1

  10

  10

  20

  30

  40

  50

  10

  20

  30

  40

  50

k k

  Figura 3.2: Norma da solu¸c˜ ao aproximada e norma do Res´ıduo na norma Frobenius.

  Como neste problema teste a solu¸c˜ ao exata ´e conhecida, para ilus- trar o comportamento da qualidade das solu¸c˜ oes aproximadas via TLS truncado, em Figura 3.3 mostramos o erro relativo como fun¸c˜ ao de k. 0.1 Parâmetro ótimo: ko = 5

  10 −0.2 Erro Relativo: ||x−x ||/ ||x|| k

  10 −0.5

  10 −0.8

  10

  10

  20

  30

  40

  50 k

  Figura 3.3: Erro relativo na solu¸c˜ao TLS truncado. Vemos que o erro relativo decresce at´e atingir um valor m´ınimo e depois come¸ca a crescer. A Figura 3.3 mostra que o metodo TLS truncado atua como m´etodo de regulariza¸c˜ ao e que a solu¸c˜ao apropriada deve ser construida truncando no ´ındice em que o erro atinge o m´ınimo. Na pr´atica, a solu¸c˜ ao exata ´e desconhecida, logo esse erro n˜ao pode ser calculado e portanto o m´ınimo tamb´em n˜ ao. Ou seja, para que o m˜etodo TLS truncado seja de utilidade, precisamos de m´etodos que permitam estimar o ´ındice que minimiza o erro. Este assunto ser´a discutido posteriormente.

3.3.1 Fatores de Filtro para o TLS Truncado

  Nesta se¸c˜ ao vamos buscar uma express˜ ao para os fatores de filtro do m´etodo TLS, usando a an´ alise de Fierro (1997) [8]. As decomposi¸c˜oes de A e [A b], dadas em (2.1.5) e (2.1.6), respectivamente, ser˜ao usadas frequentemente. Para este fim, primeiro vamos obter representa¸c˜oes gerais para os valores singulares ¯ σ j e os vetores singulares a direita ¯ v j de [ A b ] em termos do sistema singular i , v i , u i )

  {(σ } de A. Vamos assumir que Posto(A) = n, Posto([A b]) = n + 1, e que os valores singulares de A s˜ao simples. Tamb´em vamos supor que

  T

  u b

j 6= 0, j = 1, . . . , n.

Usando (2.1.5) temos

  T T

  A A A b

  T T

  ¯ [ A b ] [ A b ] = = ¯

  V S ¯¯ V ,

  

T

  2

  b A kbk

  2

  onde

  V ¯ ¯

  V = (3.3.6)

  1 e

  T T T

  Σ Σ Σ U b S = .

  T

  2

  b U Σ kbk

  2 Note que S ´e uma matriz definida positiva, pois Posto([A b]) = n + 1.

  Escrevendo a decomposi¸c˜ ao em valores singulares de S como

  T T T

  2 S = V Σ Σ

  V , Σ Σ = [diag(σ ) ], (3.3.7)

  

s s s (n+1)×(n+1)

s s s sj

  temos

  T T T T

  ¯¯ [ A b ] [ A b ] = ¯¯

  V V Σ Σ

  V V .

  s s s s

  T T

  ¯ Pela equa¸c˜ ao (2.1.6) obtemos, ¯ Σ Σ = Σ Σ e ¯ V = ¯¯

  V V . Explicita-

  s s s

  mente, temos σ ¯ j = σ sj , j = 1, . . . , n + 1, (3.3.8) e

  ¯ ¯ v = ¯ V v , j = 1, . . . , n + 1, (3.3.9)

  j sj

  onde os v s˜ ao os vetores coluna de V . No seguinte passo da nossa

  sj s

  an´ alise, escrevemos S como  

2 T

  σ . . . σ u b

  1

  1

  1

    .. .. ..   . ..

  . . . S = (3.3.10)

   

  2 T

    . . . σ σ u b

  n n n

T T

  2

  σ u b . . . σ u b

  1 n 1 n kbk

  2

  e expressamos (3.3.7) como

  2 Sv = σ v sj , j = 1, . . . , n + 1. (3.3.11) sj sj

  Ent˜ao, de (3.3.10) e (3.3.11) obtemos

  2

2 T

  (σ )[v ] = σ (u b)[v ] , i = 1, . . . , n (3.3.12)

  sj i i sj n+1 sj − σ i i n

  X T

  2

  2

  σ i (u b)[v sj ] i = σ [v sj ] n+1 . (3.3.13)

  i sj − kbk

  2 i=1

  Para j = 1, . . . , n + 1, o sistema singular da matriz S tem duas carac- ter´ısticas interessantes: (1) [v ]

  sj n+1

  6= 0; (2) σ sj n˜ao coincide com os valores singulares de A. Vamos provar estas afirma¸c˜ oes. Suponha que [v sj ] n+1 = 0. Neste caso temos duas situa¸c˜ oes (1) Vamos supor que existem i

  

1 e i

2 tal que [v sj ] i sj ] i 1 6= 0 e [v 2 6=

  0. Ent˜ao, de (3.3.12), segue que σ i = σ i = σ sj , que ´e uma 1 2 contradi¸c˜ ao, pois os valores singulares de A s˜ao simples.

  (2) Vamos supor que existe um i tal que [v ] ] = 0 para

  sj i sj l

  6= 0 e [v

  T

  todo l b

  6= i. Pela equa¸c˜ao (3.3.13) e a hip´otese u i 6= 0, segue que σ = 0 que ´e uma contradi¸c˜ao pois temos por hip´otese que

i Posto(A) = n.

  Portanto, [v ]

  sj n+1

  6= 0. Voltando agora `a segunda afirma¸c˜ao, va- mos supor que existe i tal que σ = σ . Por (3.3.12) temos que

  i sj T T

  σ (u b)[v ] = 0. Como u b ]

  i sj n+1 sj n+1 i i 6= 0 e [v 6= 0, obtemos um

  resultado contradit´orio σ i = 0. Portanto σ sj n˜ ao coincide com algum valor singular σ i de A, e temos σ

  i T

  [v sj ] i = (u b)[v sj ] n+1 , i = 1, . . . , n.

  i

  2

  2

  σ

  sj − σ i

  A segunda afirma¸c˜ ao junto com (3.3.8) implica que as desigualdades de interlacing, para os valores singulares de A e [A b] s˜ao estritas, i.e., σ ¯ > σ > . . . > ¯ σ > σ > ¯ σ > . . . > σ > ¯ σ , (3.3.14)

  1

1 k k k+1 n n+1

  onde k ´e o ´ındice de truncamento do m´etodo TLS truncado. Agora podemos derivar uma express˜ ao final para os vetores singulares a direita de [ A b ]. Por (3.3.6) e (3.3.9), temos

      [v sj ]

  1

      ..

  V     . ¯ v ¯ = ¯ V v = ,

  j sj

     

  [v ]

  sj n

  [v ]

  sj n+1

  logo as entradas do vetor singular a direita ¯ v s˜ ao dados por

  j

    [¯ v j ]

  1 n

  X σ

  

i

    T ..

  (u b)[v ] v (3.3.15)

  sj n+1 i

    =

  2 2 i .

  σ − σ

  

sj i

i=1

  [¯ v ]

  j n

  e [¯ v ] = [v ] , (3.3.16)

  

j n+1 sj n+1

  para j = 1, . . . , n + 1. Resumimos o resultado acima no seguinte Teo- rema. Teorema 3.3.1.

  Seja (2.1.5) a decomposi¸c˜ ao em valores singulares da

matriz A e assuma que Posto(A) = n e Posto([A b]) = n + 1. Al´em

disso, assuma (3.2.26). Se (3.3.7) ´e a decomposi¸c˜ ao em valores singu-

lares da matriz S definida por (3.3.10), ent˜ ao os valores singulares da

matriz [A b] s˜ ao dados por (3.3.8), enquanto as entradas dos vetores

singulares ` a direita s˜ ao dados por (3.3.15) e (3.3.16).

  O seguinte Teorema descreve os fatores de filtro para a solu¸c˜ao TLS truncada

  1

  (k)

  ¯ x = V ¯ v , (3.3.17)

  12

  22

  −

  T LS

  2

  22

  k¯v k

  2 Teorema 3.3.2.

  Com as mesmas hip´ oteses do Teorema 3.3.1, os fa- tores de filtro para a solu¸c˜ ao TLS truncada, s˜ ao dados por

n+1 k

  2

  X 1 σ 1 σ

  2 X

  i 2 i

  2

  f = [¯ v ] = [¯ v ]

  i j j

  − n+1 n+1

  2

  2

  2

  2

  2

  2

  σ ¯ σ ¯

  22

  22

  k¯v k

  2 j − σ i k¯v k 2 j − σ i

j=k+1 j=1

  (3.3.18) para i = 1 . . . , n.

  

Demonstra¸c˜ ao. Usando (3.3.15) junto com (3.3.8) e (3.3.16), expressa-

  mos a solu¸c˜ ao TLS truncada (3.3.17) como

  1

  (k)

  ¯ x = V ¯ v

  12

22 T LS −

  2

  22

  k¯v k

  2

    [¯ v ]

  j

  1 n+1

  X

  1   = [¯ v ] ..

  j n+1

  −   2 .

  22

  k¯v k

  2 j=k+1

  [¯ v ]

  j n

   

  n n+1

  X 1 σ

  2 X

  1

  i

  2 T

    = [¯ v ] (u b)v .

  j i

  − n+1 i

  2

  2

  2

  σ ¯ σ

  22 i

  k¯v k

  2 j − σ i i=1 j=k+1

  Para obter a segunda representa¸c˜ ao em (3.3.18), usamos a condi¸c˜ao de

  T

  ortogonalidade V V = I . Ent˜ ao

  s n+1 s n+1

  X T v sj v = I n+1

  

sj

j=1

  implica

  n+1

  X [v ] [v ] = 0, i = 1, . . . , n (3.3.19)

  sj i sj n+1 j=1

  e

  n+1

  X

  

2

  [v ] = 1. (3.3.20)

  sj

n+1

j=1

  Por outro lado, de (3.3.12) junto com (3.3.8), temos

  2

  [v ]

  sj n+1 T

  σ i (u

  b) = [v sj ] i [v sj ] n+1 , i = 1, . . . , n. (3.3.21)

  i

  2

  2

  σ ¯

  j − σ i

  Agora, (3.3.19) e (3.3.21) junto com (3.2.26) e (3.3.16) produzem n+1

2 X

  σ

  i

  2

  [¯ v ] = 0, i = 1, . . . , n,

  j n+1

  2

  2

  ¯ σ

  j − σ i j=1

  e portanto,

  n+1 k

  2

  X σ σ

  2 X

  i 2 i

  2 [¯ v ] = [¯ v ] , i = 1, . . . , n. j j

n+1 − n+1

  2

  2

  2

  2

  σ ¯ σ ¯

  j − σ i j − σ i j=k+1 j=1

  A demonstra¸c˜ ao est´ a completa.

  Os fatores de filtro do TLS truncado podem ser estimados como seguem. Teorema 3.3.3.

  Com as mesmas hip´ oteses do Teorema 3.3.1, os fa- tores de filtro satisfazem

  

2

  σ ¯

  

k+1

  0 < f , i = 1, . . . , k (3.3.22)

  i

  − 1 ≤

  2

  2

  σ

  

i − ¯σ k+1

  e

  2

  2

  1 σ

  22

  − k¯v k

  2 i

  0 < f , i = k + 1, . . . , n. (3.3.23)

  i

  ≤

  2

  2

  

2

  ¯ σ

  22

  k¯v k

  2 k − σ i

Demonstra¸c˜ ao. Para i = 1, . . . , k, usamos a primeira representa¸c˜ao em

  (3.3.18) e o resultado

  n+1

  X

  2

  2

  = [¯ v ] (3.3.24)

  

22 j

  k¯v k

  2 n+1 j=k+1

  para obter

  n+1

  1 σ

2 X

  i

  2

  f = [¯ v ]

  i j n+1

  2

  

2

  2

  σ

  22

  k¯v k

  

2 i − ¯σ j

j=k+1 n+1

  

2

  2

  2 X

  σ + ¯ σ 1 i − ¯σ j j

  2

  = [¯ v ]

  j n+1

  2

  2

  2

  σ

  22

  k¯v k

  

2 i − ¯σ j

j=k+1

n+1

  2 X

  σ ¯

  1

  j

  2

  = 1 + [¯ v j ] . (3.3.25)

  n+1

  2

  2

  2 22 σ

  k¯v k

  2 − ¯σ i j

j=k+1 Pela desigualdade de interlacing para os valores singulares de A e [A b] dados por (3.3.14), vemos que, para i = 1, . . . , k, temos σ > ¯ σ = max (¯ σ ).

  

i k+1 j

j=k+1,...,n+1

  Portanto, o segundo termo de (3.3.25) ´e positivo. Ainda mais, de ¯ σ j ≤

  σ ¯ k+1 , para j = k + 1, . . . , n + 1 deduzimos que

  2

  2

  σ ¯ σ ¯

  j k+1

  , ≤

  2

  2

  2

  2

  σ σ

  

i − ¯σ j i − ¯σ k+1

  e portanto,

  n+1 n+1

  2

  X σ ¯ σ ¯

  2 X

  j k+1

  2

  2 [¯ v j ] [¯ v j ] . n+1 ≤ n+1

  2

  2

  2

  2

  σ σ

  i − ¯σ j i − ¯σ k+1 j=k+1 j=k+1 Este resultado junto com (3.3.24) implica a desigualdade (3.3.22).

  Para i = k + 1, . . . , n, consideremos a segunda representa¸c˜ao em (3.3.18), isto ´e

  k

  1 σ

  2 X

  i

  2 f = [¯ v ] . i j n+1

  2

  2

  2

  σ ¯

  22

  k¯v k

  

2 j − σ i

j=1

  De (3.3.14), vemos que, para i = k + 1, . . . , n, temos σ < ¯ σ = min (¯ σ ).

  

i k j

j=1,...,k

  Como ¯ σ para j = 1, . . . , k, temos

  j k

  ≥ ¯σ

  k k

  2

  X 1 σ 1 σ

  2 X

  i 2 i

  2 f = [¯ v ] [¯ v ] .

i j n+1 j n+1

  2

  2 2 ≤

  2

  2

  2 22 σ ¯ 22 σ ¯

  k¯v k − σ k¯v k − σ

  2 j i 2 k i j=1 j=1

  Finalmente, de (3.3.16) e (3.3.20) obtemos

  k n

  X X

  2

  2

  [¯ v ] = 1 [¯ v ]

  

j j

n+1 − n+1 j=1 j=k+1

  2

  = 1 ,

  22

  − k¯v k

  2 o que mostra a desigualdade (3.3.23).

  

3.3.2 Bidiagonaliza¸c˜ ao de Lanczos para o TLS trun-

cado

  Quando a dimens˜ao da matriz A n˜ ao ´e muito grande, a decomposi¸c˜ao em valores singulares da matriz aumentada [A b] pode ser calculada diretamente e, com isso, a solu¸c˜ ao x pode ser calculada eficiente-

  TLS

  mente. Por´em a SVD n˜ ao ´e vi´ avel para problemas de grande porte devido ao alto custo computacional. Neste caso vamos usar o algo- ritmo baseado na bidiagonaliza¸c˜ ao de Lanczos [13], chamado algoritmo TLS truncado de Lanczos.

  Este algoritmo usa a bidiagonaliza¸c˜ ao da matriz A para obter, de- pois de k itera¸c˜ oes, a fatora¸c˜ ao b

  A b V k = b U k+1 B k , (3.3.26)

  m×(k+1) n×k

  onde b U , b V s˜ ao matrizes com colunas ortonor-

  k+1 k

  ∈ R ∈ R

  (k+1)×k

  mais e b B tem a forma

  k

  ∈ R  

  α

  1

   β α 

  2

  

2

      b  

  . .. B = β 3 .

  k

       . .. 

  α

  k

  β

  k+1

  Esta fatora¸c˜ ao projeta o problema TLS sobre o espa¸co gerado pe-

  m×(k+1)

  las colunas b U k+1 . A proje¸c˜ ao ´e consequencia de assumir ∈ R que para um k suficientemente grande, os valores singulares de A que contribuem ` a solu¸c˜ ao regularizada j´ a foram capturados. O problema projetado ´e dado por

  2 T bV k

  b min U [A b] A k eb k ] − [ e (n+1) k+1 k k

  e

  1

  [ e A b ]∈R F T T

  e b

  sujeito a b U A

  V z = b U eb ,

  k k k k k+1 k+1

k

  onde x = b V z para algum z . Usando (3.3.26) temos que

  k k k

  ∈ R b

  V T k T T b b U [A b] = [ b U A b

  V U b ]

  k

k+1 k+1 k+1

  1

  (k+1)

  = [ B β e ] (3.3.27)

  k

  1

  1 assim o problema de minimiza¸c˜ ao (2.1.1), pode ser escrito como

  2 (k+1)

  min β e ] B ] (3.3.28)

  k 1 k ee k (k+1)×(k+1) 1 − [ e

  [ B

  [ e B k e e k ]∈R F sujeito a e B z , k k = ee k (k+1)

  T T k+1

  e b onde e B = b U A V = b U eb e e ´e o primeiro vetor

  k k k , ee k k k+1 k+1 1 ∈ R

  can´ onico. Ent˜ ao em cada passo de Lanczos, usamos o algoritmo TLS para problemas de pequena dimens˜ ao (3.3.28) para calcular a solu¸c˜ao TLS truncada. De maneira precisa, assumindo a decomposi¸c˜ao em valores singulares

  (k+1) (k) (k) (k)T

  ¯ ¯¯ ¯¯ [ B k β

  

1 e ] = ¯ U Σ

  V ,

  1

  onde " #

  (k) (k)

  ¯ ¯ ¯ ¯

  V V (k) (k) (k)

  

(k) k×k k

  11

  12

  ¯¯ ¯ ¯

  V = , ¯ V , ¯¯ V , ¯ V ,

  (k)T (k) 11 ∈ R

  12 21 ∈ R

  ¯ ¯

  ¯ V ¯ v

  21

  22

  a solu¸c˜ ao TLS de (3.3.28) ´e

  1

  (k)

  ¯ ¯ z =

  V ,

  k

  −

  12 (k)

  ¯ v ¯

  

22

  e a matriz de aproxima¸c˜ ao ´e

  

k

  X

  (k) (k) (k)T

  ¯ ¯ ¯¯v [ e B k k ] = σ ¯ u ¯ . ee

  i i i

i=1

  Usando o m´etodo do Cap´ıtulo 2 o res´ıduo ´e dado por

  (k) (k+1)

  β e ] B ] = ¯¯ σ .

  k

1 k ee k F

  k[B − [ e k

  k+1 (k+1)

  Al´em disso, pelo Teorema 1.2.5 aplicado nas matrizes [B β e ] e

  k

  1

  1 (k+2)

  [B β e ], o res´ıduo ´e uma fun¸c˜ ao decrescente em k. A solu¸c˜ao

  k+1

  1

  1

  truncada TLS ´e da forma

  1 ¯¯ b x k = b V k z k = V k

  V 12 . −

  ¯¯v

  22

  e

  T

  e b b [ e A eb ] = [ b U B V U ].

  

k k k+1 k k+1 ee k k Usando o fato de que b U , b V s˜ ao ortonormais, de (3.3.27) o res´ıduo ´e

  k+1 k k = A k eb k ]

  R [A b] − [ e

  F F

T

  e b b = U B

  V U ]

  

k+1 k k+1 ee k

  [A b] − [ b k

  F

  b

  T T

  V

  k

  e b b = U A b bU B

  V U

  k+1 k k+1 ee k

  b k+1 − k

  F

  1 T T b = bU A b

  V U b eB

  k k ee k k+1 k+1 − F (k+1)

  = B β e eB

  k 1 k ee k 1 − F

  Portanto, no algoritmo TLS truncado de Lanczos, a norma da solu¸c˜ao aproximada

  k k F

  kx k tamb´em cresce com k e a norma residual kR k tamb´em decresce com k. Para este tipo de problemas ´e importante ter alguma estimativa do valor de k adequado. O assunto ser´ a abordado no cap´ıtulo 5. Cap´ıtulo 4 M´ etodos para Calcular Solu¸c˜ oes TLS Regularizadas

  O objetivo deste cap´ıtulo ´e discutir um m´etodo para calcular solu¸c˜oes TLS regularizadas (RTLS) baseado num trabalho de Guo e Renault [30], bem como um m´etodo de regulariza¸c˜ ao baseado em truncamento e na escolha de um ´ındice apropriado de truncamento introduzido aqui.

  

4.1 RTLS Via Problema de Autovalores se-

gundo Renault e Guo

  Para descrever o m´etodo, ´e importante lembrar que, devido ao Teo- rema 3.2.1, como os parˆ ametros λ e λ dependem de x (que denotamos

  

I L

aqui por ¯ x ), o sistema de equa¸c˜ oes (3.2.7) ´e muito dif´ıcil de resolver. δ

  e (3.2.24) tem sido usado de duas maneiras diferentes para resolver o problema RTLS. Em [14, 22, 31] λ ´e escolhido como parˆ ametro li-

  I

  vre e, para λ fixado, o problema (3.2.7) ´e resolvido fornecendo um

  L par (x, λ ), e a seguir o parˆ ametro λ ´e atualizado usando (3.2.24).

  I L

  O processo continua at´e ter a convergˆencia da sequˆencia. Reciproca- mente, em [21, 33] para λ escolhido, a solu¸c˜ao de (3.2.7) fornece um

  I

  par (x, λ ) e o m´etodo gera uma sequˆencia convergente de parˆametros

  L

  λ . Em ambos os casos, o sistema (3.2.7) ´e resolvido atrav´es de um

  I problema de autovalores linear e quadr´ atico respectivamente.

  O m´etodo est´a baseado na observa¸c˜ ao que o c´alculo de ¯ x requer

  δ

  a solu¸c˜ao de um problema de autovalores que prov´em das equa¸c˜oes (3.2.7), (3.2.8) e (3.2.24). De fato, reescrevendo essas equa¸c˜oes temos x x

  B(λ ) = λ , (4.1.1)

  L

  −1 −1 onde

  T T T

  A A + λ (x)L L A b

  L

  B(λ ) =

  L T

  2 T

  b A (x)δ + b b

  L

  −λ ´e uma matriz (n+1) , com λ e λ dados por (3.2.22)

  I I L

  ×(n+1), λ = −λ e (3.2.24), e x satisfazendo a restri¸c˜ ao

  2 = δ.

  kLxk Para resolver estes problemas de autovalores, os m´etodos iterati- vos reutilizam a maior quantidade de informa¸c˜ ao poss´ıvel da itera¸c˜ao pr´evia. Guo e Renault [30] usaram o m´etodo da potˆencia inversa para x obter o auto-par λ, . Para este m´etodo vamos assumir que

  −1 σ min ([AK b]) < σ min (AK), onde K ´e uma base ortonormal do n´ ucleo de L. Em [2] foi provado que esta condi¸c˜ao ´e suficiente para que o algoritmo possa atingir a solu¸c˜ao de (4.1.1). No seguinte Teorema mostramos que a solu¸c˜ ao x RT LS ´e caracterizada por um sistema autovalor autovetor. Renaut e Guo [31] deram condi¸c˜ oes de otimalidade de primeira ordem para este problema.

  Teorema 4.1.1.

  A solu¸c˜ ao x do problema RTLS (3.2.5) sujeito

RT LS

  a constantes ativas satisfaz o problema de autovalor aumentado

  x x

  RT S RT S

  B(λ ) = , (4.1.2)

  L

  I

  −λ −1 −1

  com T

  L L

  T

  B(λ ) = M + λ N, M := [A b] [A b], N :=

  L L

  2

  −δ

  

e λ e λ s˜ ao dados por (3.2.22) e (3.2.23) respectivamente. Reciproca-

  I L T T

mente, se [˜ x , ´e o auto par de B(λ ), onde λ (˜ x) satisfaz

  L L

  − 1] −˜λ

  kb−A˜ xk 2 (3.2.23), ent˜ ao ˜ x satisfaz (3.2.7), e ˜ λ = 2 .

  −

  1+k˜ xk 2 Demonstra¸c˜ ao. Ver [31]. A escolha do menor autovalor ´e motivado por (3.2.25), pois preci- samos minimizar o res´ıduo na norma Frobenius. Para tanto usamos o m´etodo da potˆencia inversa, que calcula em poucos passos o menor autovalor em valor absoluto e o autovetor correspondente.

  ´ E conhecido, pela equa¸c˜ ao (3.2.25) que a solu¸c˜ao TLS minimiza o problema

  2

  kAx − bk

  2

  x = argmin φ(x) = argmin , (4.1.3)

  T LS

  2

  1 +

  x x

  kxk

  2

  onde φ ´e chamado o quociente de Rayleigh da matriz M . Isto sugere uma formula¸c˜ ao alternativa para o m´etodo RTLS. min φ(x) s.a.

  2 kLxk ≤ δ. x

4.1.1 Suporte Te´ orico do M´ etodo Iterativo

  Pela igualdade (4.1.3) e o Teorema 4.1.1, a solu¸c˜ao RTLS ´e obtida calculando estimativas do menor

  

I

  |λ | = φ(x) que resolve o problema de autovalores. Quando o sistema (4.1.2) ´e satisfeito as condi¸c˜ oes ativas tamb´em s˜ ao. Assim, para descrevermos o algoritmo de Renault e Guo, vamos introduzir matriz dependente de um parˆ ametro, B(θ) = M +θN , θ > 0, e vamos denotar o menor autovalor correspondente ao autovetor

  T T

  [x de B(θ) por ̺ . Tamb´em vamos introduzir a fun¸c˜ao

  n+1 θ − 1]

  2

  2

  2

  g(x) = ( )/(1 + ). (4.1.4) kLxk

  2 − δ kxk

  2 Tendo introduzido essas nota¸c˜ oes, dada uma constante δ, o objetivo

  ´e determinar θ tal que g(x θ ) = 0. Este ´e um problema de c´alculo de ra´ızes que pode ser resolvido de diferentes maneiras, como por exemplo pelo m´etodo da bisse¸c˜ ao. Os seguintes resultados formam a base do algoritmo para o problema.

  T

  Lema 4.1.1. Suponha que b A 6= 0 e N (A) ∩ N (L) = {0}, ent˜ao o menor valor singular da matriz B(θ) ´e simples.

  Demonstra¸c˜ ao. Pela equa¸c˜ ao autovalor- autovetor

  x x

  θ θ

  B (θ) = ̺

  θ

  −1 −1 temos

  

T T T

  (A A + θL L I)x = A b.

  θ θ

  − ̺

  T T

  Pela hip´otese A b n˜ao ´e um autovalor de A A+

  θ

  6= 0, segue ent˜ao que ̺

  T T T

  θL L. Como A A + θL L ´e uma submatriz de B(θ) pelo Teorema de interlacing de autovalores segue que ̺ ´e estritamente menor que o

  θ

T T

  m´ınimos dos autovalores de A A + θL L, e portanto ´e simple. Lema 4.1.2.

  Se [A b] ´e uma matriz de posto completo, existe um c c unico valor positivo, denotado por θ ´

  ) ´e singular, e

  , tal que B(θ c ) ´e simples.

  1. O autovalor nulo de B(θ c

  2. Quando 0 ≤ θ < θ , B(θ) ´e definida positiva. c

  3. Quando θ > θ , B(θ) tem s´o um autovalor negativo; e os outros s˜ ao positivos.

  Demonstra¸c˜ ao. Ver [31].

  T

  Lema 4.1.3. Se b A 6= 0, e [A b] ´e uma matriz e posto completo,

  ent˜ ao ∗ c

  2

  2

  1. Existe λ ] que resolve o problema = δ , RT LS

L ∈ [0, θ kLx k

  2 2. esta solu¸c˜ ao ´e ´ unica,

  ∗ ∗

3. quando λ ), g(x L ) > 0 e λ , L ) < 0.

L λ L λ

  ∈ (0, λ L ∈ (λ L ∞), g(x Demonstra¸c˜ ao. Ver [31]. Este resultado diz que existe uma ´ unica solu¸c˜ ao de nosso problema e que o algoritmo que encontra esta solu¸c˜ ao depende de atualizar o parˆametro λ e do sinal de g(x ). De (3.2.23) ´e imediato que x esta

  L λ L θ

  relacionado com θ por

  1 T θ = (b (b ) )).

  θ θ

  − Ax − φ(x

  2

  δ Isto sugere um m´etodo iterativo para calcular θ,

  1

  (k+1) T (k) (k)

  θ = (b (b ) )), − Ax θ − φ(x θ

  2

  δ

  (k)

  onde no passo k, [x (k) ´e o autovetor de ̺ . Multiplicando a − 1]

  n+1 θ T

  equa¸c˜ ao (4.1.1) por [x − 1] temos a seguinte rela¸c˜ao

  1

  

2

  2

  2 λ = ( + λ (x)( )). L

  − kAx − bk

  2 kLxk 2 − δ

  2

  2

(k)

  • 1 kxk

  Assim temos que a itera¸c˜ao para ̺ ´e

  

n+1 (k) (k) (k) (k) ̺ = φ(x ) + θ g(x ). θ θ n+1 Tamb´em usando a rela¸c˜ ao

  (k) T T (k) 2 (k)

  b Ax b + δ θ =

  θ

  − b −̺ n+1

  

(k)

  temos uma equa¸c˜ ao que atualiza θ a trav´es de:

  (k)

  θ

  (k+1) (k) (k)

  θ + = θ g(x ). (4.1.5)

  θ

  2

  δ Resta demonstrar que esta itera¸c˜ ao vai gerar o valor apropriado θ que resolve o problema

  2

  2

  = δ . (4.1.6)

RT LS

  kLx k

  2 Para investigar as propriedades de convergˆencia da equa¸c˜ao (4.1.5),

  vamos usar o parˆ ametro λ L em lugar de θ. Os resultados do Lema 4.1.3

  (k)

  sugerem o uso de um parˆ ametro dependente 0 < ι (k+1) (0) ≤ 1 escolhido tal que g(x ) tem o mesmo sinal do que g(x ).

  λ λ L L (k)

  λ

  (k+1) (k) (k) L (k) (k)

  λ = λ + ι g(x ), 0 < ι (4.1.7) L L ≤ 1.

  2 λ L

  δ

  (0) Lema 4.1.4. (k) Suponha que λ > 0. Sejam as sequˆencias

  L {x } e λ L (k)

  λ , k = 1, 2, . . . , gerados por (4.1.7), com a sequˆencia e parˆ ametros

  L (k) (k+1) (0)

  0 < ι )g(x ) > 0. Ent˜ ao ≤ 1 tal que g(x

  λ λ L L (k) 1. λ > 0 para qualquer inteiro positivo k.

  L (k)

  2. Se g(x (0) ) < 0, ent˜ ao as sequˆencias (k) )

  {λ } e {φ(x } decres-

  L

λ λ

L L

(k) (k) cem de forma mon´ otona, mas )

  {̺ n+1 } e {φ(x } crescem de

  λ L forma mon´ otona.

(0) (k)

(k)

  3. Se g(x ) > 0, ent˜ ao as sequˆencias )

  {λ L } e {φ(x } crescem

  

λ λ

L L

(k)

(k) de forma mon´ otona, mas )

  {̺ n+1 } e {φ(x } decrescem de forma

  λ L mon´ otona. (0) (0) 4. Se g(x ) = 0, λ resolve o problema 4.1.6. l λ L Demonstra¸c˜ ao. Ver [31].

  (0) c

  Note que para un dado inicial 0 < λ < θ , a tendˆencia da

  L (0) (0) ∗ ∗

  sequˆencia mon´otona gerada depende se λ < λ ou λ > λ , mas

  L L L L (k)

  em qualquer caso B(λ ) ´e sempre definida positiva.

  L

  (0)

  Teorema 4.1.2. A itera¸c˜ ao (4.1.7) com um dado inicial λ > 0

  L ∗ converge ` a unica solu¸c˜ ao λ do problema 4.1.6.

  L Demonstra¸c˜ ao. Ver [31].

  Com estes resultados te´ oricos, escrevemos o algoritmo b´asico que calcula a solu¸c˜ ao RTLS (3.2.5) via problema de autovalores (RTLSEVP) o qual usa o menor autovalor em m´ odulo para cada parˆametro de Lagrange λ .

  L

  Algoritmo RTLSEVP:

  (0)

  Dados de entrada : δ, λ > 0 e ε > 0.

  L T (0) (0) (0) T

  1. Calcular o autopar (̺ , [x , ) de B(λ ).

  n+1 −1] L Fa¸ca k = 0, ι = 1.

  2. No passo k

  (k+1) (k)

  Se k > 0 e g(x )g(x ) < 0, ent˜ ao ι = ι/2 sen˜ao ι = 1, k = k + 1.

  3. Atualize λ

  L (k) (k−1) ι (k−1)

  λ = λ 1 + 2 g(x )

  L L δ

  4. Atualize x

  k+1

  Calcule o menor autovalor ̺ e o correspondente autovetor T n+1 (k)

  (k) T

  [x , de B(λ ) −1] L

  5. Crit´erio de parada

  (k)

  Se ) |g(x | < ε, ent˜ao Fim sen˜ao k = k + 1

  (k)

  x RT LS = x

4.1.2 Experimentos Num´ ericos

  Apresentamos resultados num´ericos usando problemas do pacote Re- gularization Tools de P. C. Hansen [17]. O pacote implementa um das ao tratamento de problemas discretos mal postos (cria¸c˜ao, an´alise e resolu¸c˜ao), que inclui v´ arios problemas teste com uma rotina para cada um deles.

  Os problemas utilizados prov´em da discretiza¸c˜ao de equa¸c˜oes inte- grais de Fredholm de primeira esp´ecie da forma Z

  b

  K(x, y)f (y)dy = g(x), c ≤ x ≤ d.

  a Em todos os casos, a Toolbox fornece a tripla A , ¯b , ¯ x

  ex ex ex

  { ¯ } tal que ¯ A x ¯ = ¯b .

  

ex ex ex

  Como o pacote do Hansen trabalha com matrizes quadradas e nosso interesse ´e lidar com problemas sobredeterminados (m ≥ n), em nossos exemplos num´ericos consideramos problemas com A e b definidos

  ex ex

  por ¯ ¯

  A b

  ex ex A = , b = . ex ex

  ¯ A

  ex ¯b ex Note que a igualdade A ex x ex = b ex ´e ainda satisfeita, onde x ex = ¯ x ex .

  Para testar o m´etodo RTLS, adicionamos ru´ıdo aos dados exatos para obter um sistema Ax ≈ b, como segue

  0.01(N R + A = A )(E/ )

  ex ex

  2 A

  2

  kA k kEk e

  • b = b ex ex

  2 0.01(N R b )(e/ 2 ),

  kb k kek onde N R A e N R b s˜ ao os n´ıveis de ru´ıdo relativo da matriz A ex e o vetor b ex respectivamente. Por exemplo para N R A = 5, a matriz resultante A tem 5% de ru´ıdo nos dados. A matriz E e o vetor e de perturba¸c˜ oes s˜ ao gerados pela rotina randn do MATLAB. Neste trabalho consideramos o caso N R = N R = N R e denotamos por σ = 0.01N R, e para

  A b

  cada problema analisamos a solu¸c˜ ao com diferentes n´ıveis de ru´ıdo, σ = 0.001, 0.01, 0.05, o que corresponde a 0.1%, 1% e 5%, respectiva- mente. Al´em disso, em todos nossos exemplos a solu¸c˜ ao regularizada correspondente ao problema LS (RLS) tamb´em ´e calculada e sua qua- lidade ´e comparada com aquela da solu¸c˜ ao RTLS. O parˆ ametro de regulariza¸c˜ao λ no caso LS ´e determinado pelo m´etodo do ponto-fixo como descrito em [6].

  400×200

  Em nossos exemplos consideramos a matriz A , a matriz ∈ R

  L ´e o operador primeira derivada, e δ = 0.95 . Com a finali-

  ex

  2

  kLx k dade de usar eficientemente o programa MATLAB para o algoritmo RTLS e usar s´o itera¸c˜ oes que adicionam novas informa¸c˜oes na sequˆencia, con- sideramos o crit´erio e parada

  (k)

  ) (4.1.8) |g(x | < ε, onde ε > 0 ´e um num´ero pr´oximo de zero e a fun¸c˜ao g ´e definida em

  −4

  (4.1.4). Nos experimentos num´ericos usamos ǫ = 10 e o parˆametro

  (0)

  inicial λ = 0, 5. Tamb´em, para evitar um n´ umero grande de passos

  L para certos problemas onde o crit´erio acima fica muito exigente, vamos considerar como crit´erio alternativo de parada o primeiro k tal que

  (k+1) (k)

  λ − λ −3

  I I

  (4.1.9) < 5 × 10

  (k)

  λ

  I Ou seja, o processo iterativo ´e interrompido quando algum dos crit´erios acima ´e satisfeito e o ´ındice de parada ´e denotado por k m .

  Heat O problema heat envolve uma equa¸c˜ ao integral de Volterra de primeira esp´ecie com intervalo de integra¸c˜ ao [0, 1]. O n´ ucleo ´e K(s, t) = k(s

  − t) onde

  −3/2

  t

  1 k(t) = exp . √ −

  2

  4κ t 2κ π

  O parˆametro κ controla o mal condicionamento da matriz A, para nosso trabalho consideramos κ = 1 o qual produz uma matriz mal condicio- nada. A Figura 4.1 mostra a solu¸c˜ ao deste problema.

  1

  0.8

  0.6

  0.4

  0.2

  20

  40

  60 80 100 Figura 4.1: Solu¸c˜ ao do problema heat.

  A Figura 4.2 mostra resultados obtidos para o caso σ = 0.001. Neste caso, o crit´erio de parada atingido no algoritmo RTLSEVP ´e atingido em k = 334 e a solu¸c˜ao RTLS produz um erro relativo 0.0669 (aprox. 7%). J´a a solu¸c˜ao RLS produz um erro relativo 0.0387 (aprox. 4%). Embora isso, visualmente ambas as solu¸c˜oes parecem idˆenticas, ver Figura 4.2 (linha inferior).

  −3 x 10

  0.5

  2

  0.4 −0.005 0.3 −2

  −0.01 0.2 −4 λ λ L I Θ g( )

  −0.015 0.1 −6 −8 −0.02 200 400 200 400 200 400

x : RLS x : RTLS

λ δ

  1

  1 Sol. Exata Sol. Exata Sol. Reg Sol. Reg

  0.5

  0.5 −0.5 −0.5 100 200 100 200

  Figura 4.2: Linha superior: Parˆ ametros λ , λ e fun¸c˜ ao g(θ) para

  I L

  o problema heat usando dados com ru´ıdo de 0.1%. Linha inferior: Solu¸c˜ oes regularizadas LS e TLS.

  (k) (k)

  Na Figura acima vemos que as sequˆencias λ e λ convergem,

  I L

  portanto o crit´erio (4.1.9) permite usar uma quantidade adequada de itera¸c˜ oes. Tamb´em podemos observar que a fun¸c˜ ao g fica perto da sua raiz. Um resumo dos resultados num´ericos para os trˆes n´ıveis de ru´ıdo, no que diz respeito ao n´ umero de itera¸c˜ oes e a qualidade das solu¸c˜oes em termos de erro relativo ´e apresentado na Tabela 4.1.

  M´etodo RLS M´etodo RTLS / /

  ex λ 2 ex 2 ex δ 2 ex

  2

  kx − x k kx k kx − x k kx k σ = 0.1% σ = 1% σ = 5% σ = 0.1% σ = 1% σ = 5%

  λ = 0.0038 λ = 0.053 λ = 2.726 k m = 344 k m =116 k m = 42 0.0342 0.1538 0.670 0.0642 0.1303 0.6150 Tabela 4.1: Resultados das solu¸c˜ oes x e x para trˆes n´ıveis de ru´ıdo.

  λ δ

  As Tabelas acima mostram que na presen¸ca de pouco ru´ıdo nos dados os m´etodos RLS e RTLS produzem resultados parecidos, por´em, quando o ru´ıdo cresce ambos os m´etodos fornecem solu¸c˜oes de qualidade muito inferior. Al´em disso, para estudar a sensibilidade da solu¸c˜ao RTLS a mudan¸cas na constante δ, o mesmo problema foi resolvido com δ = 2.5

  ex

  kLx k. Neste experimento, para o caso σ = 0.001, obtivemos um erro relativo ex δ

  2 / ex 2 = 1, 2825, mostrando que a solu¸c˜ao

  kx −x k kx k x δ pode ser muito sens´ıvel a varia¸c˜ oes em δ. Esta observa¸c˜ao, para o caso da forma padr˜ ao, tamb´em foi feita em [24].

  Phillips Discretizando a equa¸c˜ ao integral de primeira esp´ecie (1.1.1). Definimos a fun¸c˜ ao

  πx

  1 + cos , |x| < 3

  3

  φ(x) = 0,

  |x| ≥ 3 Ent˜ ao o n´ ucleo K, a solu¸c˜ ao f e o lado direito g s˜ao dados por:

  K(s, t) = φ(s − t) f (t) = φ(t)

  1 πs 9 π |s| g(s) = (6 1 + cos

  • sin . − |s|)

  2 3 2π

  3 Os intervalos de integra¸c˜ ao s˜ ao [ −6, 6]. A Figura 4.3 mostra a solu¸c˜ao exata deste problema.

  0.8

  0.6

  0.4

  0.2

  20

  40

  60 80 100 Figura 4.3: Solu¸c˜ ao do problema Phillips.

  A Figura 4.4 mostra as solu¸c˜ oes usando os m´etodos RLS e RTLS para dados com 5% de ru´ıdo. Neste caso a solu¸c˜ao RTLS ´e atingida em k = 5 e tem um erro relativo 0.0917 (aprox. 9%). A solu¸c˜ao RLS produz um erro relativo 0.0656 (aprox. 7%). As imagens mostram algumas diferen¸cas das solu¸c˜oes.

  

x : RLS x : RTLS

λ δ

  0.6

  0.6 Sol. Exata Sol. Exata

0.5 Sol. Reg

  0.5 Sol. Reg

  0.4

  0.4

  0.3

  0.3

  0.2

  0.2

  0.1

  0.1 −0.1 −0.1 50 100 150 200 50 100 150 200

  Figura 4.4: Solu¸c˜ oes RLS e RTLS para o problema phillips com 5% de ru´ıdo.

  A Tabela 4.2 mostra para diferentes n´ıveis de ru´ıdo o erro relativo, o valor do parˆ ametro λ, o n´ umero de itera¸c˜ oes e a qualidade das solu¸c˜oes x e x .

  λ δ

  M´etodo RLS M´etodo RTLS / /

  ex λ 2 ex 2 ex δ 2 ex

  2

  kx − x k kx k kx − x k kx k σ = 0.1% σ = 1% σ = 5% σ = 0.1% σ = 1% σ = 5%

  λ= 0.240 λ = 2.494 λ = 12.85 k = 2 k =2 k = 5

  m m m

  0.0107 0.0195 0.0656 0.0110 0.0546 0.0917 Tabela 4.2: Resultados da solu¸c˜ ao x e x para trˆes n´ıveis de ru´ıdo.

  λ δ

  Podemos observar para este caso que o m´etodo RLS aproxima um pouco melhor a solu¸c˜ ao do que o m´etodo RTLS para os diferentes n´ıveis de ru´ıdo. Tamb´em vemos que o m´etodo RTLS converge em poucos passos e a qualidade da solu¸c˜ ao ´e bastante boa.

  Shaw Este problema prov´em da discretiza¸c˜ ao da equa¸c˜ ao integral de Fredholm de primeira esp´ecie (1.1.1) com o intervalo de integra¸c˜ ao [

  −π/2, π/2]. A equa¸c˜ao integral ´e um modelo undimensional de um problema de reconstru¸c˜ao de imagens. O n´ ucleo K e a fun¸c˜ao f s˜ao dados por

  2

  sin(u)

  

2

K(s, t) = (cos(s) + cos(t))

  u u = π(sin(s) + sin(t))

  2

  2 f (t) = a exp( (t ) ) + a exp( (t ) ).

  1

  1

  

1

  2

  2

  2

  −c − t −c − t Os parˆametros a , a , etc. s˜ ao constantes que determinan a forma da

  1

  2

  solu¸c˜ao f , para este problema vamos usar a = 2, a = 1, c = 6, c =

  1

  2

  1

  2

  2, t = 0.8, t =

  1

  2

  −0.5. A Figura 4.5 mostra a solu¸c˜ao exata deste problema 2.5 2 0.5

  1.5 1 50 100 150 200 Figura 4.5: Solu¸c˜ ao do problema shaw.

  A Figura 4.6 mostra as solu¸c˜ oes usando os m´etodos RLS e RTLS para dados com 0.1% de ru´ıdo. Neste caso a solu¸c˜ ao RTLS ´e atingida em k = 500 e tem um erro relativo 0.1240 (aprox. 13%). A solu¸c˜ ao RLS produz um erro relativo 0.0427 (aprox. 5%). As imagens mostram algumas diferen¸cas entre as solu¸c˜ oes.

  

x : RLS x : RTLS

λ δ

  2.5

  2.5 Sol. Exata Sol. Exata

2 Sol. Reg Sol. Reg

  2

  1.5

  1.5

  1

  1

  0.5

  0.5 −0.5 100 200 100 200

  Figura 4.6: Solu¸c˜oes RLS e RTLS para o problema shaw com 0.1% de ru´ıdo.

  Os resultados num´ericos para os trˆes n´ıveis de ru´ıdo s˜ao apresenta- dos na Tabela 4.3. Como podemos ver, para este problema os m´etodos RLS e RTLS produzem boas solu¸c˜oes quando o n´ıvel de ru´ıdo ´e 0.1%,

  M´etodo LS M´etodo RTLS / /

  ex λ 2 ex 2 ex δ 2 ex

  2

  kx − x k kx k kx − x k kx k σ = 0.1% σ = 1% σ = 5% σ = 0.1% σ = 1% σ = 5%

  λ = 0.1366 λ = 7.415 λ = 26.221 k m = 500 k m = 2 k m =2 0.0427 0.5480 0.5226 0.1240 0.2692 22.1887 Tabela 4.3: Erro relativo da solu¸c˜ ao RTLS para o problema shaw. mas a qualidade deteriora significativamente quando o n´ıvel de ru´ıdo aumenta.

  Com o intuito de melhorar a qualidade, o problema tamb´em foi re-

  −5 solvido mudando a tolerˆ ancia do crit´erio de parada (4.1.9) para 10 .

  Feito isso foi verificado que a solu¸c˜ ao melhora mas n˜ao muito significati- mente. Isto indica que o problema shaw ´e muito sens´ıvel a perturba¸c˜oes nos dados.

  

4.2 M´ etodo de Truncamento para o Pro-

blema TLS

  Na se¸c˜ ao anterior vimos que o m´etodo iterativo nem sempre consegue calcular uma solu¸c˜ ao apropriada para o problema RTLS. Nesta se¸c˜ao vamos propor um m´etodo alternativo para construir solu¸c˜oes regulari- zadas TLS baseado num crit´erio de escolha do ´ındice de truncamento para o m´etodo TLS truncado.

4.2.1 O Crit´ erio do Produto M´ınimo

  Iniciamos com uma descri¸c˜ ao breve do crit´erio do Produto M´ınimo para o m´etodo TSVD usado como m´etodo de regulariza¸c˜ao para pro- blemas LS (1.1.2) onde apenas o vetor b sofre perturba¸c˜oes. Baseado na hip´otese do lado direito exato b satisfazer a condi¸c˜ao discreta de

  

ex

  Picard (CDP) [23] e o vetor de ru´ıdos ter entradas aleat´ orias, com dis- tribui¸c˜ ao normal e m´edia zero, pode ser mostrado [7] que o erro na k-´esima solu¸c˜ ao TSVD ´e

  † †

  b e (k) + E + (k), (4.2.1)

  ex k 2 ex ex

  2

  2

  1

  2

  kx − x k ≤ kx − A k k kA k k ≡ E em que v v u u n k

  T

2 T

  X e u ex |u j | |u j | t t

  2 X b u

  E (k) = , E (k) = . (4.2.2)

  1

  2

  2

  2

  σ σ

  j j j=k+1 j=1 O primeiro termo denota o erro devido ` a regulariza¸c˜ao, este diminui com k e pode se tornar pequeno para k grande. O segundo termo, refe- rido como erro de perturba¸c˜ ao, mede a intensidade do erro e aumenta com k, sendo extremamente grande quando valores singulares pequenos entram no somat´orio. A escolha do parˆ ametro de regulariza¸c˜ao requer, ent˜ ao, que haja um balan¸co entre os dois termos de modo a minimizar a estimativa do erro na solu¸c˜ ao. Uma an´ alise detalhada desenvolvida em

  ∗

  [7] sugere que a estimativa do erro deve ser minimizada em k = k onde

  ∗ T

  k indica a transi¸c˜ ao dos coeficientes de Fourier b |u i | determinada pela

  ∗

  condi¸c˜ ao discreta de Picard: para i < k esses coeficientes aproximam

  T

  b

  ex

  |u i | (e portanto decaem como os valores singulares), enquanto para

  ∗ T T

  i b e

  ex

  ≥ k |u i | ficam quase constantes e muito pr´oximos de |u i |. A consequˆencia mais importante dessa an´ alise ´e que a estimativa do erro

  ∗

  ´e m´ınima quando k = k . Ou seja, o menor erro associado ao m´etodo

  ∗ TSVD deve ocorrer quando truncamos a k termos.

  No entanto, na pr´ atica n˜ ao temos o vetor e e a estimativa (4.2.1) n˜ao

  ∗

  pode ser minimizada para encontrar k , ent˜ ao o que podemos fazer ´e minimizar alguma fun¸c˜ ao que tenha comportamento semelhante. Para tanto, notamos que da SVD de A temos

  k n T

2 X

  X b |u j |

  2

  2

  2 T

  2

  2 k = , k = k = b + δ , (4.2.3)

  kx k

  2 kr k

2 kb − Ax k

2 |u j |

  2

  σ

  j j=1 j=k+1

  em que δ denota a norma da componente de b que n˜ao pertence ao espa¸co coluna de A. Agora para k = . Como

  k k 2 k

  2

  ≥ 1, seja Ψ kx k kr k ´e crescente e ´e decrescente [18], minimizar log(Ψ ) ´e equi-

  k 2 k 2 k

  kx k kr k valente a minimizar a soma de dois termos, um crescente e outro de- crescente. Ent˜ ao, em princ´ıpio, deve existir um inteiro k no qual Ψ

  k

  ´e minimizada. Portanto, o crit´erio do produto m´ınimo para o m´etodo TSVD seleciona o parˆ ametro b k tal que [7] bk = argmin Ψ

  

k , Ψ k = k

2 k 2 . (4.2.4)

  kx k kb − Ax k A motiva¸c˜ao deste crit´erio vem da observa¸c˜ ao de que para k pequeno temos pequeno e grande e, portanto, Ψ n˜ao ´e minimi-

  k 2 k 2 k

  kx k kb−Ax k zada. Por outro lado, para k grande temos grande e

  k 2 k

  2

  kx k kb − Ax k pequeno e, mais uma vez, Ψ n˜ ao ´e minimizada. Isto sugere que o

  k

  minimizador de Ψ corresponde a um bom balan¸co entre o tamanho

  k

  de ambas as normas. Uma an´alise desenvolvida em [7] mostra que um bom parˆametro de regulariza¸c˜ao para a TSVD ´e o minimizador de Ψ

  k (veja a Figura 4.7).

  2

10 E (k)+E (k) ER

  1

2 k k

Ψ

  10

  10 1

  10

  5

  10

  15

  5

  10

  15

  5

  10

  15 Figura 4.7: Estimativa (4.2.2), fun¸c˜ ao Ψ e erros relativos em x para k k

  o problema gravity com n = 32 e NR = 0,02. Erro relativo m´ınimo

  ∗ atingido em k = 7 = argmin Ψ e . k 7 ex ex

  2

  kx − x k = 0,0778kx k Aplica¸ c˜ ao do Crit´ erio do Produto M´ınimo ao Problema TLS Pelos resultados da se¸c˜ ao 4.3 temos que o Res´ıduo ´e uma fun¸c˜ao

  k F

  kR k decrescente e a norma das itera¸c˜ oes ´e uma fun¸c˜ao crescente.

  k

  2

  kx k Assim podemos usar o crit´erio do produto m´ınimo para determinar um

  ´ındice de truncamento adequado para o m´etodo TLS, chamado M´etodo TLS Truncado (T-TLS). Ou seja, tomamos como ´ındice de truncamento o primeiro inteiro k tal que

  t

  k = argmin Ψ , Ψ = . (4.2.5)

  t k k k 2 k F

  kx k kR k Ou seja k ´e o primeiro ´ındice no qual Ψ atinge um m´ınimo local. Al´em

  t k

  disso, para certos problemas onde Ψ tem o primeiro m´ınimo local numa

  

k

  regi˜ao quase plana, usamos como crit´erio de escolha o primeiro ´ındice tal que Ψ

  k+1 k

  − Ψ < ε (4.2.6)

  Ψ

  1 onde ε ´e um n´ umero positivo suficientemente pequeno.

4.2.2 Experimentos Num´ ericos

  Como na se¸c˜ ao anterior, trabalharemos com um sistema Ax ≈ b onde

  400×200 400

  A , b , usando os mesmos n´ıveis de ru´ıdo nos dados ∈ R ∈ R e os mesmos problemas j´ a analisados anteriormente. O parˆametro que minimiza a sequˆencia do erro relativo associado das iteradas ser´a cha- mado de parˆametro ´otimo e denotado por k . Ele depende da solu¸c˜ao

  o

  exata x e na pr´atica ´e desconhecido. Denotamos por x = x t a

  ex T T LS k solu¸c˜ao atingida no passo k . t Heat Para este problema fazemos a compara¸c˜ ao da qualidade das solu¸c˜oes do m´etodo RTLS e o m´etodo T-TLS para dados com ru´ıdo de 0.1% junto os parˆametros ´ otimo k o e k t respectivamente.

  A Figura 4.8 mostra que os parˆ ametros k e k tˆem valores pr´oximos,

  o t

  tamb´em que o m´etodo T-TLS atinge a solu¸c˜ ao em k = 34 com um erro relativo de 0.0395 (aprox. 4%).

  Parâmetro Ótimo: ko = 29

  10

  10

  1.5 Erro (RTLS) Erro (T−TLS) Sol. Ex.

  Sol. T−TLS

  1 −1 −1 Sol. Otima

  10 −2 −2

  10

  0.5

  10 10 −0.5 200 400

  20

  40 60 100 200 k k 10 Parâmetro de truncamento: kt = 34 = ||x |||R || 10 −1 Ψ k k k 10 −2 10 20 30 40 50

k

  Figura 4.8: Linha superior: Erros relativos RLS e T-TLS para o pro- blema heat usando dados com ru´ıdo de 0.1% e solu¸c˜ao x . Linha

  T T LS inferior: Fun¸c˜ ao Ψ . k

  Note que neste problema o ´ındice k ´e escolhido segundo o crit´erio

  t

  (4.2.6). A Tabela 4.4 mostra que para diferentes n´ıveis de ru´ıdo as solu¸c˜oes x e x n˜ao diferem muito, mas podemos observar que

  T T LS δ

  o m´etodo T-TLS n˜ao consegue uma boa aproxima¸c˜ao na presen¸ca de ru´ıdo σ = 5% nos dados.

  M´etodo T-TLS M´etodo RTLS / /

  ex T T LS 2 ex 2 ex δ 2 ex

  2

  kx − x k kx k kx − x k kx k σ = 0.1% σ = 1% σ = 5% σ = 0.1% σ = 1% σ = 5% k t =34 k t =23 k t =5 k m =344 k m =116 k m = 42

  0.0395 0.1666 0.6345 0.0642 0.1303 0.6150 Tabela 4.4: Erro relativo da solu¸c˜ ao T-TLS e RTLS com diferentes n´ıveis de ru´ıdo para o problema heat.

  Phillips Mostramos a compara¸c˜ ao do erro do problema RTLS com o problema T-TLS para o ru´ıdo σ = 0.05 junto parˆ ametro de truncamento k .

  t Parâmetro de truncamento: kt = 8 1.5

  0.6 Exact Sol. 10 = ||x |||R ||

  Ψ k k k Approx Sol.

  Optimal Sol. 1.3

  0.4

  10 1.1

  0.2

  10 −0.2

  10

  20

  30

  40

  50 50 100 150 200 k Figura 4.9: Fun¸c˜ ao ψ k e solu¸c˜ ao T-TLS para o problema phillips.

  Na imagem esquerda da Figura 4.9 mostra que a fun¸c˜ao ψ alcan¸ca

  k

  o valor m´ınimo em k = 8, tamb´em vemos que a solu¸c˜ao x ´e

  t T T LS

  uma boa aproxima¸c˜ ao da solu¸c˜ ao x , por´em a solu¸c˜ao x perde

  ex T T LS

  suavidade pois este m´etodo n˜ ao considera a restri¸c˜ao

  2 kLxk ≤ δ.

  A Tabela 4.5 mostra o valor do erro relativo no parˆametro k e

  t

  k m das solu¸c˜oes x T T LS e x δ respectivamente, para diferentes n´ıveis de ru´ıdo.

  M´etodo T-TLS M´etodo RTLS / /

  ex T T LS 2 ex 2 ex δ 2 ex

  2

  kx − x k kx k kx − x k kx k σ = 0.1% σ = 1% σ = 5% σ = 0.1% σ = 1% σ = 5% k = 15 k = 11 k = 8 k = 2 k =2 k = 5

  

t t t m m m

  0.0119 0.0868 0.0477 0.0110 0.0546 0.0917 Tabela 4.5: Erro relativo dos m´etodos T-TLS e RTLS para o problema phillips . Esta Tabela mostra que as solu¸c˜ oes usando os m´etodos T-TLS e RTLS s˜ao parecidas e fornecem uma boa aproxima¸c˜ao da solu¸c˜ao exata.

  Shaw Mostramos a compara¸c˜ ao do erro do problema RTLS com o problema T-TLS para o ru´ıdo σ = 0.001 junto com o parˆ ametro ´otimo k o . 1 Parâmetro Ótimo: ko = 7

  10

  3 −0.7 Erro (RTLS) Erro (T−TLS) Sol. Ex.

  10 Sol. T−TLS

  2

  10 Sol. Otima −0.8

  1

  10 −1 −0.9

  10 −2

  10 10 −1 200 400 600

  20

  40 60 100 200 k k

  Figura 4.10: Erros relativos dos m´etodos T-TLS e ETLS aplicado ao problema shaw com 0.1% de ru´ıdo.

  A Tabela 4.6 mostra o valor do erro relativo no parˆametro k para

  t diferentes n´ıveis de ru´ıdo.

  M´etodo T-TLS M´etodo RTLS / /

  ex T T LS 2 ex 2 ex δ 2 ex

  2

  kx − x k kx k kx − x k kx k σ = 0.1% σ = 1% σ = 5% σ = 0.1% σ = 1% σ = 5% k = 7 k = 5 k = 4 k = 500 k = 2 k =2

  

t t t m m m

  0.0485 0.1657 0.1729 0.1240 0.2692 22.1887 Tabela 4.6: Erro relativo da solu¸c˜ ao T-TLS para o problema shaw.

  Da Tabela 4.6 vemos que o erro relativo calculado pelo m´etodo T- TLS ´e melhor melhor do que o m´etodo RTLS, por´em para este m´etodo a solu¸c˜ao x n˜ao possui suavidade quando o ru´ıdo σ = 0.05 como

  T T LS mostra a Figura 4.11.

2.5 Exact Sol.

  50 100 150 200

  0.5

  1

  1.5

  2

  Approx Sol. Optimal Sol.

  Figura 4.11: T-TLS aplicado ao problema Shaw com 5% de ru´ıdo. Cap´ıtulo 5 Conclus˜ oes

  O objetivo principal deste trabalho foi o estudo de m´etodos de regu- lariza¸c˜ ao para o m´etodo TLS, devido a necessidade de resolver proble- mas mal condicionados onde a matriz e o vetor de dados sofrem per- turba¸c˜oes. Para tanto, baseado na potencialidade te´orica da SVD e do conceito de proje¸c˜oes ortogonais, estudamos a t´ecnica TLS e sua rela¸c˜ao com a t´ecnica LS, incluindo estimativas em rela¸c˜ ao a solu¸c˜ao exata do problema linear e vimos que a t´ecnica TLS fornece boas estimativas de solu¸c˜ ao como a t´ecnica LS. Os resultados te´ oricos da compara¸c˜ ao foram verificados no modelo de ressonˆ ancia magn´etica onde comprovamos a eficiˆencia do m´etodo TLS.

  O estudo do m´etodo de Tikhonov TLS regularizado (RTLS) nos levou a um problema de autovalores x x

  B(λ ) = λ ,

  L

  −1 −1 onde B, λ e λ dependem do vetor x. Este sistema de equa¸c˜ oes ´e dif´ıcil

  L

  de se resolver analiticamente, assim, a alternativa foi usar um m´etodo O m´etodo RTLSEVP tem aspectos te´ oricos e computacionais que s˜ao simples de se processar, mas ele depende do conhecimento de boas estimativas do n´ umero δ = que na pr´ atica n˜ ao ´e conhecido.

  ex

  

2

  kLx k Da´ı, a solu¸c˜ ao pode n˜ ao ser satisfat´ oria se δ n˜ ao ´e estimado corre- tamente ou o processo iterativo pode ser muito demorado e portanto pouco atrativo. O m´etodo alternativo baseado nos autovalores quadr´aticos requer o uso da teoria de autovalores generalizados e outros m´etodos computacionais que n˜ao foram estudados por falta de tempo. Esta op¸c˜ao pode ser objeto de estudo num trabalho posterior. Por outro lado, temos visto que o m´etodo iterativo nem sempre consegue alcan¸car uma solu¸c˜ao razo´ avel quando δ n˜ ao ´e estimado corretamente.

  Nestre trabalho apresentamos o uso do m´etodo TLS como alter- nativa de regulariza¸c˜ ao, incluindo um crit´erio de escolha do ´ındice de truncamento. A escolha do ´ındice de truncamento foi baseada num tra- balho recente da literatura [7] e motivada pelo fato de que as sequˆencias

  k 2 e k F se comportam de maneira an´aloga as normas da solu¸c˜ao

  kx k kR k e do res´ıduo no m´etodo SVD truncado. Como vimos este m´etodo re- quer poucas itera¸c˜ oes e consegue solu¸c˜ oes com qualidade semelhante aquelas obtidas pela t´ecnica RTLS, mas sem a informa¸c˜ao a priori do n´ umero δ. Apˆ endice A Problema de Minimiza¸c˜ ao com Restri¸c˜ oes de Igualdade e Desigualdade

  Agora vamos desenvolver a teoria necess´ aria para problemas de mini- miza¸c˜ao com restri¸c˜ oes. De modo geral estudaremos o problema min f (x) (A.0.1)

  h(x)=0 g(x)≤0 n n l n m

  com h = (h , . . . , h onde f : R

  1 l ) e g : R

  → R, h : R → R → R com g = (g , . . . , g ).

  1 m

  Observa¸ c˜ ao: Dizemos que g(x) i (x) ≤ 0 se g ≤ 0, ∀i = 1, . . . , m.

  n Defini¸ c˜ ao A.0.1.

  Seja ¯ x ; h(x) = 0 e g(x)

  ∈ D = {x ∈ R ≤ 0},

  definimos o conjunto de restri¸c˜ oes ativas em ¯ x como

  I(¯ x) = (¯ x) = 0

  i

  {i ∈ {1, . . . , m}; g } Defini¸ c˜ ao A.0.2. Suponha que g e h s˜ ao diferenci´ aveis em ¯ x

  ∈ D

  n ′ ′

  H(¯ x) = ; d (x)) e (¯ x), d {d ∈ R ∈ N (h hg i i ≤ 0, ∀i ∈ I(¯x)}

  A.0.3 Condi¸c˜ oes de Regularidade/Qualifica¸c˜ ao

  Vamos estabelecer as condi¸c˜ oes necess´ arias para nosso Teorema princi- pal nesta se¸c˜ao (1) Dizemos que as fun¸c˜ oes h e g s˜ ao afins, se

  n×l l h(x) = Ax e a .

  − a, com A ∈ R ∈ R

  n×m m g(x) = Bx e b .

  − b, com B ∈ R ∈ R (2) Condi¸c˜ ao de Mangasarian-Fromovitz (MFCQ)

  ′ (i) h (¯ x) ´e uma fun¸c˜ ao sobrejetora.

  

′ ′

  (ii) Existe ¯ d (¯ x)) tal que (¯ x), ¯ d ∈ N (h hg i i < 0, ∀i ∈ I(¯x). (3) Condi¸c˜ ao de Slater (i) A fun¸c˜ ao h ´e afim.

  n

  (ii) A fun¸c˜ ao g ´e convexa e existe um vetor ˜ x tal que ∈ R h(˜ x) = 0 e g (˜ x) < 0,

  i ∀i ∈ {1, . . . , m}. n

  Observa¸ c˜ ao: A func˜ ao f : R → R ´e convexa se

  n

  f ((1 , − λ)x + λy) ≤ (1 − λ)f(x) + λf(y), ∀x, y ∈ R ∀λ ∈ [0, 1].

  Teorema A.0.1.

  (Karush-Kuhn-Tucker) Considere el problema A.0.1

n n m

onde as fun¸c˜ diferenci´ aveis em ¯ x e

oes f : R

  → R e g : R → R

  n l continuamente diferenci´ avel em ¯ x. Suponha que

  h : R → R

  n

  D = ; h(x) = 0 e g(x) {x ∈ R ≤ 0}.

  

Se g e h satisfazem qualquer um das condi¸c˜ oes de regularidade como

visto acima (linearidade das restri¸c˜ oes, MFCQ ou Slater) ent˜ ao existem

l m constantes ¯ λ = (¯ λ , . . . , ¯ λ ) e ¯ µ = (¯ µ , . . . , ¯ µ ) tais que:

  1 l 1 m

  ∈ R ∈ R

  l m

  X X ¯ f (¯ x) + λ h (¯ x) + µ ¯ g (¯ x) = 0. (A.0.2)

  i i i i i=1 i=1

  h (¯ x) = 0, i = 1, . . . , l. (A.0.3)

  i

  g (¯ x) (A.0.4)

  i ≤ 0, i = 1, . . . , m.

  µ ¯ (A.0.5)

  i

  ≥ 0, i = 1, . . . , m µ ¯ .g (¯ x) = 0, i = 1, . . . , m. (A.0.6)

  i i

  Este resultado permite definir Defini¸ c˜ ao A.0.3.

  A fun¸c˜ ao definida por

n l m

  L : R × R × R −→ R L(x, λ, µ) = f(x) + hλ, h(x)i + hµ, g(x)i

  

´e chamada a fun¸c˜ ao Lagrangeano, e λ e µ que satisfazem os resultados

do Teorema A.0.1, s˜ ao chamados os multiplicadores de Lagrange.

  Observa¸ c˜ ao: Note que

  

′ ′ ′ T ′ T

  (x, λ, µ) = f (x) + h (x) λ + g (x) µ L x e a primeira condi¸c˜ ao do Teorema A.0.1 (KKT) diz que

  ′

  (x, λ, µ) = 0 L x

  

A.1 M´ınimos Quadrados com Restri¸c˜ ao de

Igualdade

  Nesta se¸c˜ao vamos estudar o problema

  2

  2

  2

  min s.a = δ (A.1.1) n kAx − bk

  2 kLxk

  2 x∈R

  para obter algumas propriedades dos valores λ e λ na seguinte se¸c˜ao.

  I L

  Vamos mencionar algumas condi¸c˜ oes que garantem a existˆencia da solu¸c˜ ao da equa¸c˜ ao (A.1.1) e desenvolver un pouco de teoria sobre este problema. Estes resultados foram desenvolvidos em [10].

  n (1) O conjunto F = ; = δ .

  2 x

  2

  {x ∈ R kLxk } ´e n˜ao vazio e δ > min kLxk Se δ ´e muito pequeno a solu¸c˜ ao pode n˜ ao existir. A (2) Posto = n. L

  Se n˜ ao assumirmos a condi¸c˜ ao sobre o posto, caso existe uma solu¸c˜ ao, ela poderia n˜ ao ser ´ unica, pois podemos adicionar os elementos da interse¸c˜ ao dos espa¸cos nulos de A e L.

  

A.1.1 A Fun¸c˜ ao de Lagrange e as Equa¸c˜ oes Normais

  As hip´oteses acima garantem que a solu¸c˜ao do (3.2.5) ´e um ponto es- tacion´ario da fun¸c˜ao de Lagrange com multiplicador λ.

  

2

  2

  2 + λ( ).

  L(x, λ) = kAx − bk

  2 kLxk 2 − δ Usando as propriedades de L temos as equa¸c˜oes normais.

  

T T T

  (A A + λL L)x = A b (A.1.2)

  2

  2

  = δ (A.1.3) kLxk

  2 Note que na primeira condi¸c˜ ao excluimos o caso que a solu¸c˜ao minimiza 2 , pois s´ o ´e poss´ıvel se δ = min x 2 . Note que a equa¸c˜ao

  kLxk kLxk (A.1.2) pode ser escrita como

  2

  2 x = x (A.1.4)

  ∇ kAx − bk

  2 −λ∇ kLxk

  2

  a qual ´e uma condi¸c˜ ao necess´ aria para a solu¸c˜ao de (3.2.5). As equa¸c˜oes normais podem ter muitas solu¸c˜ oes, uma delas ´e a solu¸c˜ao de (3.2.5). A primeira quest˜ ao ´e decidir qual das solu¸c˜oes das equa¸c˜oes normais resolve o problema.

  O seguinte Teorema compara duas solu¸c˜oes das equa¸c˜oes normais, e serve para esclarecer sobre a escolha da solu¸c˜ao que minimiza

  2

  kAx−bk Teorema A.1.1. Se (x , λ ),e (x , λ ) s˜ ao solu¸c˜ oes das equa¸c˜ oes nor-

  1

  1

  

2

  2 mais (A.1.2) e (A.1.3), ent˜ ao

  λ

  

1

  2

  2

2 − λ

  2

  = ) . (A.1.5)

  2

  1

  1

  2

  kAx − bk

  2 − kAx − bk 2 kL(x − x k

  2

  2 Demonstra¸c˜ ao. Ver [10]. Pelo Teorema temos que > , se λ > λ .

  2

  2

  1

  2

  1

  2

  kAx − bk kAx − bk Se podemos provar que o lado direito da equa¸c˜ao (A.1.5) n˜ao ´e zero, ent˜ao a solu¸c˜ ao do problema original ´e solu¸c˜ao das equa¸c˜oes normais com o maior λ. O seguinte Teorema ´e um resultado similar ao Teorema anterior.

  Teorema A.1.2.

  Se (x , λ ) e (x , λ ) s˜ ao solu¸c˜ oes das equa¸c˜ oes nor-

  1

  1

  

2

  2 mais, ent˜ ao

  2

  

2

  2

  (λ

  1 + λ 2 )

  2

  1

  2 1 )

  1 2 ) . (A.1.6)

  {kAx −bk

  2 −kAx −bk 2 } = (λ −λ kA(x −x k

  2 Demonstra¸c˜ ao. Ver [10].

  Analisaremos o que acontece quando o lado direito da equa¸c˜ao (A.1.5) ´e zero. Sejam (x

  1 , λ 1 ) 2 , λ 2 ) duas solu¸c˜oes das equa¸c˜oes

  6= (x normais e assuma que λ

  1

  2

  − λ

  2

  ) = 0. (A.1.7)

  

1

  2

  kL(x − x k

  2

  2 Isto ´e possivel se

  (i) λ = λ := λ mas x . Como x e x s˜ ao solu¸c˜oes de (A.1.2)

  1

  2

  1

  2

  1

  2

  6= x temos

  T T T

  (A A + λL L)x

  1 = A b T T T

  (A A + λL L)x = A b.

  2 Substraindo a segunda equa¸c˜ ao da primeira temos T T

  (A A + λL L)(x

  1 2 ) = 0. (A.1.8)

  − x Equa¸c˜ ao (A.1.8) mostra que neste caso λ =

  −µ, onde µ ´e um autovalor do problema de autovalor geralizado

  T T

  A Ax = µL Lx (A.1.9) e x

  1 = x 2 + v µ onde v µ ´e um autovetor associado a µ. Portanto

  se λ

  1 = λ 2 = 1 e x 2 tˆem o mesmo valor

  −µ ent˜ao as solu¸c˜oes x 2 . kAx − bk

  (ii) Se

  2

  λ

  1 2 mais

  1 2 ) = 0. (A.1.10)

  6= λ kL(x − x k

  2

  2

  2 Pelo Teorema A.1.1, temos que = 0.

  2

  1

  kAx − bk

  2 − kAx − bk

  2 Logo do Teorema A.1.2

  2

  ) = 0. (A.1.11)

  2

  1

  kA(x − x k

  2 Por´em (A.1.10) e (A.1.11) ´e equivalente ` a

  A (x ) = 0. (A.1.12)

  

2

  1

  − x L

  ′

  Pela segunda hip´ otese temos que x = x = x . Usando a equa¸c˜ ao

  1

  2

  (A.1.4) neste caso temos

  ′ 2 ′

  2 x = x = 0

  ∇ kAx − bk ∇ kLx k

  

2

  2

  e portanto

  ′ δ = = min .

  

2

  2

  kLx k kLxk

  x Isto contradiz a primeira hip´ otese. Assim este caso n˜ ao ´e possivel.

  Consequentemente temos: Lema A.1.1. Com as hip´ oteses (1) e (2) sejam (x , λ ) e (x , λ )

  1

  1

  2

  2 solu¸c˜ oes das equa¸c˜ oes normais. Se λ ent˜ ao

  1

  2

  6= λ Lx e Ax .

  1

  2

  1

  2

  6= Lx 6= Ax A.1.2 Caracteriza¸c˜ ao da Solu¸c˜ ao

  Usando as equa¸c˜ oes (A.1.5) e (A.1.6) obtemos Corol´ ario A.1.1.

  Sejam (x , λ ) e (x , λ ) solu¸c˜ oes das equa¸c˜ oes nor-

  1

  1

  2

  2 mais junto com as hip´ oteses (1) e (2). Ent˜ ao

  λ

  1 + λ

  2

  2

  2

  ) = ) . (A.1.13)

  1

  2

  1

  2

  − kL(x − x k

  2 kA(x − x k

  2

  2 A equa¸c˜ ao (A.1.13) tem uma importante consequˆencia: Para qual- quer par de solu¸c˜ oes (x , λ ), (x , λ ) com λ segue que λ + λ <

  1

  1

  2

  

2

  1

  2

  1

  2

  6= λ

  0. Isto significa que ambos λ s˜ ao negativos ou se, por exemplo, λ < 0

  i

  1

  ent˜ ao λ < < 0. Logo

  2

  1

  −λ Corol´ ario A.1.2.

  As equa¸c˜ oes normais (A.1.2) e (A.1.3) tˆem no

m´ aximo uma solu¸c˜ ao (˜ x, ˜ λ) com ˜ λ > 0. Para qualquer outra solu¸c˜ ao

  (x, λ) temos que λ < −˜λ.

  A.2 Quociente de Rayleigh

  A solu¸c˜ao do problema (3.2.5) resolve o problema

  2

  kAx − bk

  2

  x T LS = argmin φ(x) = argmin , (A.2.1)

  2

  1 +

  x x

  kxk

  2 T onde φ ´e chamado o quociente de Rayleigh da matriz M = [A b] [A b].

  A formula¸c˜ao alternativa para o m´etodo RTLS ´e min φ(x) s.a.

  2 kLxk ≤ δ. x

  Assim temos o funcional Lagrangeano

  2

  2 ).

  L(x, µ) = φ(x) + µ(kLxk

  2 − δ

  Embora φ(x) n˜ ao ´e cˆ oncavo, seus pontos estacion´arios podem ser caracterizados pelo seguinte Teorema. Teorema A.2.1.

  O quociente de Rayleigh de uma matriz sim´etrica A ´e estacion´ ario s´ o nos autovetores da matriz. Demonstra¸c˜ ao. Ver [27].

  Lema A.2.1. Se os extremos dos valores singulares da matriz [A b]

  

s˜ ao simples, ent˜ ao a fun¸c˜ ao φ(x) tem um ´ unico ponto m´ aximo, um

ponto m´ınimo e n

  − 1 pontos de sela.

  Demonstra¸c˜ ao. Ver [31].

  Teorema A.2.2.

  Suponha que [A b] satisfazem as hip´ oteses do Lema

A.2.1, ¯ σ n > ¯ σ n+1 e que a constante δ ´e conhecida. Se a igualdade ´e

ativa, ent˜ ao

  2

  2 RT LS = δ e µ > 0.

  kLx k

  2 Demonstra¸c˜ ao. Ver [31]. Referˆ encias Bibliogr´ aficas

  [1] K. S. Arun, A unitarily constrained total least square problem in signal processing, SIAM J: Matrix Anal. Appl., 13 (1992), pp.

  729-745. [2] A. Beck and A. Ben-Tal. On the solution of the Tikhonov regula- rization of the total least squares problem. SIAM J. Optim., 17,

  98 - 118, 2006. [3] ˚

  A. Bj¨orck, Numerical Methods for Least Squares Problems, SIAM, Philadelphia, 1996. [4] A. Doicu, T. Trautmann, and F. Schreier, “Numerical Regurali- zation for Atmospheric Inverse Problems”, Springer-Verlag Berlin

  Heidelberg, pp. 254-256, 2010. [5] F. S. Baz´ an V., CGLS-GCV: a hybrid algorithm for low-rank- deficient problems, Applied Numerical Mathematics, Vol. 47, pp.

  91-108, 2003. [6] F. S. Baz´ an V., Fixed-point iterations in determining the Tikhonov regularization parameter, Inverse problems, 24, 2008.

  [7] Ferm´ın S. Baz´ an Viloche, Maria C. C. Cunha, and Leonardo S.

  Borges, Extension of GKB-FP algorithm to large-scale general- form Tikhonov regularization, Numerical Linear Algebra with Ap- plications, John Wiley & Sons, Ltd, 2013. [8] Ricardo D. Fierro and R. Bunch, Ortogonal Projection and Total Least Square, Linear Algebra Appl. 2:135-153 (1995).

  [9] C. Eckart and G. Young, The approximation of one matriz by another of lower rank, Psychometrica, John Wiley, New York, 1951. [10] Walter Gander, Least squares with a quadratic constraint, Nume- rische Mathematik, Vol. 36, No. 3.(1980), pp. 291-307.

  [11] G. H. Golub, and C. F. Van Loan, An analysis of the total least square problem, SIAM J. Number. 6, Anal., Vol. 17, pp. 883-893, 1980. [12] G. H. Golub, M. T. Heath and G. Wahba, Generalized cross- validation as a metohd for choosing a godd ridge parameter, Te- chnometrics, 21, pp, 215-223, 1979. [13] G. H. Golub, AND C. F. Van Loan, “Matriz Computations”. 3.ed Maryland: Jhon Hopkins University Press, 1996.

  [14] G. H. Golub, P. C. Hansen, and D. P. O’Leary, Tikhonov Regu- larization and Total Least Squares. SIAM J. Matrix Anal. Appl., 21:185-194, 1999. [15] P. C. Hansen, “Discrete inverse problems: Insight and algorithms”, Philadelphia: SIAM, 2010.

  [16] P. C. Hansen, “Rank-deficient and discrete ill-possed problems”, Philadelphia: SIAM, 1998. [17] P. C. Hansen, “Regularization Tools - A Matlab Package for Analy- sis ans Solution of Discrete Ill-Posed Problems”, Numerical Algo- rithms 6, pp.1-35, 1994. [18] P. C. Hansen, Analysis of discrete ill-possed problems by means of the L-curve, SIAM Review, 34, pp. 561-580, 1992. [19] P. C. Hansen, O’Leary D. P. The use of the L-curve in the regula- rization of discrete ill-posed problems. SIAM Journal on Scientific

  Computing 1993; 14 :1487-1503. [20] Hochstenback ME, Reichel L. An Iterative Method For Tikhonov Regularization With a General Linear Regularization Operator.

  Journal of Integral Equations and Applications 2010; 22:463-480. [21] J. Lampe and H. Voss, On a quadratic eigenproblem occuring in re- gularized total least squares. Comput. Stat. Data Anal., 52/2:1090

  • 1102, 2007.

  [22] J. Lampe and H. Voss, Solving Regularized Total Least Squares Problems Based on Eigenproblems. Technical report, Institute of Numerical Simulation, Hamburg Universuty of Technology, 2008.

  Submitted to Taiwwanese Journal of Mathematics. [23] Kirsch, A.. An Introduction to the Mathematical Theory of Inverse

  Problems, Applied Mathematical Sciences Vol. 120, New York: Springer, 1996. [24] Shuai Lu, Sergei v. Pereversev, Ulrich Tautenhahn, Regularized Total Least Squares: Computational aspects and error bounds.

  Siam J. Matrix Anal. Appl. Vol. 31, No. 3, pp. 918-941. [25] V. A. Morozov, On the solution of functional equations bye the method of regularization, Soviet Math. Dokl, Vol, 7, pp 414-417,

  1996. [26] C.C. Paige and M. A. Saunders, Towards a generalized singular value decomposition, SIAM J. Numer. Anal. 18:398-405 (1981).

  [27] B. N. Parlett, The Symmetric Eigenvalue Problem, Prentice-Hall, Englewood Cliffs, NJ, 1980. [28] D. L. Phillips, A Technique for the Numerical Solution of Certain Integral Equations of the First Kind, J. ACM, Vol. 9, 1962. [29] T. Regi´ nska, A regularization parameter i discrete ill-possed pro- blems, SIAM J. Sci. Comput. Vol. 17, No 3, pp. 740-749, 1996. [30] R. A. Renaut and H. Guo, A regularized total least square al- gorithm, in Total Least Squares and Errors-in-Variables Mode- ling: Analysis, Algorithms and Applications, S. Van Huffel and P. Lemmerling, eds., Kluwer Academic Publishers, Dordrecht, The Netherlands, 2002, pp. 57-66. [31] R. A. Renaut and H. Guo. Efficient algorithms for solution of re- gularized total least squares. SIAM J. Matrix Anal. Appl., 26:457-

  476, 2005. [32] J. D. Riley, Solving systems of linear equations with a positive defi- nite, symmetric, but possibly ill-conditioned matrix, Math. Tables

  Aids Comput., 9 (1955), pp. 96 - 101. [33] D. M. Sima. Regularization Techniques in Model Fitting and Pa- rameter Estimation. PhD tesis, Katholieke Universiteit Leuven,

  Leuven, Belgium, 2006.

  [34] G. W. Stewart and Ji-guang Sun. Matrix Perturbation Theory.

  Academic Press, 1990. [35] R. C. Thompson, Principal submatrices IX: interlacing inequalities for singular values os submatrices, Linear Algebra Appl., 5 (1972), pp.1-12. [36] Tikhonov AN. Solution of incorrectly formulated problems and the regularization method, Soviet Math. Dokl., 4, p. 1035-1038, 1963.

  [37] S. Van Huffel. and J. Vandewalle, “The Total Least Square Pro- blems - Computational Aspects and Analysis”, SIAM, Phila- delphia, PA, 1991. [38] Per ˚ Ake Wedin, Perturbation theory for pseudoinverses, BIT 13:217-232 (1973).

  [39] J. H. Wilkinson, “Convergence of the LR, QR, and Related Algo- rithms,” Comp. J. 8, 77-84, 1965.

Novo documento

Tags