IVERSIDADE FEDERAL DO CEARÁ CENTRO DE CIÊNCIAS CURSO DE MbSTRADO EM MA TEMÁ TICA

Livre

0
0
47
9 months ago
Preview
Full text
(1)IVERSIDADE FEDERAL DO CEARÁ CENTRO DE CIÊNCIAS CURSO DE MbSTRADO EM MA TEMÁ TICA t APLICAÇÃO DA GEOMETRIA DIFERENCIAL zyxwvutsrqponmlkjihgfed À TEORIA DA INFORMAÇÃO POR Marcos Antonio Ferreira de AraújoZYXWVUTSRQPONMLKJIHGFEDCBA ~ iF C / B U / . • C41-m;o T'510 \C)C)~ 04/Oti/199a IIIIII1111111111111 il !llllllllllllllllllllr: Re01f,00 Fortaleza B C f.A ~\pl.i: d i o : ,.:~o da f e'c cnc La.I qe.omer.r r a a t co A.6913 BeM J

(2) APLICAÇÃO DA GEOMETRIA DIFERENCIAL zyxwvutsrqponmlkjihg À TEORIA DA INFORMAÇÃO Marcos Antonio Ferreira de Araújo Aprovada em 29/08/94 BANCA EXAMINADORA (Orientador)vutsrqponmlkjihgfedcbaZYXWVUTSRQPO 7& dr(~~~- Abdênago Alves de Barros r--R-~ Pushpa Narayan Rathie

(3) ~U R ~~l ~ zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA oíJB~l.{lCBA s O lll! J snour SO'B~ ~N asodso equnn 'srad snour y

(4) liA zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCB criação do mundo material deve atribuir-se a inteligência e sabedoria de um ser poderosíssimo, sempre existente e presente em todas as coisas, que domina, consoante a sua vontade, todas as parcelas do Universo muito mais eficazmente do que domina, pela sua nossa vontade, alma os movimentos do corpo unido a ela".vutsrqponmlkjihgfedcbaZYX Sir lsaac Newton

(5) AGRADECIMENTOS Agradecemos a pessoas e instituições que colaboraram para a elaboração deste trabalho: Ao Professsor Franquiberto dos Santos Pessoa, pela orientação segura. Aos Professores Abdênago Barros e Luquésio Petrola de Melo Jorge, pela ajuda nas horas dificeis da Geometria Riemanniana. Ao Professor Pushpa Narayan Rathie, por nos honrar com sua presença na Banca Examinadora. Ao Professor Antônio Gervásio Colares, por haver concretizado a vinda do Professor Pushpa Rathie a Fortaleza.zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA À Coordenação da Pós-Graduação em Matemática, por colocar seu Laboratório de Computação à nossa disposição. Aos colegas no Departamento de Matemática da Universidade Federal do Maranhão, pelo incentivo. Ao CNPq e a FAPEMA, pelo suporte financeiro. Enfim, a todos que de forma direta ou indireta nos ajudaram a realizar este trabalho.

(6) czyxwvut sUMÁRIo APRESENTAÇÃO.......................................................................................... 7 CAPÍTULO I 9 1.1. Conceitos em Geometria Riemanniana 9 1.2. A Geometria dos Modelos Estatísticos 13 1.3. Geodésicas 19 CAPÍTULO 11 :................................................. 22 2.1. A métrica da entropia ó-ordem ...":... :............................................. 22 CAPÍTULO 111 40 3.1. Relação entre a métrica da entropia cj>-ordeme medidas ". d e di vergenclas REFERÊNCIAS BIBLIOGRÁFICAS . 40 . 46

(7) 7 APRESF.\l AÇÃO ZYXWVUTSRQPONMLKJIHGFEDCBA c o trabalho resentada •.íaremática. que hora apresentamos constitui minha monografia de mestrado, como requisito parcial Ele é baseado para 8 obtenção em um trabalho do grau de Mestre devido em avutsrqponmlkjihgfedcbaZYXWVUTSRQPONML Jacob Burbea e C. ...tadhakrishna Rao apresentado na referência [3]. Um dos objetivos do trabalho é a metrização de espaços de probabilidade através da introdução de uma métrica diferencial quadrática no espaço de parâmetros das distribuições de probabilidade. Para esse propósito, um funcional f ntropia é definido sobre o espaço de probabilidade e em seguida seu Hessiano ao longo de uma direção do espaço tangente ao espaço de parâmetros é considerado mo uma métrica no sentido da Geometria Riemanniana. A distância entre duas distribuições de probabilidade é considerada como sendo a distância geodésica entre seus parâmetros induzida pela métrica. É importante a definição de uma tal distância pois ao estimarmos parâmetros de uma distribuição de probabilidade com forma conhecida estamos na verdade determinando uma curva num espaço de funções densidade e a precisão na determinação desta função requer a existência de uma medida num tal espaço. Foi o próprio Rao que em 1945 notou a importância do enfoque GeométricoDiferencial. Ele introduziu a métrica Riemanniana na variedade (diferenciável) de um m odelo estatístico e calculou a distância geodésica entre duas distribuições para vários modelos estatísticos. Essas idéias enorme na principalmente às e estatística. dificuldades matemáticas nessa teoria, ela permaneceu inerte por algum tempo. foram estudadas Mesmo assim, geométrica, devido impacto matemática propriedades entanto, um comunidade Recentemente No causaram da variedade Riemanniana de um modelo estatístico por um grande número de pesquisadores as implicações estatísticas ainda não são conhecidas. de muitos Por exemplo, independentemente. conceitos o conceito nessa teoria (básico em

(8) 8 Geometria Riemanniana) devutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA curvatura de um modelo ainda é desprovido de significado estatístico.ZYXWVUTSRQPONMLKJIHGFEDCBA c N osso trabalho está organizado da seguinte maneira: No primeiro compreensão capítulo, apresentamos conceitos necessãrios para a dos assuntos aqui estudados. Isto é feito na tentativa de tomar o trabalho auto-suficiente. No segundo capítulo, apresentamos o funcional é-entropia e seu hessiano. Em seguida definimos a métrica diferencial da é-entropía obtida a partir do hessiano. O capítulo é finalizado com dois exemplos onde são calculadas a distâncias entre dois elementos nos seus respectivos espaços. Finalmente, no terceiro capítulo é feito um estudo das medidas de divergência J, K e L com o objetivo único de utilizar seus respectivos hessianos para se obter a métrica da ~entropia.

(9) c LO c. • .a.. CONCEITOS EM GEOMETRIA 1.1.1. Introdução. Neste RIEMANNIANA. capítulo, faremos a apresentação de alguns onceitos pertinentes ao domínio das variedades diferenciáveis com o objetivo único e exclusivo de tomar auto-suficiente nosso trabalho. Maiores detalhes sobre esses onceitos poderão ser encontrados em qualquer um dos bons livros existentes sobre o assunto. Além disso, faremos uma apresentação do enfoque dado por estatísticos na obtenção do espaço tangentezyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA à variedade de um modelo estatístico, modelo este que será apresentado logo ap6s a introdução dos conceitos que hora se seguem. 1.1.2. Definlçã .vutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA (Sistem a de Coordenadas Locais) Seja S um espaço topológico. Um sistema de coordenadas locais (ou uma carta local) é um par (U,cj» onde U é um subconjunto aberto de S e cj>:U ~ cj>(U) c R 11 é um homeomorfismo, onde cj>(U) é um subconjunto aberto de RII. Desse (p) = 9 = (9 1 modo, "" ,9 11 ) E um R 11, ponto p E U C S é aplicado onde 9i: U ~ R são funções reais. em um ponto Existem muitos outros sistemas de coordenadas locais que podem ser definidos em U. 1.1.3. Definição. (Atlas) Um atlas de dimensão n sobre um espaço topológico S é uma coleção ~= {(Ua,cj>a)} de sistemas de coordenadas cujos domínios cobrem S. Os domínios U a são chamados vizinhanças coordenadas de ~. 1.1.4. Deflnlçãe. (Variedade Topológica) Uma variedade topo16gica de dimensão n é um espaço topológico onde está definido um atlas de dimensão n. 1.1.5. sistemas Definição. de coordenadas (M udança de Coordenadas) Sejam (U,cj» e (V,ZYXWVUTSRQPONM \jI) dois locais no espaço topo16gico S tais que U n V -.;:0,

(10) , uma correspondência de coordenadas =8euo)=ç.zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA uma l\p),· · · ,8.(p» ~ (~(p), ... = ç= 'V 0 acima c'. k > O, se todas as mudanças de c'. acarreta que, se escrevermos (Ç. (p), ... , Ç,. (p», então o determinante jacobiano de{~) é não nulo para todo ponto de cj>(Un V). 1.1.7. Defmição. (Atlas Adm issivel} Seja ~ um atlas de dimensão n e classe C k num espaço topológico S. Um sistema de coordenadas p:W c S ~ R em S dizD se admissível relativamente ao atlas ~ se, para todo sistema de coordenadas locais (U,
(11) 1 SI se existem sistemas de coordenadas p ezyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA 41:U c SI ~ R m em SI e \11.V c S2 ~ R D 1 em S2 cOIl.J.peU e f(U) c V tais que a aplicaçãoZYXWVUTSRQPONMLKJIHGFEDCBA \ jI O f o4l- :41(u)~ \f{V) c R D é diferenciável em 4>(P). Diz-se, simplesmente, que f é diferenciável se for diferenciável em todos os pontos de S. A aplicação f~ = \ jI O f ovutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA 41-1 é denominada expressão de f nas coordenadas locais 41,\ jI . 1.1.11. Espaço Tangente. Seja F = {f:S ~ RJ coordenadas 9, vemos que feF é uma função f(al" ..,e E C"}. ll ) Usando um sistema de de classe C". Dada uma curva c = 9(t) de classe C" em S e uma função f e F, definimos f o c:[a,b] ~ R pondo (f o eXt) = f(e(t». Desse modo, temos a seguinte derivada d(f o e) dt = .!f(9(t» D = ~ dt ar . dtd9. ooj .=1 Isso nada mais é que a derivada direcional de f ao longo da curva c na direção da tangente de c. O funcional L : F ~ R definido por L(f) = .!(f oe) é linear e satisfaz a dt propriedade L(fg) = [L(f)]g+ r(L(g)] para toda f e g em F. Quando um sistema de coordenadas 9 é dado, podemos considerar n curvas CI' ... 'C Il passando por um ponto PO'Por exemplo, a primeira curva coordenada CI éa curva ao longo da qual somente os valores da primeira coordenada variam enquanto todas as demais permanecem . el(t) fixadas. = (a~+t,e~, ... ,e~), onde aO= (9~,...,e~) Portanto e1 pode ser representada é a coordenada de pO' Então o vetor LI' tangente a c., nada mais é que a derivada parcial em relação a el' d L)(f) =-(foel) dt por d =-f(el(t» dt ar =-. 001

(12) 12 LI por ~ ou, mais simplesmente, por Portanto, podemos denotar o vetor tangentezyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONML 001vutsrqponmlkjihgfedcbaZYXWVUTS ~ l Em geral, como o vetor tangente L, é a derivada parcial ~, OOj usaremos plesmente a notação õ.. Pode-se provar que os vetoresZYXWVUTSRQPONMLKJIHGFEDCBA O j formam uma base para o espaço vetorial formado por todos os funcionais L definidos da maneira anterior. Neste caso, o conjunto {oJ é chamado a base usual associada ao sistema de coordenadas 9. Este espaço vetorial costuma ser denotado por TpS e é denominado espaço tangente a variedade S no ponto p.CBA 1 .1 .1 2 . Definição. Uma métrica Riemanniana em uma variedade S é uma aplicação que .a cada ponto p e S associa um produto interno (,) p definido no espaço tangente TpS. Num sistema de coordenadas S = (Sl"",Sn) em U (um aberto de S), escrevemos gij(q) = \~(q),~(q»), 00. 1 para q EU. 00.J Cada gij(q), i,j = l, ...,n, é uma função em U e a matriz [gij(q)] é simétrica definida positiva. Se ç = (çp ...,çn) é um outro sistema de coordenadas em U, seja - / o o ) gij(q)=\ôÇj (q), ôÇj (q) . Uma mudança de coordenadas nos leva as seguintes relações: g,(q)~ ,f,:: (q) :: (q)g",,(q) e gij(q) = i roj ôÇk (q) ôÇm (q)gkm. k,m=l OOj

(13) Portanto, se as funçõeszyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA gij são de classe C", também o serão as funções Sij' e reciprocamente. Isto é, a propriedade de serem os gij de classe C" não depende do sistema de coordenadas. Quando uma métrica Riemanniana, relativamente a um ponto p, é dada, definimos o comprimento 1/ v 1/, de um vetor v E TpS, pondo IIVI12= (v. v)p. Se {aZYXWVUTSRQPONMLKJIHGFEDCBA é a base canônica de TpS relativamente ao sistema de coordenadas j} 9 = (91)...,9 •.) e v J • oo., Vn são as componentes de v nessa base, então n IlvW = Lgij(p)vjvjo i.j=1 A métrica Riemanniana costuma ser denotada por n ds' = Lgjjd9jd9j o i.j=1 Uma variedade diferenciável munida de uma métrica Riemanniana chama-se uma variedade Riemanniana. Usando partição da unidade verifica-se que é sempre possível colocar uma métrica Riemanniana em qualquer variedade diferenciável, conforme a referência [5]. 1.2. A GEOMETRIA DOS MODELOS ESTATÍSTICOS. 1.2.1. Introdução. Daqui em diante faremos um enfoque do ponto de vista estatístico dos conceitos estudados anteriormente. Particularmente estaremos

(14) 14 de variedade diferenciável Rao em 1945 na referência em um modelo estatístico. Estatístico) Um Modelo Estatístico pode ser caracterizado S = {X, p( x/S)}, onde X é uma variável aleatória X munido de uma medida P, absolutamente 6 EOcR de probabilidade D Estatístico é uma família como definida contínua sendo um conjunto em um espaço mensurável em relação a uma certa medida imersa em RD) e p(x/6) é a função densidade (O uma variedade de x. 1.2.3. Exemplo. O Modelo probabilidade, c vutsrqponmlkjihgf de probabilidade. Um Modelo o-finita, por C.zyxwvutsrqpo R r9].ZYXWVUTSRQPONMLKJIHGFEDCBA 1.2.2. D efm ição.(M odelo de distribuições Isto foi apresentado absolutamente Normal contínuas sobre a reta real R, tendo as seguintes 1 1l(x\6)= é a família relativamente à medida funções densidades r::- exp 21t0' {(x- 1l)2} 2' de de de de Lebesgue de probabilidades -00<\1<00, 20' distribuições 0>0. No modelo normal, J..l é a média e O' é o desvio padrão da variável aleatória X. 1.2.4. Exemplo. O modelo que definiremos modelo multinomial. Este modelo, a seguir costuma ser chamado assim como o modelo de dado em 1.2.3, nos será útil. Seja X uma variável X = {1,... ,n}com distribuição aleatória tomando valor no dada por p(X = k/S) = 6k, onde 6EO={S=(Sp ... ,6 )EI\ D 1=(0,1) e ±6k=1}. k=1 O conjunto espaço S = {X,p(xIS); 6 EO} é um modelo estatístico. amostra!

(15) 1.2.5. ObservaçãofzyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA É importante observar que um Modelo Estatístico constitui uma Variedade Diferenciável. Um sistema de coordenadas (global) é, neste caso, introduzido através da aplicação cI>:S ~ R n defmida por cI>[p( xle)] = e. Uma demonstração deste fato pode ser encontrada em [9]. 1.2.6. Condições de Regularidade. Salvo mencão em contrário, serão condições de regularidade: admitidas as seguintesvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA i) p(xle) têm, todas, o mesmo suporte comum de forma que p(xle) > O para todo x em X, onde X é o suporte; ii) Se C{xIB)= log píxlê), então, para e fixado, as n funções ~f(xIB), ~. ~ 1 i = 1,..., n são linearmente independentes; iii) Os momentos das variáveis aleatórias ~f(xle) existem até a ordem ~i necessária; iv) As derivadas parciaisZYXWVUTSRQPONMLKJIHGFEDCBA f)/~ i e a integração com respeito a medida P podem sempre ser permutadas de forma que ~ J f(xle)dP = J ~f(xle)dP, ~ iX X~i para todas as funções f(xle) usadas neste trabalho. 1.2.7. Observação. Uma vez que cada distribuição de probabilidade p(xle) fica univocamente determinada pelo seu parâmetro e, denotaremos, algumas vezes, o espaço Tp(x~)S simplesmente por TeS. 1.2.8. Observação. Existe outra maneira de construir o espaço tangente da variedade S = {p(xle)} de um modelo estatístico.

(16) 16 Seja e(xIS) = logp(xIS) e consideremos as n derivadas parciais oe(xIS) = 0ie(xIS), i êei Aqui, usamos o fato de que as funções o/(xIS) = 1,2,....n.zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJ são linearmente independentes. Assim, podemos construir o seguinte espaço vetorial n-dimensional ~1) ~ {A(X);A(X) ~ t,AAf(X10)} onde os Ai são as componentes de A(x) com respeito a base oie(xIS). Como X é uma variável aleatória, T~l)é um espaço vetorial de variáveis aleatórias gerado porZYXWVUTSRQ 0 / ( xiS). O espaço T~l)é chamado deCBA l-r e p r e s e n ta ç ã o do espaço TaS. Existe um isomorfismo natural entre TaS e T~l)através da correspondênciavutsrqponmlkjihgfedcbaZYXWVUTSRQPON õ, ETeS~ o/(xIS) ET~I). Seja E(.) a esperança com respeito à distribuição p(xIS), i.e., E[f(x)]= Jf(xIS)p(xIS)dP. l Diferenciando a identidade 1 = J p(xIS)dP com respeito a Si,obtemos l

(17) 17zyxwvutsrqponmlkjih ozyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA =vutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA ai! p(xIS)dP 1 ! = !p(xIS)oJ!(xIS)dP = oiP(xIS)dP 1 1 = E[ZYXWVUTSRQPONMLKJIHGFEDCBA o J !( xiS)]. Portanto, para qualquer variável aleatória A(x) 1 .2 .9 . E x e m p lo . ET~I), tem-se E[A(x)] = O.CBA A média ~ e o desvio padrão cr são freqüentemente usados como o parâmetro S=(SbS2)=(~'cr) para especificar a família S={N(~,(J2)} distribuições normais. Como o > O, o espaço de parâmetros n de é igual ao semi-plano superior. A base canônica { a i} é, nesse caso, a a 01 =-, 02 = õs' o~ o espaço tangente TaS é gerado por esses vetores. Por outro lado, sendo l(xIS) = segue-se que a base { O if( xiS)}, 0 lf = (x - ~)2 -log( .J21tcr) 2cr de T~l), é dada por x- ~ e cr2 a l = 2 (x - ~)2 1 cr3 cr Assim, T~l) consiste de todos os polinômios quadráti~os em x, cuja esperança se anula, ou seja I T~l) = {ax2 + bx + c 1 -------------:

(18) 1zyxwvutsrqponmlk onde c= -E[ax2 +bx] = -a(02 +~2)_b~. 1.2.10. Observação. Um produto interno pode ser definido de modo natural em uma variedade de um modelo estatístico de seguinte modo. Sejam A{x),B{x) ET~l) a l-representação de A,B ETeS. Então um produto interno (A,B) é definido de modo natural pondo-se (A,B) = E[A{x).B(x)]. Portanto, o produto interno de A por B nada mais é que a covariância cov[A(x),B(x)] das E[A(x)] = O. = E[B(x)] variáveis aleatórias A(x) e B(x), posto que Em particular, o produto interno dos dois vetores básicosvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCB ai eaj é dado por gie) As n2 quantidades = (ai,aj) = E[aJ:{xle)al{xle)]. (1.1) gij(e), i,j = 1,2,... ,n, formam um objeto geométrico chamado A matriz "Tensor Fundam ental da M étrica". (gJ é denominada matriz de informação de Fisher. O produto interno de dois vetores A = LAiai e B = LBjaj pode ser expresso como (A,B) = (LAia i, L Bja ZYXWVUTSRQPONMLKJIHGFEDCBA = LAiBj( ai,a = L AiBjgij' j) j) i,j i,j Portanto, o produto interno é obtido a partir do tensor fundamental da métrica. Além disso, A,B ETe são ditos ortogonais quando (A,B) = O.

(19) 1.2.11. Definição. O comprimentozyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCB IAI de um vetor tangente A ETe é definido por L AiAjgij IAI2 = (A,A) = ZYXWVUTSRQPONMLKJIHGFEDCBA i,j Obviamente, isso nada mais é que a variância da l-representação A(x), o seja, IAI2 = EU A(x)}2 ] = var{A(x)). 1.3. GEODÉSICAS 1.3.1. Defmição. Seja c=9(t):[to,td~n uma curva suave ligando os dois pontos p = e(to) e q = 9(t,). A distância s entre 9(to) e 9(t,) é dada por D L ds' =vutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA g ijd9 id9 j i,,F' de sorte que s= 1(1 dsl= Ir[i o i,,F' gij(9) d9i d9 dt dt j ]"2 (1.2) Entre todas as curvas ligando 9(to) e 9(t,), aquela cuja distância entre esses pontos é mínima é chamada uma G eodésica Riem anniana. A distância Riemanniana entre 9( to) e 9( t,), é defmida como sendo a distância entre esses pontos medida ao longo da geodésica Riemanniana que os liga. 1.3.2. O Cálculo Variacional. O cálculo variacional estuda os métodos que permitem achar os valores máximos ou mínimos de funcionais. Os problemas nos quais surge a necessidade de se investigar esses máximos e mínimos denominam-se problem as variacionais.

(20) o o problema de determinar geodésicas pode ser posto, em termos variacionais, da seguinte maneira; "vutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA Determinar a curva y(x), sujeita às condições iniciais y( a) = y 1 e y(b) = y 2' que minimiza o funcional I(y(t» 1[±gij =zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA dYi dyj]~ " i,j=\ tI dt dt dt. Neste contexto, um dos resultados mais importantes é o conhecido teorema de Euler-Lagrange. Este teorema afirma que se a aplicação y(t) minimiza o funcional J(y) = 1 Ffx.y.y'jdx, tI então a seguinte equação deve ser satisfeita d F --F Y dxY' =0 , ou seja F - F y XY' - F YY' Y' - F Y'Y' (1.3) Y" = O. Esta última equação é conhecida como equação de Euler-Lagrange. Os índices em F indicam derivação parcial em relação a variável indicada. A propósito, é sabido, da Geometria Riemanniana, que a geodésica Riemanniana 9(t) = (9 (t), ...,9 I n (t») ligando os pontos 9(to) = p e 9(t = q, l) pertencentes à variedade Riemanniana em questão, é tal que suas funções coordenadas ii r satisfazem às equações diferenciais (de Euler-Lagrange) definidas

(21) 21zyxwvutsrqp n d2e. Lgjk (e)-d i=1 2' t D de. de. + ~)ij,k]-' i.j=1 _J dt dt = O, (k= 1,...,n), (1.4) onde [ij,k] é ovutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA Sím bolo de Christoffel do primeiro tipo e é definido por [ .. k] = ~(agik (e) + 8gjk (e) _ agij(e»), lJ, 2 OOj OOj OOk (i.j.k = 1,...,n). (1.5)

(22) 2zyxwvutsrqpon CAPÍTULon 2.1. A MÉTRICA DA ENTRO PIA G-ORDEM. 2.1.I.Introdução. Neste capítulo, introduziremos o conceito de entropia q.- ordem e, através de seu Hessiano obteremos uma forma quadrática positiva definida que será usada estatísticos. como uma métrica Este é, provavelmente da geometria Riemanniana em modelos o resultado mais interessante neste trabalho. Além disso daremos alguns exemplos no cálculo da distância usando essa métrica. No que se segue, usaremos a seguinte notação: a) J..l é uma medida o-finita definida em uma a-álgebra dos subconjuntos de um espaço mensurável x; b) r; == r;(X;Jl) é o espaço de Lebesgue de funções R, J..l- reais p: mensuráveis tais que II II e c) é um intervalo tal que ... 1111 . .. e é uma função de classe enquanto d) que onde se costuma escrever quando 2.1.2. Definição. Para toda .. , definimos f u n c i o n a l vutsrqponmlkjihgfedcbaZYXWVU (rentropia oZYXWVUTSRQPONMLKJIHGFEDCBA da seguinte maneira (lI. I) A derivada de . . no ponto. . .: . na direção de. . .: é dada por

(23) .•.zyxwvutsrq .) d dHej>(p:f) = dt Hej>(p+tf)lt=o = -vutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA Ix ~'[p(x)]f(x)dJ.l(x), t E R. A derivada segunda de H, em P E Llej> na direção de g dHej>(p:f,g) = - E LI é dada por Ix ~"[p(x)]f(x)g(x)dJ.l(x). Em particular, o Hessiano de H, em p, na direção de f, é dado por ~(Hej>(p) = d2Hej>(p:f,f) = - Ix ~"[p(x)]{f(X)}2dJ.l(x). (11.2) 2.1.3. Observação. Notemos que A{Hej>(p)s O para toda p E I.!ej> e f E I.!, se, e só se, ~ é convexa em Tcj>' 2.1.4. A Métrica. Consideremos, funções densidade de probabilidade agora, urna família parametrizada p = p(xl8) com x EX e e = (8»" de .. ,8.) EO, onde O é urna variedade imersa em R· . Admitiremos que a subfamília de !:Jej>' Fo = {p(.18) E!:Jcj>;8 EO} (considerada apenas como função de 8), seja suficientemente suave nesta variável. Então a diferencial dp será dada por dp = dp(9) = t,[ ZYXWVUTSRQPONMLKJIHGFEDCBA a p i~ t }) 9;, com 9 En e p(·19) EFo· (1I.3) Assim sendo, o Hessiano em (II.2) ao longo de dp é obtido substituindo-se o vetor f pelo vetor dp dado em (II.3). Feito isso, tem-se A._Hcj>(p) = AeHcj>(P) = d2 {Hej>(p)}(8) = - J, ~"(p)[dpfdJ.l(x).

(24) Em particular , adicionando-se T" tem-se a hipótese de .ser ~ estritamente convexa em que = -LleH4>(p) ds~(e)zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONM é uma forma quadrática positiva definida no espaço tangente TeO . Portanto, pode ser vista como uma métrica da Geometria Riemanniana. A forma quadrática acima pode ser reescrita na forma n (11.4) d~(e) = Lg~dekdem, t.m=\ onde g~ = g~(e) =ZYXWVUTSRQPONMLKJIHGFEDCBA f cj)"(p)(oep ) ( o e p)dJl(x). 1 k (11.5) m A métrica em (IT.4) e a matriz [glan] em (11.5) é conhecida comovutsrqponmlkjihgfedcbaZYXWV M étrica f entropia e M atriz fentropia. respectivamente. 2.1.5. Defíalçãe. A distância entre duas funções densidades de probabilidade em Fo é dada pela distância geodésica entre seus parâmetros e e é obtida a partir da métrica em (lI.4). 2.1.6. Observação. No que se segue, serão feitas escolhas especiais para a função cP em questão. Especificamente, para cada a E R, definimos as funções cI>a: R+ ---+ R pondo Xa-X cl>a(X) = 0 .-1 ' { x log x, a:;t: 1 0 .= 1 .

(25) Quando a função ~ em (li. I ) é escolhida como sendo ~ =vutsrqponmlkjihgfedcbaZYXWVUTSR ~o.' costuma-se e~rever H, = H'a e H = HI' Desse modo, para p E P (note que, neste caso T'a = R~ e assim p~.. = p) temos (U - 1)-1[1- Ho.(p) = {- Ix po.dJl(x)], Ix p 10g pdJl( x) , u;t: 1 uzyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQ =1. H, é a entropia a-ordem e, no caso particular de ser u = 1, HI é a entropia de Shannon. É costume se denotar ds~.. simplesmente por ds~ e, assim, D (11.6) ds! = Lg~~(O)dOItOm ".m=1 onde g~(O) = Ix po.(oe k (11.7) 10gp)(oe log pjdutx). m Denominamos (1I.6) de m étrica da entropia a-ordem e a matriz [gltm], em = 1 a expressão em (II.?), de m atriz da entro pia a-ordem . Além disso, quando a (II.6) é conhecida como m étrica da inform ação e a matriz [gltm] correspondente é a m atriz de inform ação de ZYXWVUTSRQPONMLKJIHGFEDCBA F is h e r . 2.1.7. Exemplo 1. . probabilidade discretas p(xIO) de inteiros Consideremos uma = p(xl0l> ... ,OD) onde família de onde n imersa em R defmida por D ... ,OD)EID~I=(O,I) de o espaço amostral X é o conjunto X = X D= {l,...,n}, p(X = klO) = Olt e O En, n={o=(OI> distribuições e :tOk =1}. "=1 é uma variedade

(26) 26zyxwvutsrqponm p" == p(X == k19)= 9", a distância Então, se fizermos p, q E n, será S, (p,q) entre dois pontos dada por 2larl n { tr [p~/2 - q~/2 Sa(p,q)= ,se a *O }1/2 n { r }Ia tr[IOgp" -logq"y , se a = O. Com efeito, neste caso podemos escrever n n p(xI9)= Lo,up(i19) = Lo,u9i, i=1 onde x EX n i=1 e O,u é ovutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA delta de Kronnecker. Desse modo, tem-se que n n logpfxjê) = L0,u log ptijê) = L0,u logê., i=1 i=1 de sorte que 8Iogp(xI9) = ~ ~ . a). 9.1 Uxt• 1 De acordo com (1l.7) e observando que a medida considerada neste caso é a medida de contagem, g~ ~ g~(e)~ ~ onde k,m EXn. Tem-se então, {(t. 1 0•e;)" e ,e~ o"o_}.

(27) 27zyxwvutsrqponmlk ~{se(~:~9i)a :~: l -;-(On)2} ~ 9~-'. zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA x:1 Conseqüentemente, 8" ;:1 (. gbn(8) = Obn8~-2. Agora, lembrando que p E (p., ...,P •.) ER: Il e observando que p EOIl' onde ° nll = {p E R:;ZYXWVUTSRQPONMLKJIHGFEDCBA L p" = 1, < Pk < 1, k E XIl}' concluímos que a forma quadrática dada 1.:1 em (IT.6)pode ser expressa por Il ds!(p) = LP~-2(dp,,)\ onde p ER:. ":1 Sejam p e q dois pontos pertencentes a nll dos quais desejamos calcular a distância geodésica. Pelo capítulo anterior, esta geodésica 8(t) é tal que suas funções coordenadas 8" (t) são obtidas como solução das equações diferenciais 2 ~ (8) -2 d 8; + ~[ .. k] --d8; d8j = 0, L.J gik L.J lJ, ;:1 dt i,j=1 dt dt . k -- 1,vutsrqponmlkjihgfedcbaZYXWVUTSRQPONM ... ,n, j, e satisfazem as condições 8(tl) = p e 8(t2) = q, onde p,q ER:. Como [ij,k]=~(Ôgik(8) 2 ee, + 8gjk(8) 00. I Ôgij(8»)={~(a-2)8~_3,sei=j=k ~k 0, se i :;:. j, ou i:;:. ou j :;:. _- ° k segue-se que 2 d28k 8ak 2 + ~( a _ 2)8ak-3(d8k)2 dt 2 dt , aE R. (*) k ,

(28) 28zyxwvutsrqponm Para de _k dt fazemos a , t_transformação equação diferencial, 2 d e dpzyxwvutsrqponmlkjihgfedcbaZYXWV P (conseqüentemente, __ k = _ p) e substituímos na e.d.o. (*). Segue-se, de dek resolvermos = esta então, que dp 1 e p-+-(a-2)p2 k de k 2 =0 ' (**) ou seja, 1 -dp= p ae., (2-0:)_1 2 e k cuja solução é dada por 2-a p = cle k 2 , c, constante. Agora, comparando-se este valor de p com o seu valor dado pela transformação obtemos dek =cle; dt 2-a que depois de separadas as variáveis nos dá as soluções ek(t)={(akt+b~J~, dkt cke, onde as constantes condições, obtemos sea;t:O, se a = O ak,bk,ck e dk dependem das condições dadas. Usando estas

(29) 29vutsrqponmlkjihgfedcbaZYXW a a k _ ", p"2_ q"2 a,,= t2 t, .c: b,,=Pf- - q"2 (ap"2 a JzyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA [t.p" ] e d"(t "_ " tI' c"=p,, (-) 1 2 -1. t2 t, qt _ 2-tl)-lnq,,-lnp,,. Finalmente, usando a fórmula (1.2), do Capítulo 1, obtemos: S(p,q) [ = IJ I I 2 de de. ]1/ Lgij(e)_i _J dt i,j=1 dt dt D 1 12 de " = If [ L gll (e)(_t I dt k=1 1 i 1/2 2 ) dt ] 2 I [ =J I • 12 2]1/ ±e~-2(de,,) k=1 dt dt I { D ~ ZYXWVUTSRQPONMLKJIHGFEDCBA 2 (a -2 ) 2 z-« 2 =If L(att+bt)-a-[-(akt+b,,)aa,,] ~ t~ a_ I ~2Ial-'If[~a:]' dI I ~2la1-'I[~a:]' (I, - I,) I ~2Iar'I{~[ak(l,-I,)]' Y ~2Ial-'I{~[Pf-qf]'{ , enquanto que, para a = 0, S(p, q) J t; gll (e) (ded t )2]i dt =I I[ I. D se a :;:.0, } dt

(30) 1 =zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA ,1[:t(cLedllt2(ékdkedllr]2 dt k I) 1 ~{t.[d,(t,-t,l]'r 1 r 1 ~{t.[IOgp, -Iogq,]'ZYXWVUTSRQPONMLKJIHGFEDCBA CBA 2 .1 .8 . pi.lu,o) E x e m p lo = N(~,cr2) Consideremos 2. com r édia J .l um conjunto S de distribuições e desvio padrão o (-00 normais < ~ < 00, o > O) e façamos a seguinte mudança de variaveis y = o, x = {A(a)f\l, A(a) = 1/2 1I2 + z«:', ( a vutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA _ a - )2 I. a> O, de forma que se tenha z=x+iyEn=U={zEC;Imz>O}ep('I~,o)=p(.lz), com ZEl.;. Então, a distância entre dois pontos p('lz) e p(.lÇ), em S, será dada por: rll~-I s, (z,Ç) = .JB( a) 2f3 _lIFllf3-z (02) - FI/~_2 (01 )1, onde l-a B(a) = a- '2(27t) 3 -2 F
(31) ~ . ~ =S+IT], s=c+r 1 I1FzyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHG e) 1I 1 '(O. ) 1r( T]=r 2' sen \72, cERerER,. \ Com efeito, consideremos a família bi-paramérrica de distribuições normais p(.lp,a) == N(p,a ) 2 com média p e desvio padrão a, onde questão de convergência. mudança -x < p < oc-; a> O. ror admitiremos que a > Ú. Uma vez fixado a> 0, usaremos a de variáveis proposta em (Il.S) de forma que se tenha o parârnetr complexo z = x + iy E n == u = {z E C; 1m 7 (H.9) > O} onde U é r semi-plano superior complexo. Passemos ao cálculo dos coeficientes gkm (z) da métrica. No caso de uma distribuição normal temos (t-A 12,,)2 p(tlz) = p(tlx,y) = 2)2 J2it e Por outro lado, log pftlz) ] ) I'> = Jog( y.J2;. - (t - A · x 2y2 )2 Assim sendo, c"logp(tlx,y) = 12 (t - A 1'2X)" 1'2 e ê)ogp(t1x,y)= (t_A X)2 y3 y2 Logo, J +" gll(Z)= 1 -(1(1 A"x)' e 2)' ..Ll.-A1.2XfA. \10 (vutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA r;;-::) ~ vLCBA 7t Y J V Q - ct ] Y

(32) 3 Fazendo a mudança de variáveis lf2 C(t_A x)_ "\Ia y dt= ~dv, _ v,ZYXWVUTSRQPONMLKJIHGF "\Ia temos J =zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA 1 )-;2)~~ld gll(Z) a y2 -"yfJ.(J2nt A = A yfJ.+I(~r-la3/2 =gzl(Z)= +fa ] fJ.( ~)fJ. -ocy v21t g22(Z) = I ' e-fJ.(t;S'2X)2[(t_AI/2X)AI2][(t_AI/2X)2 2 Y 1 v' 1 .J2;r- yfJ.+I( a~ 2 L.J21t 2 +a + 1 r;::-' yfJ.ol( "\I21t) _ 2 -I a e dv v2 (_\~2) L.J21t yfJ.-II(Kt-Ia32 I al2 a -2a+3 fJ.'I( r : : : - ) f J . I o2 ~ o y ...;21t a a' f v21t~ _u- e 1 dv ( e y3 y4 (_\~2) v" +a 1 1] _ 2(t-A I/2X)2 fJ.e-fJ.(t;;21:2X)2[(t_AI/2X)4 _o",yfJ.(.J21t) = (_;2) v2 +" v yfJ.-tI(J2nr-1a3/2vutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA L.J21te dv _ gl2 (z .ra _~2 ) dv - - Y dt = 0, 0 I] +7 dt

(33) CO!:lO ds:Cz) =gll(z)(dxfzyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA -1 2g 17(z)dxdy I g22(z)(dy)1, segue-se C! ue d~~ (z) = A(dx~ y(J'I( J2;) _ A(dx)2 - I _ Y (1:,,1 u -1 (a- 2-13(1 ya, 1 -20: -1,~~;dyf ,(0'1 (.J21t)'" 1 'l./2n) a q 1)(dy)2 a 3/2 _ A(dx)2 +[(a l'2 -a 12)2 +2a 1](dy)2 - -----yOII(Ji;rr-1a3,'2 _ A(dx)2 +A(dyf ya,l( = a-: O. y > O e o mínimo é tomado entre todos os caminhos de classe . ligando os po .os (ra.[(a) l" (bJ(b)).

(34) c Fazendo-se = y-r Ft x.y.y) JI +(y.)2 , vemos que F não depende explicitamente de x . Desse modo, a equação de E u le r - vutsrqponmlkjihgfedc Lagrange do nosso problema variacional assume a seguinte forma: FY - Fyy Y' - FY'Y' Y" = O. Substituindo-se os valores F). =_Py-~-1~1+(y,)2, Fyy. =_py-~-lZYXWVUTSRQPONMLKJIHGFEDCBA J Y' 2 e Fyy =y-~(1+(y·)2r3/2zyxwvutsrqponmlkjihgfedc 1+ (y.) na equação de Euler-Lagrange, obtemos a seguinte equação diferencial ordinária YY" que para ser resolvida (conseqüentemente Y" =f = -p[] + (y.)2], é suficiente fazermos a transformação usual f = dy dx df ). Assim procedendo, encontramos uma outra e.d.o. dy cuja solução é v" = r- (1+e)12, 1 onde r é uma constante positiva. Substituindo-se esse valor de f por dy/dx na primeira e.d.o. c usando separarão de variáveis, encontramos que

(35) h X -- J..f l n - - vutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA dvf ' , C , .V"~ (11.11) 2" 1 '2ZYXWVUTSRQPONMLKJIHGFE 2 • (r - y , ) onde c é uma constante de integração arbitrária. Podemos fazer a substituição y = r1//3 sen'" S, ° < S < 7t e definir a seguinte família uniparamétricas de funções e Fy(S)=-y fsenYtdt, y ER. (***) n/2 Feito isso, a equação em (H. I I) se transforma em y=rl/l3sen11fl(S), x=c±rI/I'PI/f\CS), r c-O, O
(36) e Idzl y(
(37) .... ~ zyxwvutsrqponmlkjihgfed '1-1(e) = y- 2 t -1 [F'1 (e) - cose sen y-l e].vutsrqponmlkjihgfedcbaZYXWVUTSR \ válida para y ER e obtida a partir de (***). Usando essa fórmula, a distância em (ll.13) se reduz a Sa(z,Ç) = 2.JB(;i) 1x - ç +ZYXWVUTSRQPONMLKJIHGFEDCBA (1- r- ya+1 (1- r )1/21. lI-ai r y 2 ( l- a ) /2 )\12 _ 1 1 (I-a )/2 21 1 a + 1 Fazendo-se r -+ 00 (o que corresponde a tomar as geodésicas x (ll.14) = constante), tem-se Iy (1-a)/2 • = 2JB(a) S (z Ç) a' 11_rvl r EU e Rez= ReÇ. -11{l-a)/21 , onde z ,~ Usando a substituição (Il. 8), temos que a distância Sa(J.1pa1;J.12'u2) N(J.1p o:) entre e N(J.12 ,o~) é dada por a a S, (J.1, I; J.1, 2) = 2.JB(;i) 11-ai Ia ( l- a ) /2 1 - u(l-a)12 2' 1 J.1= J.11= J.12. o caso a = 1. Neste caso temos ~ = 1. As geodésicas da métrica em questão são os semi-círculos superiores de raio r (as retas x = c correspondendo ao caso das circunferências de raio r -+ 00), como mostra a figura abaixo.

(38) 38vutsrqponmlkjihgfedcb v zyxwvutsrqponmlkjihgfedcbaZYXW Mostremos, então, como calcular a distância S(z,Ç) entre dois pontos z,ç EU. A idéia consiste de levar o semi-plano superior U no interior do disco unitário D centrado na origem e fazer os cálculos em D levando em conta que a métrica em questão é invariante por transformação holomorfas bijetivas, como se pode verificar em [5]. Para isso, consideremos a transformação holomorfa bijetiva Z-l W=W(Z)= z+i levando o semi-plano superior U no disco unitário centrado na origem. Com essa aplicação, a métrica ds'{z) = 21dzl y2 se transforma em ds'{w) = s( l-jw]' )2 ' [dw] a qual é a métrica de Poincaré do disco D. Estamos interessados em calcular a distância entre dois pontos w, t E D . Inicialmente, assumiremos que t = O e observamos que, devido a invariância,

(39) 9 ds' (r) = 8(~)2 l-r r)2. = 2(d logzyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGF 1+ l-r Portanto, (w,O) = J2[IOg l+IWI]. l-Iwl Isto é suficiente para a determinarmos a distância entre dois pontos quaisquer de D, pois, se w, r ED então podemos usar a transformação q>(w):D -+ D definida por W-'t q>(w) = l-~w' que possui a interessante propriedade de levar t na origem. Mas, novamente, pela invariância, S(W, r) = S(q>(w),q>('t» = S(q>(w),O) S(w, r) = J2[IOg 1+Ot(w, Portanto, !-Ot(W,'t) 1)] onde 0t(W, r) = q>(w). Conseqüentemente, S(z,Ç) = J2[IOg 1+O(Z,Ç)] l-o(z,Ç) , ,

(40) 40 como queríamos demonstrar. Usando a transformação dada em (II.8) e fazendo a substituição na expressão 11 ZYXWVUTSRQPONMLKJIHGFEDCBA .o 2)' entrezyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQ N(Ill>0: ) e N (1l1>0~)' dada por acima obtemos a distância S(1l1 .o 1;vutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA 2 S(IlI,ol; 112 ,°2) = J2log 1 + õ(1l1 ,o I; 112 1- õ(lll>0 I; 11 2 ,a 2) .o 2)' onde Õ(1l1>01;1l2,02)=[(1l1 - 1 l 2 ): ( 1 l1- 1 l2) +2(°1 -02)2J. +2(°1 +(2)2

(41) CAPÍTULom 3.1. RELAÇÃO ENTRE A ENTROPIA eb-ORDEM E MEDIDAS DE DIVERGÊNCIAS. 3.1.1. Introdução. Neste capítulo introduziremos os conceitos de J, K, L - Divergência e em seguida faremos um estudo cc .rparativo entre elas. Além disso, usaremos estas medidas de divergência para obter a métrica da é-enrropía introduzida no capítulo anterior. 3.J.2. Deflníção. Para p,q EI!~,a J-Divergência de p e q, com respeito a H~ é dada pelaZYXWVUTSRQPONMLKJIHGFEDCBA D if e r e n ç a d e J e n s e n ;q)- ~ J~(p,q)zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCB = Hq(p [H~(p)+ H~(q)], que pode ser escrito na forma mais explícita J .(p,q) = [g [~(p)+~(q) l-~(p; q) }dJl(X) (fIl.1) 3.1.3. Definição. Para p.q EL~, a K-divergência entre p e q, relativa a H~, é dada por ]}dJl(X) K.(p,q)= [{(P-q{ +~) - ~~q) 3.1.4. Definição. Quando (lll.2) T~= R;, então, para p,q EI!~, a L- Divergência entre p,q, relativa a H~, é dada por L.(p,q) = Ix {~(: )+q~( :)}dJl(X) (111.3)

(42) 42 c Algumas relações entre J. K e L são dadas na seguinte proposição.CBA 3 .1 .5 . P r o p o s iç ã o . Para a ~O. vaIem os seguintes resultados: > 0, Vp.q EI!4>; (a) Se ~ é convexa em T4>'então J4>(p,q)zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIH (b) Se F(x) == Xcl>(!) + cI>(x)é não negativa em R+. entãoL4>(p,q) > 0, vp.q EI!+; \ I I ( x ) == cI>(x)é crescente em T4>'e ntão K4>(p,q) > 0, Vp.q EV4>; (c) SeZYXWVUTSRQPONMLKJIHGFEDCBA x (d) Se (e) \1 1 é côncava em T4>'então K4>(p,q)~4Jcl>(p,q), Se ~ convexa é e \1 1 é \fp,q EIJ4>; côncava em T4>' então K4>(p,q) ~ J4>(P,q)~ 0, \fp,q ELI4>' D e m o n str a ç ã o . (a) Como ~ é convexa, cI>(p;q) J 4> (p, q) < cI>(p)~cI>(q).D aí, = I1 ~ [cI>(p)+ cI>( q)] - cI>(p; q) > o. ! (b) Sendo q EvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA V . e F não negativa segue-se que L.(p,q) ~ qF( : }I'( x) > O. Daí, segue-se o resultado desejado. (c) Sendo \1 1 (x) = cI>(x)crescente, tem-se que cI>(p)- cI>(q)> 0, sempre que for x p > q. Conseqüentemente, K4>(p,q) > O. (d) Utilizando (Ill.I) e (Ill.2), tem-se que p q

(43) 4J .(p,q) - K.(p,q) =ZYXWVUTSRQPONMLKJIHGFEDCBA f G(p,q)dJ.1(x), x o onde -4C{X; G(x,y)zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCB = (x +y)cj>(x) +(x + y)cj>(y) y). Sendo \li côncava, segue-se que G(x,y) x+y = \ V ( x ) + \ V ( y ) - 2 \ V ( X + y) < O. 2· Daí, segue-se nosso resultado. (e) Esse resultado é conseqüência imediata dos itens (a) e (d). • 3.1.6. Observação. Quando a função cj>é substituída pela função cj>a'definida no capítulo anterior, as divergências resultantes J 4'a,K4'a ,L4'a são chamadasvutsrqponmlkjihgfedcbaZYX J, K e L D ivergência a-ordem , respectivamente. Elas são denotadas simplesmente r.,«, eLa· Como conseqüência da proposição anterior, temos o seguinte corolário: 3.1.7. Corolárlo. Seja a ~ o. Então, para p.q EL~ tem-se: (a) Ja(p,q)~O; (b) r., (p,q) ~ O; (c) Ka(p,q)~O; (d) K(p,q) = L(p,q) ~ 4J(p,q); (e) Ka(p,q) ~ 4Ja (p,q) ~ O, sempre que 0$ a $ 2. por

(44) Mostraremos, em seguida, que os conceitos de medida de divergência, dados em (1lI.2), (lU.3) e (111.4),podem ser usados para se obter a métrica davutsrqponmlkjihgfedcbaZYXWV entropia ZYXWVUT f ordem , definida no capítulo 11.Isto é feito, de maneira totalmente análoga ao que foi feito naquele capítulo, tomando-se o hessiano dessas divergências em um ponto (p, q) EzyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA I!, x V , e em seguida fazendo-se q -+ p. Os resultados precisos são apresentados na seguinte proposição: 3.1.8. Proposição. As divergências estão relacionadas com a métrica da
(45) ·onde ds: (8) é métrica da entropia u-ordem. Demonstração: Demonstraremos apenas o item (i). Os demais podem ser obtidos de maneira completamente análoga. De (11J.2) segue-se o re d dJcp[ (p,q): (f,g)] =. -.1 ~[(p,q) + t(f,g) ] dt d = -J 4 [(p + tf,q + tg)] dtvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA =f ~(q~ f{~[(P+tf)-' t1.2 tg)]_[(p+q)+t(f+g)]}d ( ) ut x 2 = ZYXWVUTSRQPONMLKJIHGFEDCBA f{~ ['(p +tf)f + '(q+ tg)g] x 2 - '[(P + q) +2 t(f + g)](f +2 g)ldf j.l(x). Daí, segue-se que d'J.l (p,q)(f,g),(f,g) J ~ [H[ $(p )f' + $ (q)g']- Assim sendo, fazendo-se q -+ P e (f - g) L1(f'l'-)l .. (p)[f + x $[ 2 _ f2+2fg+g2]d~l(X) 4 g zyxwvutsrqponm

(46) °lRnSU Ugp oursuonb OUlOJ '(e)'~sp!-= zzyxwvutsrqponmlkjihgfedc I x q,f!ZYXWVUTSRQPONMLKJIH (x)lip (dP)(d) .. l (x)1ip L (~ ~ [ J) (d) ..q, f= 9v zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA

(47) 47 REFElillNCIAS BIBLIOGRÁFICAS c [1] Amari, Shun-iehi,ZYXWVUTSRQPONMLKJIHGFEDCBA D lf f e r e n t t a l- G e o m e t r í c a l vutsrqponmlkjihgfedcbaZYXWVUTSRQPONMLKJIHGFEDCBA M ethods in Stattstics. Leetures Notes in Statisties, vol. 28, Springer Verlag. [2] Atkinson, C., and Mitehell, A. F. S. Rao's distance m easure. Sankhyã,43 345-365 (1981). [3] Burbea, J e Rao, C. R., Entropy d if e r e n t ia l metric, distance and divergence m easures in probability spaces: unified approach. Journal of Multivariate Analysis. 12, 575-596, Deeember 1982 A. [4] .:» O n the convexity ofsom e divergence m easures based on entropy functions. IT-28, [5] IEEE Transaetions on Information Theory, vol. may 1982. Carmo, Manfredo P. do, G eom etria Riem anniana. 2a. Edição, Projeto Euelides, IMPA-CNPq, Brasil, 1988. [6] Efron, B. D efining the curvature of a statistical problem ( w ith applications to second order efficiency), Ann. Statist., 3, 1189-1217 (1975) [7] Elsgoltz, L., Equaciones D iferenciales y Cálculo Variacional, Traducción ai espanol. Editorial M IR [8] 1977. Matsushima, Yozo, D iflerentiable M anifolds. Pure and Applied Mathematies: A Series ofMonographs and Textbooks, vol. 9. Mareei Dekker, Ine. New York, 1972. [9] Rao, C. Radhakrisbna, lnform ation and accuracy attainable tn the estim ation of statistical param eters, Bul!. Calcutta M ath. Soe., 37 pp. 81-91, [10] 1945 •zyxwvutsrqponmlkjihgfedcbaZYXWVUTSRQPO O n the distance entre two populations. Sankhyã 9 246l'; 248 (1949). ,

(48)

Novo documento

Tags

Documento similar

UNIVERSIDADE FEDERAL DO CEARÁ FACULDADE DE DIREITO CURSO DE GRADUAÇÃO EM DIREITO JULIANO MACHADO ARRUDA
0
0
62
A ATUAÇÃO DOS ESCRITÓRIOS DE ARQUITETURA NO MERCADO IMOBILIÁRIO DE FORTALEZA
0
0
141
A ATUAÇÃO DO TRIBUNAL DE CONTAS DO ESTADO DO CEARÁ (TCE-CE) COMO INSTRUMENTO DE CONTROLE SOCIAL NO PERÍODO DE 2010 A 2014
0
0
16
UNIVERSIDADE FEDERAL DO CEARÁ FACULDADE DE ECONOMIA, ADMINISTRAÇÃO, ATUÁRIA E CONTABILIDADE DEPARTAMENTO DE ADMINISTRAÇÃO CURSO DE SECRETARIADO EXECUTIVO KAROLLYNE NOGUEIRA FELIX
0
0
62
UNIVERSIDADE FEDERAL DO CEARÁ FACULDADE DE ECONOMIA, ADMINISTRAÇÃO, ATUÁRIA, CONTABILIDADE, SECRETARIADO EXECUTIVO E FINANÇAS CURSO SECRETARIADO EXECUTIVO JUCÉLIA FERREIRA DA SILVA COSTA
0
0
61
UNIVERSIDADE FEDERAL DO CEARÁ FACULDADE DE ECONOMIA, ADMINISTRAÇÃO, ATUARIA, CONTABILIDADE, SECRETARIADO E FINANÇAS – FEAAC CURSO DE SECRETARIADO EXECUTIVO GHENNAY MELO BASTOS
0
0
64
UNIVERSIDADE FEDERAL DO CEARÁ FACULDADE DE ECONOMIA, ADMINISTRAÇÃO, ATUÁRIA, CONTABILIDADE E SECRETARIADO EXECUTIVO - FEAACS MAYARA JADE BANDEIRA BATISTA LIMA
0
0
56
UNIVERSIDADE FEDERAL DO CEARÁ CENTRO DE CIÊNCIAS DEPARTAMENTO DE QUÍMICA ANALÍTICA E FÍSICO-QUÍMICA CURSO DE QUÍMICA BACHARELADO IGOR ALVES MARTINS
0
0
71
UNIVERSIDADE FEDERAL DO CEARÁ CENTRO DE TECNOLOGIA DEPARTAMENTO DE ENGENHARIA HIDRAÚLICA E AMBIENTAL PROGRAMA DE PÓS-GRADUAÇÃO EM RECURSOS HÍDRICOS VICTOR COSTA PORTO
0
0
81
UNIVERSIDADE FEDERAL DO CEARÁ CENTRO DE TECNOLOGIA DEPARTAMENTO DE ENGENHARIA DE PRODUÇÃO GRADUAÇÃO EM ENGENHARIA DE PRODUÇÃO MECÂNICA CAIO MENEZES THIERS
0
0
109
UNIVERSIDADE FEDERAL DO CEARÁ CENTRO DE TECNOLOGIA DEPARTAMENTO DE ENGENHARIA ELÉTRICA PROGRAMA DE GRADUAÇÃO EM ENGENHARIA ELÉTRICA JUAN CARLOS DEL PINO DOMINGUEZ
0
0
62
UNIVERSIDADE FEDERAL DO CEARÁ FACULDADE DE ECONOMIA, ADMINISTRAÇÃO, ATUÁRIA E CONTABILIDADE CURSO DE FINANÇAS FRANCISCO PERIVALDO OLIVEIRA REIS
0
0
51
APLICAÇÃO DA METODOLOGIA SCRUM PARA GESTÃO DE PROJETOS NA INDÚSTRIA NAVAL
0
0
98
Eric Rocha Menezes APLICAÇÃO DA METODOLOGIA DE TROCA RÁPIDA DE FERRAMENTA EM UMA EMPRESA PRODUTORA DE
0
0
66
APLICAÇÃO DA MEDIDA DE SEGURANÇA AO LOUCO INFRATOR À LUZ DO DIREITO SANITÁRIO
0
0
84
Show more