parte 2. métodos directos para la resolución de sistemas de … · 2009-02-13 · preliminares...

PreliminaresMetodo de GaussFactorizacion LU

Factorizacion de CholeskyAplicacion al calculo de la matriz inversa

Resumen

Parte 2. Metodos directos para la resolucion desistemas de ecuaciones lineales

Gustavo Montero

Escuela Tecnica Superior de Ingenieros IndustrialesUniversity of Las Palmas de Gran Canaria

Curso 2005-2006



Resumen

1 Preliminares

2 Metodo de Gauss

3 Factorizacion LU

4 Factorizacion de Cholesky

5 Aplicacion al calculo de la matriz inversa

6 Resumen



Resumen

Revision de algunos conceptosPolinomio caracterısticoNormas vectoriales y normas matricialesVector residuo. Numero de condicionamiento

1 Preliminares

2 Metodo de Gauss

3 Factorizacion LU



6 Resumen



Resumen


Revision de algunos conceptos

Matriz simetricaSe dice que una matriz A es simetrica si At = A.



Resumen




Matriz definida positiva

Se dice que una matriz A es definida positiva si xtAx > 0, ∀x 6= 0 ∈ Rn .



Resumen






Matriz ortogonal

Se dice que una matriz A es ortogonal si At = A−1, es decir, AtA = I .



Resumen






Matriz ortogonal

Se dice que una matriz A es ortogonal si At = A−1, es decir, AtA = I .

Matrices semejantes

Sea C cualquier matriz no singular de la misma dimension que A. Entonces las matrices A y C−1AC se dice queson semejantes.



Resumen


Polinomio caracterıstico

Valor propioSe dice que el numero λ, real o complejo, es un valor propio de A si existe un vector no nulo u, real o complejo talqueAu = λu, es decir (A− λI )u = 0



Resumen




Vector propioEl vector u se denomina vector propio de A asociado al valor propio λ.



Resumen





Polinomio caracterısticoEn general, el polinomio que resulta de desarrollar |A− λI |, cuyos ceros son precisamente los valores propios de A,se denomina polinomio caracterıstico.



Resumen






Radio espectralSe denomina radio espectral ρ de una matriz A al valor

ρ(A) = max1≤i≤n

|λi |



Resumen






Radio espectralSe denomina radio espectral ρ de una matriz A al valor

ρ(A) = max1≤i≤n

|λi |

Propiedades

Si λ es complejo, entonces u es complejo.

Los valores propios de C−1AC son los mismos de A.



Resumen


Normas vectoriales y normas matriciales

Norma vectorialSe denomina norma vectorial a una apicacion de Rn en R, que verifica las siguientes propiedades:

‖u‖ ≥ 0, ∀u ∈ Rn.

‖u‖ = 0 ⇒ u = 0.

‖u + v‖ ≤ ‖u‖ + ‖v‖, ∀u, v ∈ Rn.

‖λu‖ = |λ|‖u‖, ∀u ∈ Rn, λ ∈ R.



Resumen




‖u‖ ≥ 0, ∀u ∈ Rn.

‖u‖ = 0 ⇒ u = 0.

‖u + v‖ ≤ ‖u‖ + ‖v‖, ∀u, v ∈ Rn.

‖λu‖ = |λ|‖u‖, ∀u ∈ Rn, λ ∈ R.

Norma matricialSe denomina norma matricial a una apicacion de Rn,n en R, que verifica las siguientes propiedades:

‖A‖ ≥ 0, ∀A ∈ Rn,n.

‖A‖ = 0 ⇒ A = 0.

‖A + B‖ ≤ ‖A‖ + ‖B‖, ∀A, B ∈ Rn,n.

‖λA‖ = |λ|‖A‖, ∀A ∈ Rn,n, λ ∈ R.

‖A B‖ ≤ ‖A‖‖B‖, ∀A, B ∈ Rn,n.



Resumen




‖u‖ ≥ 0, ∀u ∈ Rn.

‖u‖ = 0 ⇒ u = 0.

‖u + v‖ ≤ ‖u‖ + ‖v‖, ∀u, v ∈ Rn.

‖λu‖ = |λ|‖u‖, ∀u ∈ Rn, λ ∈ R.

Norma matricialSe denomina norma matricial a una apicacion de Rn,n en R, que verifica las siguientes propiedades:

‖A‖ ≥ 0, ∀A ∈ Rn,n.

‖A‖ = 0 ⇒ A = 0.

‖A + B‖ ≤ ‖A‖ + ‖B‖, ∀A, B ∈ Rn,n.

‖λA‖ = |λ|‖A‖, ∀A ∈ Rn,n, λ ∈ R.

‖A B‖ ≤ ‖A‖‖B‖, ∀A, B ∈ Rn,n.

CompatibilidadDada una norma matricial ‖ · ‖M en Rn,n y una norma vectorial ‖ · ‖v en Rn , se dice que son compatibles si

‖Ax‖v ≤ ‖A‖M‖x‖v ∀A ∈ Rn,n, x ∈ Rn



Resumen



Norma matricial subordinada o inducidasSe denomina norma matricial subordinada o inducida por una norma vectorial ‖ · ‖v a la norma matricial:

‖A‖M = max‖x‖v =1

‖Ax‖v (Norma‖ · ‖M compatible con‖ · ‖v )



Resumen






Normas matriciales inducidas mas usuales

‖A‖1 = max1≤j≤n

nXi=1

|aij | inducida por: ‖x‖1 =nX

i=1

|xi |

‖A‖2 = ρ�AtA�1/2

inducida por: ‖x‖2 =

0@

nXi=1

x2i

1A

1/2

(Norma espectral)

‖A‖∞ = max1≤i≤n

nXj=1

|aij | inducida por: ‖x‖∞ = max1≤i≤n

|xi |



Resumen






Normas matriciales inducidas mas usuales

‖A‖1 = max1≤j≤n

nXi=1

|aij | inducida por: ‖x‖1 =nX

i=1

|xi |

‖A‖2 = ρ�AtA�1/2

inducida por: ‖x‖2 =

0@

nXi=1

x2i

1A

1/2

(Norma espectral)

‖A‖∞ = max1≤i≤n

nXj=1

|aij | inducida por: ‖x‖∞ = max1≤i≤n

|xi |

Norma matricial de FrobeniusLa norma de Frobenius

‖A‖F =

0@

nXi=1

nXj=1

|aij |2

1A

1/2

no es una norma inducida pero es compatible con ‖x‖2.



Resumen



Norma matricial y radio espectral

Si A ∈ Rn,n , toda norma matricial verifica ρ(A) ≤ ‖A‖.Dada A ∈ Rn,n y ε > 0 cualquiera, existe una norma matricial ‖ · ‖ε tal que ‖A‖ε ≤ ρ(A) + ε

Para todo A ∈ Rn,n se tiene que: ρ(A) = inf ‖A‖.



Resumen






Sucesiones MatricialesSea A1, A2, A3, ..., una sucesion de matrices cuadradas de orden n. Se dice que la sucesion tiene por lımite lamatriz cuadrada A de orden n, cuando r tiende a infinito si

limr→∞

‖Ar − A‖ = 0

para una norma matricial cualquiera.



Resumen






Sucesiones MatricialesSea A1, A2, A3, ..., una sucesion de matrices cuadradas de orden n. Se dice que la sucesion tiene por lımite lamatriz cuadrada A de orden n, cuando r tiende a infinito si

limr→∞

‖Ar − A‖ = 0

para una norma matricial cualquiera.

TeoremaSea A ∈ Rn,n , la condicion necesaria y suficiente para que

limm→∞

Am = 0

es que ρ(A) < 1.



Resumen


Vector residuo. Numero de condicionamiento

Sea el sistema lineal de ecuaciones Ax = b.

Vector residuo

Se define el vector residuo del sistema como r = b − Ax .



Resumen




Vector residuo


Numero de condicion

Se define el numero de condicion del sistema κ(A) = ‖A‖‖A−1‖ ≥ ‖AA−1‖ = ‖I‖ ≥ 1.



Resumen




Vector residuo


Numero de condicion

Se define el numero de condicion del sistema κ(A) = ‖A‖‖A−1‖ ≥ ‖AA−1‖ = ‖I‖ ≥ 1.

Error y condicionamiento

e = x∗ − x

1

κ(A)

‖r‖‖b‖

≤‖e‖‖x‖

≤ κ(A)‖r‖‖b‖



Resumen

Generalidades sobre metodos directosMetodo de Gauss

1 Preliminares

2 Metodo de Gauss

3 Factorizacion LU



6 Resumen



Resumen


Generalidades sobre metodos directos

Sistema de ecuaciones compatible determinadoSea el sistema de ecuaciones,

a11x1 + a12x2 + · · · + a1nxn = b1

a21x1 + a22x2 + · · · + a2nxn = b2

.

.

.

.

.

.

.

.

.

.

.

.

an1x1 + an2x2 + · · · + annxn = bn

donde A es nosingular. En forma matricial: Ax = b.



Resumen




a11x1 + a12x2 + · · · + a1nxn = b1

a21x1 + a22x2 + · · · + a2nxn = b2

.

.

.

.

.

.

.

.

.

.

.

.

an1x1 + an2x2 + · · · + annxn = bn


Metodos directosUn metodo se dice que es directo si obtiene la solucion exacta (en ausencia de errores de redondeo) en un numerofinito de pasos.



Resumen




a11x1 + a12x2 + · · · + a1nxn = b1

a21x1 + a22x2 + · · · + a2nxn = b2

.

.

.

.

.

.

.

.

.

.

.

.

an1x1 + an2x2 + · · · + annxn = bn


Metodos directosUn metodo se dice que es directo si obtiene la solucion exacta (en ausencia de errores de redondeo) en un numerofinito de pasos.

¡¡¡Prohibido usar el metodo de Cramer!!!El metodo de Cramer, con (n + 1)!n − 1 operaciones, resulta prohibitivo para resolver grandes de sistemas.



Resumen



Resolucion de sistemas triangularesSupongamos que A es una matriz triangular superior (aij = 0 si i > j . Entonces,

xn =bn

ann, xk =

1

akk

0@bk −

nXj=k+1

akj xj

1A , k = n − 1, n − 2, . . . , 1

Numero total de operaciones:

Multiplicaciones/divisiones:n2 + n

2

Sumas/restas:n2 − n

2

Si fuera triangular inferior se resolverıa de forma similarUn primer metodo de resolucion consistira en multiplicar A por M, tal que MA sea triangular:

Si MA = U y Mb = c entonces Ax = b −→ Ux = c



Resumen


Metodo de Gauss

Algoritmo del metodo de Gauss

El primer pivote es a11 6= 0, siendo mk1 =ak1

a11:

0BBBBBBBBBBBB@

a11 a12 · · · a1n

.

.

. b1

a21 a22 · · · a2n

.

.

. b2

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

an1 an2 · · · ann

.

.

. bn

1CCCCCCCCCCCCA

E2 − m21E1 → E2E3 − m31E1 → E3

.

.

.En − mn1E1 → En

0BBBBBBBBBBBB@

a11 a12 · · · a1n

.

.

. b1

0 a′22 · · · a′2n

.

.

. b′2...

.

.

.

.

.

.

.

.

.

.

.

.

0 a′n2 · · · a′nn

.

.

. b′n

1CCCCCCCCCCCCA



Resumen


Metodo de Gauss


El segundo pivote es a22 6= 0, siendo mk2 =ak2

a22:

0BBBBBBBBBBBB@

a11 a12 · · · a1n

.

.

. b1

0 a′22 · · · a′2n

.

.

. b′2...

.

.

.

.

.

.

.

.

.

.

.

.

0 a′n2 · · · a′nn

.

.

. b′n

1CCCCCCCCCCCCA

E3 − m32E2 → E3

.

.

.En − mn2E2 → En

0BBBBBBBBBBBB@

a11 a12 · · · a1n

.

.

. b1

0 a′22 · · · a′2n

.

.

. b′2...

.

.

.

.

.

.

.

.

.

.

.

.

0 0 · · · a′′nn

.

.

. b′′n

1CCCCCCCCCCCCA



Resumen


Metodo de Gauss


En general, el pivote aii produce mki =aki

aii. Finalmente, utilizando (Ek − mki Ei → Ek ), resulta:

A =

0BBBBBBBBBBBB@

a11 a12 · · · a1n

.

.

. b1

0 a′22 · · · a′2n

.

.

. b′2...

. . .. . .

.

.

.

.

.

.

.

.

.

0 · · · 0 a(n−1nn

.

.

. b(n−1n

1CCCCCCCCCCCCA

Lo que supone la resolucion de un sistema de ecuaciones triangular superior.



Resumen


Metodo de Gauss




A =

0BBBBBBBBBBBB@

a11 a12 · · · a1n

.

.

. b1

0 a′22 · · · a′2n

.

.

. b′2...

. . .. . .

.

.

.

.

.

.

.

.

.

0 · · · 0 a(n−1nn

.

.

. b(n−1n

1CCCCCCCCCCCCA


AlmacenamientoCuando una matriz tiene un numero elevado de entradas nulas, se denomina escasa o hueca (sparse). Estasmatrices requieren tecnicas de almacenamiento especiales que solo consideren los terminos no nulos.Evidentemente, esto supone una implementacion mas complicada de los metodos de resolucion.



Resumen


Metodo de Gauss




A =

0BBBBBBBBBBBB@

a11 a12 · · · a1n

.

.

. b1

0 a′22 · · · a′2n

.

.

. b′2...

. . .. . .

.

.

.

.

.

.

.

.

.

0 · · · 0 a(n−1nn

.

.

. b(n−1n

1CCCCCCCCCCCCA


Numero de operacionesIncluyendo la resolucion del sistema triangular, el numero de operaciones aritmeticas es:

Multiplicaciones/divisiones:2n3 + 3n2 − 5n

6+

n2 + n

2


3+

n2 − n

2



Resumen


Metodo de Gauss

Pivote parcial

Cuando se realiza la eleccion del pivote, podemos tener problemas si este es nulo o incluso si es muypequeno en valor absoluto.

La tecnica de pivoteo parcial, trata de evitar este problema tomando en cada paso i-esimo el mayor pivoteposible, en valor absoluto, en esa misma columna (api ) por debajo de la diagonal (p ≥ i).

Esto implica intercambio de las filas i por la p: (Ei ) ↔ (Ep).

Evidentemente, el mismo cambio afecta al vector segundo miembro b.

Anade al metodo de Gauss3

2n(n − 1) comparaciones y

n(n + 1)

2− 1 divisiones.



Resumen


Metodo de Gauss

Pivote parcial

Cuando se realiza la eleccion del pivote, podemos tener problemas si este es nulo o incluso si es muypequeno en valor absoluto.

La tecnica de pivoteo parcial, trata de evitar este problema tomando en cada paso i-esimo el mayor pivoteposible, en valor absoluto, en esa misma columna (api ) por debajo de la diagonal (p ≥ i).

Esto implica intercambio de las filas i por la p: (Ei ) ↔ (Ep).

Evidentemente, el mismo cambio afecta al vector segundo miembro b.

Anade al metodo de Gauss3

2n(n − 1) comparaciones y

n(n + 1)

2− 1 divisiones.

Pivote totalLa tecnica de pivoteo total refina aun mas la eleccion, tomando en cada paso i-esimo el mayor pivoteposible en valor absoluto (apq), en todas las columnas q a partir de la diagonal (q ≥ i) y por debajo de ladiagonal (p ≥ i).

Esto implica intercambio de las filas i por la p: (Ei ) ↔ (Ep), y de las columnas i por la q: (Ci ) ↔ (Cq).

El cambio de filas afecta al vector b y el de columnas al vector x .

Anade al metodo de Gaussn(n − 1)(2n + 5)

6comparaciones.



Resumen

Algoritmo de la factorizacion LU

1 Preliminares

2 Metodo de Gauss

3 Factorizacion LU



6 Resumen



Resumen



Descomposicion de una matriz como producto de dos triangularesSupongamos que la matriz de un sistema Ax = b se puede descomponer como A = LU, con L triangular inferior yU triangular superior.

LUx = b,⇒ resolver Ly = b, Ux = y



Resumen



Descomposicion de una matriz como producto de dos triangularesSupongamos que la matriz de un sistema Ax = b se puede descomponer como A = LU, con L triangular inferior yU triangular superior.

LUx = b,⇒ resolver Ly = b, Ux = y

AlgoritmoMultiplicando L por U e igualando, se obtiene:

l11u11 = a11 u1j =a1j

l11

, j ≥ 2 li1 =ai1

u11

, i ≥ 2

lkkukk = akk −k−1Xr=1

lkr urk , k ≥ 2

ukj =1

lkk

0@akj −

k−1Xr=1

lkr urj

1A , j > k, k ≥ 2

lik =1

ukk

0@aik −

k−1Xr=1

lir urk

1A , i > k, k ≥ 2



Resumen



Eleccion de la diagonalSe fijan arbitrariamente lkk o ukk

Si se fijan los elementos diagonales de U como 1, ukk = 1, se tiene la factorizacion de Crout.

Si se fijan los elementos diagonales de L como 1, lkk = 1, se tiene la factorizacion de Doolittle.



Resumen






Existencia de la factorizacionSi |A| 6= 0, siempre existe una permutacion de las filas de A tal que la matriz resultante es factorizable de la formaLU.



Resumen







AlmacenamientoFrecuentemente se suele almacenar L y U sobre el mismo espacio de A, en las respectivas partes triangulares.



Resumen







AlmacenamientoFrecuentemente se suele almacenar L y U sobre el mismo espacio de A, en las respectivas partes triangulares.

Numero de operaciones

Multiplicaciones/divisiones:n3 − n

3+ n2

Sumas/restas:n3

3−

n2

2+

n

6+ n2 − n



Resumen

Algoritmo de la Factorizacion de Cholesky

1 Preliminares

2 Metodo de Gauss

3 Factorizacion LU



6 Resumen



Resumen



Descomposicion de una matriz simetrica definida positiva en LLt

Supongamos que la matriz simetrica difinida positiva de un sistema Ax = b se puede descomponer como A = LLt ,con L triangular inferior y Lt triangular superior.

LLtx = b,⇒ resolver Ly = b, Ltx = y



Resumen



Descomposicion de una matriz simetrica definida positiva en LLt

Supongamos que la matriz simetrica difinida positiva de un sistema Ax = b se puede descomponer como A = LLt ,con L triangular inferior y Lt triangular superior.

LLtx = b,⇒ resolver Ly = b, Ltx = y

Algoritmo

Multiplicando L por Lt e igualando, se obtiene (solo se calculan los elementos de L):

l11 =√

a11 li1 =ai1

l11

, i ≥ 2

lkk =

vuuutakk −k−1Xr=1

l2kr

, k ≥ 2

lik =1

lkk

0@aik −

k−1Xr=1

lir lkr

1A , i > k, k ≥ 2



Resumen



Teorema de caracterizacion de matrices simetricas definidaspositivasUna matriz es simetrica definida positiva si y solo si admite descomposicion de Cholesky.



Resumen



Teorema de caracterizacion de matrices simetricas definidaspositivasUna matriz es simetrica definida positiva si y solo si admite descomposicion de Cholesky.Otras aplicaciones

Calcular el determinante de una matriz simetrica definida positiva:

|A| = |LLt | = |L||Lt | = |L|2 =nY

i=1

l2ii

Resolver el sistema Ax = b:Ly = b, Ltx = y



Resumen





|A| = |LLt | = |L||Lt | = |L|2 =nY

i=1

l2ii


AlmacenamientoSolo es necesario almacenar L ya que Lt tiene simetricamente las mismas entradas.



Resumen





|A| = |LLt | = |L||Lt | = |L|2 =nY

i=1

l2ii


AlmacenamientoSolo es necesario almacenar L ya que Lt tiene simetricamente las mismas entradas.

Numero de operaciones

Raıces cuadradas: n

Multiplicaciones/divisiones:n3 + 3n2 − 4n

6+ n2 + n


6+ n2 − n



Resumen

Planteamiento del problema

1 Preliminares

2 Metodo de Gauss

3 Factorizacion LU



6 Resumen



Resumen



Planteamiento del problemaSea una matriz A a la que se presente obtener su inversa X , entonces

AX = I

Esto significa resolver n sistemas de ecuaciones lineales con la misma matriz, donde los segundos miembros son losvectores de la base canonica. De cada sistema j-esimo se obtiene la j-esima columna de la matriz inversa X :

a11x1j + a12x2j + · · · + a1nxnj = 0

a21x1j + a22x2j + · · · + a2nxnj = 0

.

.

.

.

.

.

.

.

.

.

.

.

aj1x1j + aj2x2j + · · · + ajnxnj = 1

.

.

.

.

.

.

.

.

.

.

.

.

an1x1j + an2x2j + · · · + annxnj = 0



Resumen


Resolucion del problema

Resolucion del problemaEl procedimiento mas adecuado es utilizar la factorizacion de Cholesky si el problema es simetrico o la LU si no loes. De esta forma, las operaciones de triangulacion solo se realizan una vez.Esto supone el coste de una factorizacion y n procesos de remonte de dos sistemas triangulares.



Resumen


Resolucion del problema

Resolucion del problemaEl procedimiento mas adecuado es utilizar la factorizacion de Cholesky si el problema es simetrico o la LU si no loes. De esta forma, las operaciones de triangulacion solo se realizan una vez.Esto supone el coste de una factorizacion y n procesos de remonte de dos sistemas triangulares.

Numero de operacionesCaso simetrico

Raıces cuadradas: n

Multiplicaciones/divisiones:n3 + 3n2 − 4n

6+ n(n2 + n)


6+ n(n2 − n)

Caso no simetrico

Multiplicaciones/divisiones:n3 − n

3+ n(n2)

Sumas/restas:n3

3−

n2

2+

n

6+ n(n2 − n)



Resumen

1 Preliminares

2 Metodo de Gauss

3 Factorizacion LU



6 Resumen



Resumen

Resumen

El numero de operaciones que realizan los metodos directos para la resolucionde sistemas de ecuaciones lineales es de orden n3.

La tecnica de pivoteo parcial suele conducir a mejores resultados que la depivoteo trivial en sistemas mal condicionados. Sin embargo, el pivoteo totalresulta excesivamente costoso en relacion al coste total de resolucion.

Aunque el metodo de Gauss y la factorizacion LU se pueden utilizar pararesolver cualquier tipo de sistema, para el caso simetrico el metodo de Choleskyes menos costoso y por tanto preferible.

Cuando se trata de resolver un conjunto de sistemas de ecuaciones con la mismamatriz, conviene utilizar un metodo de factorizacion, ya que solo es necesariorealizarla una vez.

parte 2. métodos directos para la resolución de sistemas de … · 2009-02-13 · preliminares...

Documents