parte 2. métodos directos para la resolución de sistemas de … · 2009-02-13 · preliminares...

PreliminaresMetodo de GaussFactorizacion LU

Factorizacion de CholeskyAplicacion al calculo de la matriz inversa

Resumen

Parte 2. Metodos directos para la resolucion desistemas de ecuaciones lineales

Gustavo Montero

Escuela Tecnica Superior de Ingenieros IndustrialesUniversity of Las Palmas de Gran Canaria

Curso 2005-2006

Resumen

1 Preliminares

2 Metodo de Gauss

3 Factorizacion LU

4 Factorizacion de Cholesky

5 Aplicacion al calculo de la matriz inversa

6 Resumen

Resumen

Revision de algunos conceptosPolinomio caracterısticoNormas vectoriales y normas matricialesVector residuo. Numero de condicionamiento

1 Preliminares

2 Metodo de Gauss

3 Factorizacion LU

6 Resumen

Resumen

Revision de algunos conceptos

Matriz simetricaSe dice que una matriz A es simetrica si At = A.

Resumen

Matriz definida positiva

Se dice que una matriz A es definida positiva si xtAx > 0, ∀x 6= 0 ∈ Rn .

Resumen

Matriz ortogonal

Se dice que una matriz A es ortogonal si At = A−1, es decir, AtA = I .

Resumen

Matriz ortogonal

Se dice que una matriz A es ortogonal si At = A−1, es decir, AtA = I .

Matrices semejantes

Sea C cualquier matriz no singular de la misma dimension que A. Entonces las matrices A y C−1AC se dice queson semejantes.

Resumen

Polinomio caracterıstico

Valor propioSe dice que el numero λ, real o complejo, es un valor propio de A si existe un vector no nulo u, real o complejo talqueAu = λu, es decir (A− λI )u = 0

Resumen

Vector propioEl vector u se denomina vector propio de A asociado al valor propio λ.

Resumen

Polinomio caracterısticoEn general, el polinomio que resulta de desarrollar |A− λI |, cuyos ceros son precisamente los valores propios de A,se denomina polinomio caracterıstico.

Resumen

Radio espectralSe denomina radio espectral ρ de una matriz A al valor

ρ(A) = max1≤i≤n

|λi |

Resumen

Radio espectralSe denomina radio espectral ρ de una matriz A al valor

ρ(A) = max1≤i≤n

|λi |

Propiedades

Si λ es complejo, entonces u es complejo.

Los valores propios de C−1AC son los mismos de A.

Resumen

Normas vectoriales y normas matriciales

Norma vectorialSe denomina norma vectorial a una apicacion de Rn en R, que verifica las siguientes propiedades:

‖u‖ ≥ 0, ∀u ∈ Rn.

‖u‖ = 0 ⇒ u = 0.

‖u + v‖ ≤ ‖u‖ + ‖v‖, ∀u, v ∈ Rn.

‖λu‖ = |λ|‖u‖, ∀u ∈ Rn, λ ∈ R.

Resumen

‖u‖ ≥ 0, ∀u ∈ Rn.

‖u‖ = 0 ⇒ u = 0.

‖u + v‖ ≤ ‖u‖ + ‖v‖, ∀u, v ∈ Rn.

‖λu‖ = |λ|‖u‖, ∀u ∈ Rn, λ ∈ R.

Norma matricialSe denomina norma matricial a una apicacion de Rn,n en R, que verifica las siguientes propiedades:

‖A‖ ≥ 0, ∀A ∈ Rn,n.

‖A‖ = 0 ⇒ A = 0.

‖A + B‖ ≤ ‖A‖ + ‖B‖, ∀A, B ∈ Rn,n.

‖λA‖ = |λ|‖A‖, ∀A ∈ Rn,n, λ ∈ R.

‖A B‖ ≤ ‖A‖‖B‖, ∀A, B ∈ Rn,n.

Resumen

‖u‖ ≥ 0, ∀u ∈ Rn.

‖u‖ = 0 ⇒ u = 0.

‖u + v‖ ≤ ‖u‖ + ‖v‖, ∀u, v ∈ Rn.

‖λu‖ = |λ|‖u‖, ∀u ∈ Rn, λ ∈ R.

Norma matricialSe denomina norma matricial a una apicacion de Rn,n en R, que verifica las siguientes propiedades:

‖A‖ ≥ 0, ∀A ∈ Rn,n.

‖A‖ = 0 ⇒ A = 0.

‖A + B‖ ≤ ‖A‖ + ‖B‖, ∀A, B ∈ Rn,n.

‖λA‖ = |λ|‖A‖, ∀A ∈ Rn,n, λ ∈ R.

‖A B‖ ≤ ‖A‖‖B‖, ∀A, B ∈ Rn,n.

CompatibilidadDada una norma matricial ‖ · ‖M en Rn,n y una norma vectorial ‖ · ‖v en Rn , se dice que son compatibles si

‖Ax‖v ≤ ‖A‖M‖x‖v ∀A ∈ Rn,n, x ∈ Rn

Resumen

Norma matricial subordinada o inducidasSe denomina norma matricial subordinada o inducida por una norma vectorial ‖ · ‖v a la norma matricial:

‖A‖M = max‖x‖v =1

‖Ax‖v (Norma‖ · ‖M compatible con‖ · ‖v )

Resumen

Normas matriciales inducidas mas usuales

‖A‖1 = max1≤j≤n

|aij | inducida por: ‖x‖1 =nX

‖A‖2 = ρ�AtA�1/2

inducida por: ‖x‖2 =

(Norma espectral)

‖A‖∞ = max1≤i≤n

|aij | inducida por: ‖x‖∞ = max1≤i≤n

Resumen

Normas matriciales inducidas mas usuales

‖A‖1 = max1≤j≤n

|aij | inducida por: ‖x‖1 =nX

‖A‖2 = ρ�AtA�1/2

inducida por: ‖x‖2 =

(Norma espectral)

‖A‖∞ = max1≤i≤n

|aij | inducida por: ‖x‖∞ = max1≤i≤n

Norma matricial de FrobeniusLa norma de Frobenius

‖A‖F =

|aij |2

no es una norma inducida pero es compatible con ‖x‖2.

Resumen

Norma matricial y radio espectral

Si A ∈ Rn,n , toda norma matricial verifica ρ(A) ≤ ‖A‖.Dada A ∈ Rn,n y ε > 0 cualquiera, existe una norma matricial ‖ · ‖ε tal que ‖A‖ε ≤ ρ(A) + ε

Para todo A ∈ Rn,n se tiene que: ρ(A) = inf ‖A‖.

Resumen

Sucesiones MatricialesSea A1, A2, A3, ..., una sucesion de matrices cuadradas de orden n. Se dice que la sucesion tiene por lımite lamatriz cuadrada A de orden n, cuando r tiende a infinito si

limr→∞

‖Ar − A‖ = 0

para una norma matricial cualquiera.

Resumen

Sucesiones MatricialesSea A1, A2, A3, ..., una sucesion de matrices cuadradas de orden n. Se dice que la sucesion tiene por lımite lamatriz cuadrada A de orden n, cuando r tiende a infinito si

limr→∞

‖Ar − A‖ = 0

para una norma matricial cualquiera.

TeoremaSea A ∈ Rn,n , la condicion necesaria y suficiente para que

limm→∞

Am = 0

es que ρ(A) < 1.

Resumen

Vector residuo. Numero de condicionamiento

Sea el sistema lineal de ecuaciones Ax = b.

Vector residuo

Se define el vector residuo del sistema como r = b − Ax .

Resumen

Vector residuo

Numero de condicion

Se define el numero de condicion del sistema κ(A) = ‖A‖‖A−1‖ ≥ ‖AA−1‖ = ‖I‖ ≥ 1.

Resumen

Vector residuo

Numero de condicion

Se define el numero de condicion del sistema κ(A) = ‖A‖‖A−1‖ ≥ ‖AA−1‖ = ‖I‖ ≥ 1.

Error y condicionamiento

e = x∗ − x

‖r‖‖b‖

≤‖e‖‖x‖

≤ κ(A)‖r‖‖b‖

Resumen

Generalidades sobre metodos directosMetodo de Gauss

1 Preliminares

2 Metodo de Gauss

3 Factorizacion LU

6 Resumen

Resumen

Generalidades sobre metodos directos

Sistema de ecuaciones compatible determinadoSea el sistema de ecuaciones,

a11x1 + a12x2 + · · · + a1nxn = b1

a21x1 + a22x2 + · · · + a2nxn = b2

an1x1 + an2x2 + · · · + annxn = bn

donde A es nosingular. En forma matricial: Ax = b.

Resumen

a11x1 + a12x2 + · · · + a1nxn = b1

a21x1 + a22x2 + · · · + a2nxn = b2

an1x1 + an2x2 + · · · + annxn = bn

Metodos directosUn metodo se dice que es directo si obtiene la solucion exacta (en ausencia de errores de redondeo) en un numerofinito de pasos.

Resumen

a11x1 + a12x2 + · · · + a1nxn = b1

a21x1 + a22x2 + · · · + a2nxn = b2

an1x1 + an2x2 + · · · + annxn = bn

Metodos directosUn metodo se dice que es directo si obtiene la solucion exacta (en ausencia de errores de redondeo) en un numerofinito de pasos.

¡¡¡Prohibido usar el metodo de Cramer!!!El metodo de Cramer, con (n + 1)!n − 1 operaciones, resulta prohibitivo para resolver grandes de sistemas.

Resumen

Resolucion de sistemas triangularesSupongamos que A es una matriz triangular superior (aij = 0 si i > j . Entonces,

xn =bn

ann, xk =

0@bk −

nXj=k+1

akj xj

1A , k = n − 1, n − 2, . . . , 1

Numero total de operaciones:

Multiplicaciones/divisiones:n2 + n

Sumas/restas:n2 − n

Si fuera triangular inferior se resolverıa de forma similarUn primer metodo de resolucion consistira en multiplicar A por M, tal que MA sea triangular:

Si MA = U y Mb = c entonces Ax = b −→ Ux = c

Resumen

Metodo de Gauss

Algoritmo del metodo de Gauss

El primer pivote es a11 6= 0, siendo mk1 =ak1

0BBBBBBBBBBBB@

a11 a12 · · · a1n

a21 a22 · · · a2n

an1 an2 · · · ann

1CCCCCCCCCCCCA

E2 − m21E1 → E2E3 − m31E1 → E3

.En − mn1E1 → En

0BBBBBBBBBBBB@

a11 a12 · · · a1n

0 a′22 · · · a′2n

. b′2...

0 a′n2 · · · a′nn

. b′n

1CCCCCCCCCCCCA

Resumen

Metodo de Gauss

El segundo pivote es a22 6= 0, siendo mk2 =ak2

0BBBBBBBBBBBB@

a11 a12 · · · a1n

0 a′22 · · · a′2n

. b′2...

0 a′n2 · · · a′nn

. b′n

1CCCCCCCCCCCCA

E3 − m32E2 → E3

.En − mn2E2 → En

0BBBBBBBBBBBB@

a11 a12 · · · a1n

0 a′22 · · · a′2n

. b′2...

0 0 · · · a′′nn

. b′′n

1CCCCCCCCCCCCA

Resumen

Metodo de Gauss

En general, el pivote aii produce mki =aki

aii. Finalmente, utilizando (Ek − mki Ei → Ek ), resulta:

0BBBBBBBBBBBB@

a11 a12 · · · a1n

0 a′22 · · · a′2n

. b′2...

. . .. . .

0 · · · 0 a(n−1nn

. b(n−1n

1CCCCCCCCCCCCA

Lo que supone la resolucion de un sistema de ecuaciones triangular superior.

Resumen

Metodo de Gauss

0BBBBBBBBBBBB@

a11 a12 · · · a1n

0 a′22 · · · a′2n

. b′2...

. . .. . .

0 · · · 0 a(n−1nn

. b(n−1n

1CCCCCCCCCCCCA

AlmacenamientoCuando una matriz tiene un numero elevado de entradas nulas, se denomina escasa o hueca (sparse). Estasmatrices requieren tecnicas de almacenamiento especiales que solo consideren los terminos no nulos.Evidentemente, esto supone una implementacion mas complicada de los metodos de resolucion.

Resumen

Metodo de Gauss

0BBBBBBBBBBBB@

a11 a12 · · · a1n

0 a′22 · · · a′2n

. b′2...

. . .. . .

0 · · · 0 a(n−1nn

. b(n−1n

1CCCCCCCCCCCCA

Numero de operacionesIncluyendo la resolucion del sistema triangular, el numero de operaciones aritmeticas es:

Multiplicaciones/divisiones:2n3 + 3n2 − 5n

n2 + n

n2 − n

Resumen

Metodo de Gauss

Pivote parcial

Cuando se realiza la eleccion del pivote, podemos tener problemas si este es nulo o incluso si es muypequeno en valor absoluto.

La tecnica de pivoteo parcial, trata de evitar este problema tomando en cada paso i-esimo el mayor pivoteposible, en valor absoluto, en esa misma columna (api ) por debajo de la diagonal (p ≥ i).

Esto implica intercambio de las filas i por la p: (Ei ) ↔ (Ep).

Evidentemente, el mismo cambio afecta al vector segundo miembro b.

Anade al metodo de Gauss3

2n(n − 1) comparaciones y

n(n + 1)

2− 1 divisiones.

Resumen

Metodo de Gauss

Pivote parcial

Cuando se realiza la eleccion del pivote, podemos tener problemas si este es nulo o incluso si es muypequeno en valor absoluto.

La tecnica de pivoteo parcial, trata de evitar este problema tomando en cada paso i-esimo el mayor pivoteposible, en valor absoluto, en esa misma columna (api ) por debajo de la diagonal (p ≥ i).

Esto implica intercambio de las filas i por la p: (Ei ) ↔ (Ep).

Evidentemente, el mismo cambio afecta al vector segundo miembro b.

Anade al metodo de Gauss3

2n(n − 1) comparaciones y

n(n + 1)

2− 1 divisiones.

Pivote totalLa tecnica de pivoteo total refina aun mas la eleccion, tomando en cada paso i-esimo el mayor pivoteposible en valor absoluto (apq), en todas las columnas q a partir de la diagonal (q ≥ i) y por debajo de ladiagonal (p ≥ i).

Esto implica intercambio de las filas i por la p: (Ei ) ↔ (Ep), y de las columnas i por la q: (Ci ) ↔ (Cq).

El cambio de filas afecta al vector b y el de columnas al vector x .

Anade al metodo de Gaussn(n − 1)(2n + 5)

6comparaciones.

Resumen

Algoritmo de la factorizacion LU

1 Preliminares

2 Metodo de Gauss

3 Factorizacion LU

6 Resumen

Resumen

Descomposicion de una matriz como producto de dos triangularesSupongamos que la matriz de un sistema Ax = b se puede descomponer como A = LU, con L triangular inferior yU triangular superior.

LUx = b,⇒ resolver Ly = b, Ux = y

Resumen

Descomposicion de una matriz como producto de dos triangularesSupongamos que la matriz de un sistema Ax = b se puede descomponer como A = LU, con L triangular inferior yU triangular superior.

LUx = b,⇒ resolver Ly = b, Ux = y

AlgoritmoMultiplicando L por U e igualando, se obtiene:

l11u11 = a11 u1j =a1j

, j ≥ 2 li1 =ai1

, i ≥ 2

lkkukk = akk −k−1Xr=1

lkr urk , k ≥ 2

ukj =1

0@akj −

k−1Xr=1

lkr urj

1A , j > k, k ≥ 2

lik =1

0@aik −

k−1Xr=1

lir urk

1A , i > k, k ≥ 2

Resumen

Eleccion de la diagonalSe fijan arbitrariamente lkk o ukk

Si se fijan los elementos diagonales de U como 1, ukk = 1, se tiene la factorizacion de Crout.

Si se fijan los elementos diagonales de L como 1, lkk = 1, se tiene la factorizacion de Doolittle.

Resumen

Existencia de la factorizacionSi |A| 6= 0, siempre existe una permutacion de las filas de A tal que la matriz resultante es factorizable de la formaLU.

Resumen

AlmacenamientoFrecuentemente se suele almacenar L y U sobre el mismo espacio de A, en las respectivas partes triangulares.

Resumen

AlmacenamientoFrecuentemente se suele almacenar L y U sobre el mismo espacio de A, en las respectivas partes triangulares.

Numero de operaciones

Multiplicaciones/divisiones:n3 − n

Sumas/restas:n3

6+ n2 − n

Resumen

Algoritmo de la Factorizacion de Cholesky

1 Preliminares

2 Metodo de Gauss

3 Factorizacion LU

6 Resumen

Resumen

Descomposicion de una matriz simetrica definida positiva en LLt

Supongamos que la matriz simetrica difinida positiva de un sistema Ax = b se puede descomponer como A = LLt ,con L triangular inferior y Lt triangular superior.

LLtx = b,⇒ resolver Ly = b, Ltx = y

Resumen

Descomposicion de una matriz simetrica definida positiva en LLt

Supongamos que la matriz simetrica difinida positiva de un sistema Ax = b se puede descomponer como A = LLt ,con L triangular inferior y Lt triangular superior.

LLtx = b,⇒ resolver Ly = b, Ltx = y

Algoritmo

Multiplicando L por Lt e igualando, se obtiene (solo se calculan los elementos de L):

l11 =√

a11 li1 =ai1

, i ≥ 2

vuuutakk −k−1Xr=1

, k ≥ 2

lik =1

0@aik −

k−1Xr=1

lir lkr

1A , i > k, k ≥ 2

Resumen

Teorema de caracterizacion de matrices simetricas definidaspositivasUna matriz es simetrica definida positiva si y solo si admite descomposicion de Cholesky.

Resumen

Teorema de caracterizacion de matrices simetricas definidaspositivasUna matriz es simetrica definida positiva si y solo si admite descomposicion de Cholesky.Otras aplicaciones

Calcular el determinante de una matriz simetrica definida positiva:

|A| = |LLt | = |L||Lt | = |L|2 =nY

Resolver el sistema Ax = b:Ly = b, Ltx = y

Resumen

|A| = |LLt | = |L||Lt | = |L|2 =nY

AlmacenamientoSolo es necesario almacenar L ya que Lt tiene simetricamente las mismas entradas.

Resumen

|A| = |LLt | = |L||Lt | = |L|2 =nY

AlmacenamientoSolo es necesario almacenar L ya que Lt tiene simetricamente las mismas entradas.

Numero de operaciones

Raıces cuadradas: n

Multiplicaciones/divisiones:n3 + 3n2 − 4n

6+ n2 + n

6+ n2 − n

Resumen

Planteamiento del problema

1 Preliminares

2 Metodo de Gauss

3 Factorizacion LU

6 Resumen

Resumen

Planteamiento del problemaSea una matriz A a la que se presente obtener su inversa X , entonces

AX = I

Esto significa resolver n sistemas de ecuaciones lineales con la misma matriz, donde los segundos miembros son losvectores de la base canonica. De cada sistema j-esimo se obtiene la j-esima columna de la matriz inversa X :

a11x1j + a12x2j + · · · + a1nxnj = 0

a21x1j + a22x2j + · · · + a2nxnj = 0

aj1x1j + aj2x2j + · · · + ajnxnj = 1

an1x1j + an2x2j + · · · + annxnj = 0

Resumen

Resolucion del problema

Resolucion del problemaEl procedimiento mas adecuado es utilizar la factorizacion de Cholesky si el problema es simetrico o la LU si no loes. De esta forma, las operaciones de triangulacion solo se realizan una vez.Esto supone el coste de una factorizacion y n procesos de remonte de dos sistemas triangulares.

Resumen

Resolucion del problema

Resolucion del problemaEl procedimiento mas adecuado es utilizar la factorizacion de Cholesky si el problema es simetrico o la LU si no loes. De esta forma, las operaciones de triangulacion solo se realizan una vez.Esto supone el coste de una factorizacion y n procesos de remonte de dos sistemas triangulares.

Numero de operacionesCaso simetrico

Raıces cuadradas: n

Multiplicaciones/divisiones:n3 + 3n2 − 4n

6+ n(n2 + n)

6+ n(n2 − n)

Caso no simetrico

Multiplicaciones/divisiones:n3 − n

3+ n(n2)

Sumas/restas:n3

6+ n(n2 − n)

Resumen

1 Preliminares

2 Metodo de Gauss

3 Factorizacion LU

6 Resumen

Resumen

El numero de operaciones que realizan los metodos directos para la resolucionde sistemas de ecuaciones lineales es de orden n3.

La tecnica de pivoteo parcial suele conducir a mejores resultados que la depivoteo trivial en sistemas mal condicionados. Sin embargo, el pivoteo totalresulta excesivamente costoso en relacion al coste total de resolucion.

Aunque el metodo de Gauss y la factorizacion LU se pueden utilizar pararesolver cualquier tipo de sistema, para el caso simetrico el metodo de Choleskyes menos costoso y por tanto preferible.

Cuando se trata de resolver un conjunto de sistemas de ecuaciones con la mismamatriz, conviene utilizar un metodo de factorizacion, ya que solo es necesariorealizarla una vez.

Resumen

parte 2. métodos directos para la resolución de sistemas de … · 2009-02-13 · preliminares...

Documents

métodos de cholesky

soluciones de factorizacion

métodos para matrices especiales. descomposición de...

modulo factorizacion

07. factorizacion

definicion de factorizacion

factorizacion polinomios

productos notables, factorizacion

1.2 factorizacion

5 factorizacion lu

casos de factorizacion

sec 0016 factorizacion

ejercicios de factorizacion

teoría factorizacion

taller factorizacion

factorizacion (1)

factorizacion lu

factorizacion por rufini

ayudantia factorizacion

factorización cholesky simbólica