resolución numérica de sistemas de ecuaciones. … · clasificación de los métodos de...

1

Laboratori de Càlcul Numèric (LaCàN)Departament de Matemàtica Aplicada III

Universitat Politècnica de Catalunya (Spain)http://www-lacan.upc.es



Resolución numérica de sistemas de ecuaciones.

Introducción


Introducción

SISTEMAS DE ECUACIONES LINEALES· 2

ÍndiceÍndice

� Motivación� Objetivos� Condiciones de existencia de solución� Perspectiva numérica� Clasificación de los métodos de resolución

SISTEMAS DE ECUACIONES LINEALES · 3

MotivaciónMotivaciónLa cercha de la figura se carga con una fuerza uniforme repartida sobre el cordón superior

El planteamiento del problema conduce a un sistema lineal de ecuaciones de dimensión n=50 y en el que la matriz tiene la siguiente estructura

Al resolver el sistema, obtenemos la deformada de la estructura


ObjetivosObjetivos

La formulación de problemas de ingeniería a menudo conduce a sistemas lineales de ecuaciones. Estos sistemas pueden llegar a tener cientos o miles de grados de libertad.

El objetivo de este tema es desarrollar estrategias numéricas que permitan resolver sistemas de ecuaciones relativamente grandes de una manera eficiente.

Además, se analizarán con detalle algunos métodos directos.

2


Existencia y unicidad de solucionesExistencia y unicidad de soluciones

Consideremos una matriz cuadradaLas siguientes condiciones son equivalentes:

1. Para cualquier el sistema tiene solución

2. Si tiene solución, ésta es única

3. Para cualquier ,

4. Las columnas (filas) de la matriz son linealmente independientes

5. Existe una matriz cuadrada (matriz inversa) tal que

6. La matriz tiene determinante no nulo

Las condiciones de existencia y unicidad no son útiles des del punto de vista numérico

� DeterminantesEl cálculo de un determinante es muy costoso. Además, es difícil decidir si es cero o no

� Matriz inversaEl cálculo directo de la matriz inversa es muy costoso.

Para calcularla se tienen que resolver n sistemas de ecuaciones de dimensión n:

donde es la i-ésima columna de la matriz inversa y es el i-ésimo vector de la base canónica.


Perspectiva numéricaPerspectiva numérica


De hecho, métodos clásicos como el de Cramer tampoco sirven para resolver sistemas grandes. El número total de operaciones para resolver un sistema de dimensión n con este método es

TC = (n+1)2n! – 1

Des del punto de vista numérico buscaremos algoritmos eficientes en diferentes aspectos:

� Número de operaciones necesarias (tiempo CPU)� Necesidades de almacenamiento (memoria)� Rango de aplicabilidad (sobre que tipo de matrices se

pueden aplicar)

n TC

5 4319

10 4x108

100 10158 3x10142 años !!!100 Mflops


Clasificación de los métodos de resoluciónClasificación de los métodos de resolución

1. Sistemas con solución inmediataSistemas con matriz diagonal o triangular

2. Métodos directosMediante operaciones de fila o columna transformamos el sistema en uno de solución inmediata.La solución “exacta” (salvo errores de redondeo) se obtiene en un número finito de pasos.� métodos de eliminación (Gauss)� métodos de descomposición (Crout, Txolesqui)

Descomponemos la matriz del sistema en un producto de matrices triangulares

triangular inferior

triangular superior

3


Entonces podemos resolver el sistema haciendo dos sustituciones

3. Métodos iterativos

Dada una aproximación inicial , calculamos nuevas aproximaciones

hasta converger a la solución del sistema.

calculamos con una sustitución hacia adelante

calculamos con una sustitución hacia atrás






Métodos directos


Métodos directos


ÍndiceÍndice

� Introducción� Clasificación de los métodos directos� Sistemas con solución inmediata

• Matrices diagonales• Matrices triangulares

� Método de Gauss� Método de Crout� Método de Cholesky� Llenado (fill-in)


IntroducciónIntroducción

Objetivo: encontrar algoritmos eficientes:� Número de operaciones necesarias (tiempo CPU)� Necesidades de almacenamiento (memoria)� Rango de aplicabilidad (sobre que tipo de matrices se

pueden aplicar)para resolver sistemas de ecuaciones lineales .Características de los métodos directos:

� Mediante operaciones de fila o columna se transforma el sistema de ecuaciones en uno de solución inmediata (con matriz diagonal o triangular)

llenado (fill-in)� La solución “exacta” (salvo errores de redondeo) se

obtiene en un número finito de pasos.

4


Clasificación de métodos directosClasificación de métodos directos1. Métodos de eliminación (Gauss)

Transformamos la matriz del sistema y el vector de términos independientes hasta obtener un sistema con matriz triangular superior.

2. Métodos de descomposición (Crout, Cholesky)Descomponemos la matriz del sistema en un producto de matrices triangulares

y resolvemos el sistema haciendo dos sustituciones

triangular inferior

triangular superior



Sistemas con matriz diagonal

Cada ecuación del sistema se escribey por tanto podemos resolver

Algoritmo para resolver un sistema con matriz diagonal

� Es necesario que dii ≠ 0 per i=1,2,…n (es decir, es necesario que la matriz del sistema sea regular)


Sistemas con solución inmediataSistemas con solución inmediata

TD = n operaciones


Sistemas con matriz triangular superior

Empezamos resolviendo la última ecuación

Las ecuaciones restantes pueden resolverse a partir de ésta.Para i = n-1, n-2, … 1

El algoritmo para resolver un sistema con matriz triangular superior (sustitución hacia atrás) se puede escribir:

� Es necesario que uii ≠ 0 para i=1,2,…n (es decir, que la matriz del sistema sea regular)

Podemos contar las operaciones necesarias para resolver unsistema con matriz triangular superior de dimensión n

1+2+…(n-1) = n(n-1)/2 sumas1+2+…(n-1) = n(n-1)/2 productos TU = n2 operaciones

n divisionesSISTEMAS DE ECUACIONES LINEALES · 16

5

SISTEMAS(2). MÉTODOS DIRECTOS · 17

Sistemas con matriz triangular inferior

Empezamos resolviendo la primera ecuación

Las ecuaciones restantes pueden resolverse a partir de ésta.Para i = 2, 3, … n

El algoritmo para resolver un sistema con matriz triangular inferior (sustitución hacia adelante) se puede escribir:

� Es necesario que lii ≠ 0 para i=1,2,…n (es decir, que la matriz del sistema sea regular)

Podemos contar las operaciones necesarias para resolver unsistema con matriz triangular superior de dimensión n

1+2+…(n-1) = n(n-1)/2 sumas1+2+…(n-1) = n(n-1)/2 productos TL = n2 operaciones

n divisiones SISTEMAS DE ECUACIONES LINEALES · 18


Método de GaussMétodo de GaussLa idea del método de Gauss es transformar un sistema conmatriz llena en un sistema con matriz triangular superior, que se puede resolver de forma inmediata.

1. Eliminación

1.1 Ponemos ceros en la primera columna

(fila 2) = (fila 2) – a21/a11 (fila 1) = (fila 2) – 2(fila 1)


1.2 Ponemos ceros en la segunda columna


2. Sustitución


6


Proceso de eliminación gaussiana

Consideremos un sistema que inicialmente escribiremos como

1. Ponemos ceros en la columna k=1i: fila en la que ponemos 0

(fila i)(1) = (fila i)(0) – mi1 (fila 1)(0)


Tras estas operaciones el sistema queda

2. Ponemos ceros en la columna k = 2

i: fila en la que ponemos 0



Tras este segundo paso el sistema queda

3. Ponemos ceros en la columna k=3

i: fila en la que ponemos 0



En general, al final del paso k-1 tendremos un sistema

k. Ponemos ceros en la columna ki: fila en la que ponemos 0

(fila i)(k) = (fila i)(k-1) – mik (fila k)(k-1)

7


El funcionamiento del método de Gauss se puede describir en las dos fases siguientes:

1. EliminaciónEn cada paso k hacemos cero las componentes de la columna k que quedan por debajo de la diagonal:

Para k = 1,2,...,n-1Para i = k+1,...,n

mik = aik / akk

(fila i)(k) = (fila i)(k-1) – mik (fila k)(k-1)

2. SustituciónAl acabar el proceso de eliminación, tenemos un sistemacon matriz triangular superior, que se puede resolver mediante una sustitución hacia atrás.


El algoritmo para describir el proceso de eliminación gaussiana se puede escribir como:

� Es necesario que akk ≠ 0 para i=1,2,...,nSi no, será necesario pivotar para poder seguir con el proceso

(K-1)

Pivotamiento

Por ejemplo, tomamos el paso k=3 de la eliminación del método de Gauss.

� Pivotamiento parcial: se permutan filas para conseguir que |akk| ≥ |aik| para i>k

� Pivotamiento total: se permutan filas y columnas para conseguir que |akk| ≥ |aij| para i,j ≥ k



� Un sistema de dimensión n se puede resolver mediante el método de Gauss (eliminación + sustitución) haciendo sólo

TG = (4n3 + 9n2 – 7)/6 ≈ (2/3)n3 operaciones

� El proceso de eliminación gaussiana permite calcular el determinante de una matriz de una forma eficiente. Una vez triangulada la matriz, el determinante se puede calcular multiplicando los coeficientes de la diagonal:

|A| = a11 · a22 · a33 · … · ann

n TC TG

5 4319 115

10 4x108 805

100 10160 681.550

1000 102573 6x108

8


� Si queremos resolver varios sistemas con la misma matriz y diferentes términos independientes (conocidos a priori), podemos hacer eliminación sobre la matriz y todos los términos independientes a la vez

Una vez finalizado el proceso de eliminación, basta con hacer tantas sustituciones como términos independientes haya.

� Este procedimiento se puede utilizar para calcular matrices inversas. Sólo se tienen que considerar como términos independientes los vectores que forman la base canónica


Método de CroutMétodo de Crout

La idea del método de Crout es descomponer la matriz del sistema como producto de matrices triangulares

Entonces, para resolver el sistema basta con realizar dos sustituciones (una hacia adelante y una hacia atrás)

triangular inferior

triangular superior




Descomposición LU

� Descomponemos la matriz del sistema A como producto de una matriz triangular inferior L por una matriz triangular superior U

� Para que la descomposición sea única, es necesario que U tenga diagonal unitaria

� La factorización se hace de forma recursiva, descomponiendo sucesivamente los menores principales de la matriz A


k = 1

k > 1Para un paso cualquiera k, conviene escribir el menor por bloques

de manera que podemos escribir la descomposición como

incógnitas

9


Multiplicando los bloques de esta descomposición se tiene:

�

Descomposición del paso anterior

�

Sistema con matriz triangular inferior que permite calcular el vector u[k] mediante una sustitución hacia delante

�

Sistema con matriz triangular inferior que permite calcular el vector l[k] mediante una sustitución hacia delante

�

Una vez calculados u[k] y l[k], se puede obtener el término de la diagonal lk,k.


Resolución del sistema L[k-1]u[k] = c[k]

Resolución del sistema UT

[k-1]l[k] = f[k]

Algoritmo de descomposición LU


� Una vez factorizada la matriz, es necesario hacer dos sustituciones para resolver el sistema.

� La descomposición de la matriz puede almacenarse sobre A, de manera que no es necesario guardar espacio adicional para las matrices L y U.

� El número de operaciones necesarias para resolver un sistema con este método es el mismo que el de Gauss

TLU = (4n3 + 9n2 – 7)/6 ≈ (2/3)n3

� La ventaja de este método respecto del de Gauss es que, una vez factorizada la matriz, puede utilizarse la descomposición para resolver varios sistemas, sin necesidad de conocer a priori los términos independientes. De este modo, para resolver cada sistema adicional sólo se tienen que hacer dos sustituciones (2n2 operaciones).


Teorema: si A es invertible y se puede factorizar como A = LU, donde L tiene la diagonal unitaria, entonces la factorización es única

Teorema: si A es invertible existe una matriz de permutación P tal que PA=LU

Con pivotamiento total, siempre es posible hacer una factorización LU (o Gauss) de una matriz regular

Teorema: la condición necesaria y suficiente para que una matriz regular A se pueda descomponer como A = LU

es que todos los menores principales tengan determinante no nulo

10


Método de CholeskyMétodo de Cholesky

Para el caso de matrices simétricas y definidas positivas, se puede descomponer la matriz como

con L triangular inferior.

Como en el método de Crout, la factorización se hace descomponiendo sucesivamente los menores principales de la matriz AEn este caso, al aprovechar las características de la matriz, se realizan aproximadamente la mitad de operaciones que con el de Crout

TChol ≈ (1/3)n3


Algoritmo de la descomposición de Cholesky


Llenado en métodos de factorizaciónLlenado en métodos de factorización� Al factorizar una matriz pueden aparecer coeficientes no

nulos donde inicialmente había ceros � Se mantiene el skyline de la matriz


Estructura de barras 2D

50 grados de libertad

nz = 288 nz = 215

nz: nº de componentes ≠ 0

11


Estructura de barras 3D

111 grados de libertad

nz = 1327

nz = 1327 nz = 2135

nz = 3877






Métodos iterativos


Métodos iterativos


ÍndiceÍndice

� Introducción� Métodos iterativos estacionarios

• Consistencia y convergencia• Velocidad de convergencia• Métodos clásicos: Richardson, Jacobi, Gauss-Seidel

� Métodos iterativos no estacionarios • Máximo descenso• Gradientes conjugados• Precondicionamiento• GMRES

� Ejemplos


IntroducciónIntroducción

� Objetivo: resolver con regular

� Notación:• residuo• solución

� Esquema iterativoA partir de una aproximación inicial, se genera una sucesión

que converja a la solución del sistema

La aproximación se calcula a partir de las anteriores, utilizando operaciones con vectores o productos matriz por vector.

12

La sucesión de aproximaciones se genera a partir de una expresión de la forma

Habitualmente, los esquemas son

que es un caso particular con

� Cálculos• cálculo del residuo

• resolución de un sistema

• actualización de la aproximación

� La matriz C debe ser fácilmente “invertible” y cumplir ciertas propiedades


Métodos iterativos estacionariosMétodos iterativos estacionarios


ConsistenciaConsistencia

Definición: Un esquema iterativo es consistente si y sólosi x* es el único punto fijo.

1. Es punto fijo:2. Es el único punto fijo: consideremos tal que

, entonces

El sistema tiene solución única, , si y sólo si es regular

� Para esquemas de la forma1. x* es punto fijo por construcción2. es el único punto fijo por ser C regular


ConvergenciaConvergenciaDefinición:Un esquema iterativo es convergente si y sólo si el error en la iteración k, , cumple

para cualquier .

Análisis de convergencia� Se asume consistencia del esquema� El error cumple� El esquema es convergente si

o, equivalentemente, si

<<radio espectral


� Puede comprobarse que la condición

es necesaria y suficiente

� Corolario:Una condición suficiente para convergencia es

Fácil de comprobar con las normas matriciales

<<

13


Velocidad de convergenciaVelocidad de convergencia

Consideramos una aproximación con q cifras significativascorrectas

¿Cuántas iteraciones ν hay que hacer para conseguir m cifras correctas más?

Para conseguir las m cifras correctas más basta con

o, equivalentemente,

Así, para conseguir basta con

donde

� Tomando el límite para ν�∞, se define la velocidad de convergencia como

• para � grande (conv. rápida)

• para � >0 pequeña (conv. lenta)

• para � <0 (conv. no asegurada)


(velocidad)


Métodos clásicosMétodos clásicos

Por construcción, son métodos consistentes y la convergencia está asegurada si

Observación: si C=A el esquema converge en una sola iteración � consideramos C≈A pero fácilmente invertiblePara definir C se considera la descomposición aditiva


Método de Richardson

� Corresponde a

� Condición de convergencia ( ) demasiado restrictiva y no se utiliza

Método de Jacobi� Corresponde a

14


Método de Gauss-Seidel

� Corresponde a


Condiciones de convergencia

El método de Jacobi es convergente si• A es diagonalmente dominante

El método de Gauss-Seidel es convergente si• A es diagonalmente dominante, o• A es simétrica y definida positiva

Observaciones:

� Las iteraciones de Gauss-Seidel dependen de la ordenación de las incógnitas. Se puede alternar con


� Los métodos vistos también se pueden aplicar por bloques

Gauss-Seidel por bloques:

� Métodos SOR (Sobrerelajaciones sucesivas): C=C(ω) donde el parámetro se elige para optimizar la convergencia


Métodos iterativos no estacionariosMétodos iterativos no estacionarios� El esquema cambia con las iteraciones� Para empezar, consideremos una matriz A simétrica y

definida positiva.Entonces, es solución del sistema si y sólo si es el mínimo del funcional cuadrático:

A definida positiva

A singular

A definida negativa

A indefinida

15


Máximo descensoMáximo descenso

Idea: avanzar en la dirección de máxima pendiente

La dirección del gradiente es la de máximo crecimientode la función y, dado que se quiere resolver un problemade minimización, la dirección de avance será

Esquema iterativo:

se determina resolviendo un problema de minimizaciónunidimensional


Figuras de “The Conjugate Gradient Method Without the Agonizing Pain”, J.R. Shewchuk

� Máximo descenso: representación gráfica


Superficie definida por el funcional φ(x) y sus curvas de nivel con los vectores gradiente

Iteraciones del método de máximo descenso

� Sólo se tiene en cuenta el comportamiento local de la función� Se repiten direcciones de avance� El comportamiento del método depende del condicionamiento

de la matriz (para matrices SDP, del cociente entre el mayor y el menor autovalor)


16


Gradientes conjugadosGradientes conjugados

Idea: no repetir direcciones de avance

Esquema iterativo:� se determina resolviendo un problema de minimización

en la dirección de avance

� Las direcciones de avance en cada iteración se escogen A-conjugadas y se definen como

con


� Gradientes conjugados: algortimo

Operaciones:• 2 matriz x vector• 3 productos escalares• 2 (escalar x vector) + vector


� Gradientes conjugados: propiedades

Convergencia en n iteraciones como máximo


� Gradientes conjugados: algoritmo mejorado

Operaciones:• 1 matriz x vector• 2 productos escalares• 3 (escalar x vector) + vector

17


Iteraciones de gradientes conjugados

� Converge en como máximo n iteraciones, siendo n la dimensión del sistema

� Aunque en sentido estricto es un método directo (se llega a la solución en un número finito de pasos), se utiliza como iterativo porque normalmente converge mucho antes de n iteraciones.


PrecondicionamientoPrecondicionamiento

La convergencia de un método iterativo depende del númerode condición de la matriz del sistema, que para matrices SDPse define como

Idea: reducir el número de condición de la matriz del sistema

Se considera una matriz (precondicionador) tal que� sea fácilmente inversible�

y se resuelve el sistema equivalente


Con esta estructura se pierde la simetría de la matriz, demanera que para precondicionar gradientes conjugadosse utiliza otra estrategia. Se resuelve un sistema

con

� Si es una matriz SDP, su raíz cuadrada es la única matriz SDP que verifica .

Si diagonaliza como , se define

� En la práctica el algoritmo se simplifica para evitar el cálculo de P1/2.


� Gradientes conjugados precondicionado

No se calcula P1/2.

Sólo es necesario resolver un sistema con matriz P

18


GMRESGMRES� Método iterativo para matrices regulares cualesquiera.

� En cada iteración xk minimiza la norma euclídea del residuo en x0+Kk:

donde el k-ésimo espacio de Krylov se define como

Observación: Kk⊂ Rn es de dimensión k, de manera que en la iteración n se calcula la minimización del error en Rn

proporciona la solución x* (es decir, se obtiene la solución en n iteraciones como máximo)

� Para resolver el problema de minimización se hacen varias reformulaciones.

ReferenciasReferencias

Métodos directos� A. Huerta, J. Sarrate, A. Rodríguez-Ferran, “Métodos numéricos.

Introducción, aplicaciones y programación”, Edicions UPC, 1998� J. D. Hoffman, “Numerical Methods for Engineers and scientists”,

McGraw Hill, 1993� Ll. N. Trefethen and D. Bau, “Numerical Linear Algebra”, SIAM, 1997 Métodos iterativos� Ll. N. Trefethen and D. Bau, “Numerical Linear Algebra”, SIAM, 1997

� G.H. Golub and C.F. Van Loan, “Matrix computations”, The Johns Hopkins University Press, 1996

� J.R. Shewchuk, “An Introduction to the Conjugate Gradient Method Without the Agonizing Pain”, Technical Report CMU-CS-94-125, Carnegie Mellon University, 1994

� Y. Saad, “Iterative methods for sparse linear systems (1st edition)”, 1996. http://www-users.cs.umn.edu/~saad/books.html


resolución numérica de sistemas de ecuaciones. … · clasificación de los métodos de...

Documents