factorizacion (resuelta)

Leccin 3. Factorizacin LU

lgebra Lineal & Mtodos NumricosDpto. Matemtica Aplicada y Estadstica

Grado en Ingeniera en Sistemas de TelecomunicacinGrado en Ingeniera Telemtica Curso 2014-2015

Leccin 3. Resolucin de sistemaslineales mediante factorizacin LU

1. Construccin de la factorizacin LUEn esta prctica vamos a trabajar sobre la resolucin de un sistema lineal A~x = ~b con

det(A) 6= 0 para que el sistema sea compatible determinado. El algoritmo de resolucin serasencillo si la matriz A fuese triangular (inferior o superior), y por este motivo buscaremosescribir la matriz como un producto de matrices triangulares

Se llama factorizacin LU de una matriz regular A Mn,n(R) a un par de matrices regularesL, U Mn,n(R) que son respectivamente triangulares inferior (lower) y superior (upper),tales que A = L U . Con estas condiciones podra existir ms de una factorizacin ya queexisten parmetros libres, estos parmetros se pueden fijar exigiendo que los elementos de ladiagonal de L sean iguales a 1, en lo que se conoce como factorizacin de Doolittle. Ahorael nmero de parmetros libres en L y U coincide con la dimensin n2 de A y, si existefactorizacin, sta es nica

A =

a1 1 a1 2 a1 n1 a1 na2 1 a2 2 a2 n1 a2 n... ... . . . ... ...

an1 1 an1 2 an1 n1 an1 nan 1 an 2 an n1 an n

=

=

1 0 0 0l2 1 1 0 0... ... . . . ... ...

ln1 1 ln1 2 1 0ln 1 ln 2 ln n1 1

u1 1 u1 2 u1 n1 u1 n0 u2 2 u2 n1 u2 n... ... . . . ... ...0 0 un1 n1 un1 n0 0 0 un n

= L U

Material docente realizado por David Javier Lpez Medina, e-mail: [email protected]. Tanto esta obracomo los scripts a los que hace referencia estn liberados bajo licencia Creative Commons Reconocimiento-NoComercial-CompartirIgual 3.0 Espaa

1
http://creativecommons.org/licenses/by-nc-sa/3.0/es/


El elemento ai j se obtendr mediante el producto de la fila i de L con la columna j de U

ai j = ~li ~u j =

= li 1 u1 j + li 2 u2 j + . . . + li n un j =

=n

k=1li k uk j

En la expresin anterior no se ha tenido en cuenta que li k = 0 si k > i y que uk j = 0 sik > j. Eliminando los valores nulos deducimos que

ai j =mn{i,j}

k=1li k uk j

Esto nos lleva a los siguientes casos

Caso i > j. Se tiene que mn{i, j} = j y

ai j =j

k=1li k uk j = li 1 u1 j + li 2 u2 j + . . . + li j1 uj1 j + li j uj j

Entonces podemos despejar li j en funcin de valores en columnas anteriores de L yfilas anteriores de U

li j = (ai j li 1 u1 j li 2 u2 j . . . li j1 uj1 j)/uj j =ai j j1

k=1li k uk j

/uj jCaso i j. Ahora mn{i, j} = i, y por tanto

ai j =i

k=1li k uk j = li 1 u1 j + li 2 u2 j + . . . + li i1 ui1 j + li i ui j

= li 1 u1 j + li 2 u2 j + . . . + li i1 ui1 j + 1 ui j

Quien ahora podemos despejar en trminos ya calculados es

ui j = ai j li 1 u1 j li 2 u2 j . . . li i1 ui1 j = ai j i1k=1

li k uk j

Deducimos entonces que la factorizacin se puede calcular fcilmente siguiendo el ordennatural de los coeficientes: primero por filas y luego por columnas. Hemos programado estealgoritmo en la sesin de Maxima llamada LU.wxmx

H LU(A,[no_output]): Factorizacin LU de una matriz cuadrada A (con output paso apaso opcional)

2


LU(A,[no_output]):=...(n:matrix_size(A)[1],for i:1 thru n do(for j:1 thru n do(if i>j then u[i,j]:0 else if i=j then l[i,j]:1 else l[i,j]:0)),...for i:1 thru n do(for j:1 thru n do(e[i,j]:sum(l[i,k]*u[k,j],k,1,min(i,j))=A[i][j],linsolve(e[i,j],if i>j then l[i,j] else u[i,j]),...)),)$

F Ejercicio 1: Calcula la factorizacin LU de la matriz A =

4 2 22 2 32 3 14

( %i)A:matrix([4,2,-2],[2,2,-3],[-2,-3,14]);

( %o)

4 2 22 2 32 3 14

( %i)LU(A);

Sistema original:

1 0 0l2,1 1 0l3,1 l3,2 1

.u1,1 u1,2 u1,30 u2,2 u2,3

0 0 u3,3

= 4 2 22 2 32 3 14

Ecuacin fila 1 columna 1: u1,1 = 4, Solucin u1,1 = 4

Sistema actualizado:

1 0 0l2,1 1 0l3,1 l3,2 1

.4 u1,2 u1,30 u2,2 u2,3

0 0 u3,3

= 4 2 22 2 32 3 14


3



1 0 0l2,1 1 0l3,1 l3,2 1

.4 2 u1,30 u2,2 u2,3

0 0 u3,3

= 4 2 22 2 32 3 14



1 0 0l2,1 1 0l3,1 l3,2 1

.4 2 20 u2,2 u2,3

0 0 u3,3

= 4 2 22 2 32 3 14

Ecuacin fila 2 columna 1: 4 l2,1 = 2, Solucin l2,1 = 12


1 0 012 1 0l3,1 l3,2 1

.4 2 20 u2,2 u2,3

0 0 u3,3

= 4 2 22 2 32 3 14

Ecuacin fila 2 columna 2: u2,2 + 1 = 2, Solucin u2,2 = 1


1 0 012 1 0l3,1 l3,2 1

.4 2 20 1 u2,3

0 0 u3,3

= 4 2 22 2 32 3 14

Ecuacin fila 2 columna 3: u2,3 1 = 3, Solucin u2,3 = 2


1 0 012 1 0l3,1 l3,2 1

.4 2 20 1 2

0 0 u3,3

= 4 2 22 2 32 3 14

Ecuacin fila 3 columna 1: 4 l3,1 = 2, Solucin l3,1 = 12


1 0 012 1 012 l3,2 1

.4 2 20 1 2

0 0 u3,3

= 4 2 22 2 32 3 14

Ecuacin fila 3 columna 2: l3,2 1 = 3, Solucin l3,2 = 2


1 0 012 1 012 2 1

.4 2 20 1 2

0 0 u3,3

= 4 2 22 2 32 3 14

Ecuacin fila 3 columna 3: u3,3 + 5 = 14, Solucin u3,3 = 9


1 0 012 1 012 2 1

.4 2 20 1 2

0 0 9

= 4 2 22 2 32 3 14

( %o)[

1 0 012 1 012 2 1

,4 2 20 1 2

0 0 9

]Para ahorrar memoria se podran haber guardado los coeficientes no triviales de L y U so-breescribiendo los valores ai j de A. Este ahorro computacional podra tener cierta relevancia

4


si la dimensin n fuera muy grande (n >> 1)

No todas las matrices regulares A admiten factorizacin LU . La condicin necesaria y su-ficiente para la existencia de factorizacin es que, no slo el ltimo, sino todos los menoresprincipales de A sean no nulos. En caso de que no se cumpla esta condicin se puede recu-rrir a una estrategia de pivoteo, por ejemplo reordenando adecuadamente las ecuaciones delsistema (asociadas a las filas de A)Nota: Maxima lleva incorporado tanto el ahorro de memoria como la estrategia de pivoteoen una funcin propia llamada lu_factor. Sin embargo hemos preferido crear una funcinLU propia para que se pueda apreciar el orden en el que se van calculando los coeficientesli,j y ui,j

2. Aplicaciones de la factorizacin LULa factorizacin LU puede utilizarse para resolver varios problemas clsicos de lgebra

lineal, que no resultan sencillos de resolver especialmente en matrices de dimensin grande

2.1. Clculo de determinantesComo los determinantes de las matrices triangulares son el producto de los elementos de

sus diagonales deducimos que

det(A) = det(L) det(U) =n

i=1li i

ni=1

ui i =n

i=11

ni=1

ui i =n

i=1ui i = u1 1 un n

Nota: De la condicin det(A) 6= 0 concluimos que uj j 6= 0 j {1, . . . , n}. Esto es importantepuesto que uj j aparece como denominador al calcular li j

F Ejercicio 2: Calcula det

4 2 22 2 32 3 14

y comprueba que coincide con el determinantedel factor triangular superior U

( %i)determinant(A);( %o)36

( %i)[L,U]:LU(A,no_output);

( %o)[

1 0 012 1 012 2 1

,4 2 20 1 2

0 0 9

]( %i)determinant(U);( %o)36

5


2.2. Resolucin de un sistema linealSin duda la principal utilidad de la factorizacin LU es la aplicacin para la resolucin

de sistemas lineales A~x = ~b. As, si llamamos ~z = U~x deducimos que

A~x = ~b LU~x = ~b L(U~x) = ~b L~z = ~b

De esta forma ~x se puede calcular resolviendo dos sistemas con matrices triangulares: L~z = ~bcon una matriz triangular inferior L y U~x = ~z con la matriz triangular superior U . Comen-cemos por el primero

bi = li 1 z1 + li 2 z2 + . . . + li n zn == li 1 z1 + li 2 z2 + . . . + li i1 zi1 + li i zi + 0 + . . . + 0 == li 1 z1 + li 2 z2 + . . . + li i1 zi1 + 1 zi

Entonces el sistema L~z = ~b se puede resolver mediante sustitucin progresiva (hacia adelante,desde z1 hasta zn)

zi = bi li 1 z1 li 2 z2 . . . li i1 zi1 = bi i1k=1

li k zk

Si procedemos de forma anloga con el otro sistema

zi = ui 1 x1 + ui 2 x2 + . . . + ui n xn == 0 + . . . + 0 + ui i xi + ui i+1 xi+1 + . . . + ui n xn

Ahora se aplica sustitucin regresiva (hacia atrs, desde xn hasta x1) para calcular xi entrmino de los valores posteriores

xi = (zi ui n xn ui n1 xn1 . . . ui i+1 xi+1)/ui i =zi n

k=i+1ui k xk

/ui i

H resuelve(A,B,[no_output]): Solucin del sistema A ~x = ~b mediante factorizacin LU(con output opcional)

resuelve(A,B,[no_output]):=...(...[L,U]:LU(A,no_output),n:matrix_size(A)[1],for i:1 thru n do e[i]:L[i].makelist(z[i],i,1,n)=B[i],linsolve(makelist(e[i],i,1,n),makelist(z[i],i,1,n)),

...for i:1 thru n do e[i]:U[i].makelist(x[i],i,1,n)=z[i],linsolve(makelist(e[i],i,1,n),makelist(x[i],i,1,n)),...)$

6


F Ejercicio 3: Resuelve el sistema

4 2 22 2 32 3 14

x1x2

x3

= 105

4

con nuestrafuncin basada en la factorizacin LU y comprueba que da el mismo resultado que la funcinlinsolve propia de Maxima

( %i)resuelve(A,B);Ecuacin 1:z1 = 10Ecuacin 2: z12 + z2 = 5Ecuacin 3: z12 2 z2 + z3 = 4Solucin: Z = [10, 0, 9]

Ecuacin 3:9 x3 = 9Ecuacin 2:x2 2 x3 = 0Ecuacin 1:4 x1 + 2 x2 2 x3 = 10Solucin: X = [2, 2, 1]( %o)[2,2,1]

( %i)n:3;( %o)3

( %i)X:makelist(x[i],i,1,n);( %o)[x1, x2, x3]

( %i)E:makelist(A[i].X=B[i],i,1,n);( %o)[2 x3 + 2 x2 + 4 x1 = 10,3 x3 + 2 x2 + 2 x1 = 5, 14 x3 3 x2 2 x1 = 4]

( %i)linsolve(E,X);( %o)[x1 = 2, x2 = 2, x3 = 1]

2.3. Clculo de inversasSi llamamos ~ei al i-simo vector de la base cannica y P = A1 deducimos que

A P = In A

| | | |~p 1 ~p 2 ~pn1 ~pn| | | |

= | | | |~e1 ~e2 ~en1 ~en| | | |

Deducimos entonces que la columna ~p i es la solucin del sistema lineal A ~p i = ~ei, y porlo tanto la inversa de una matriz A se puede calcular resolviendo n sistemas lineales contrminos independientes los vectores de la base cannica

H inversa(A,[no_output]): Inversa de la matriz A mediante factorizacin LU (con outputopcional)

7


inversa(A,[no_output]):=...(n:matrix_size(A)[1],...for i:1 thru n do(B:makelist(kron_delta(j,i),j,1,n),p:resuelve(A,B,no_output),...),...)$

F Ejercicio 4: Calcula

4 2 22 2 32 3 14

1

con nuestra funcin basada en la factorizacin

LU y comprueba que da el mismo resultado que la funcin propia de Maxima

( %i)inversa(A);

Columna 1: Sistema

4 2 22 2 32 3 14

.x1x1

x1

=10

0

, Solucin:x1x2

x3

=

19361118 118

Columna 2: Sistema

4 2 22 2 32 3 14

.x2x2

x2

=01

0

, Solucin:x1x2

x3

=

1118

13929

Columna 3: Sistema

4 2 22 2 32 3 14

.x3x3

x3

=00

1

, Solucin:x1x2

x3

=

118

2919

( %o)

1936

1118

118

1118139

29

11829

19

Nota: El script que hemos diseado no est optimizado, puesto que aunque para calcularuna inversa haya que resolver n sistemas lineales, slo sera necesario realizar la factorizacinLU una vez

3. Coste computacionalLa factorizacin LU y los algoritmos de resolucin que de ella se deducen no son ms que

una sistematizacin de la eliminacin gaussiana basada en hacer ceros en la matriz mediante

8


operaciones elementales hasta que tenga una estructura triangular. Sabemos que existe otramanera de trabajar con mediante determinantes, que se pueden calcular de manera recursivadesarrollando por una fila, y a partir de estos resolver sistemas con la regla de Cramer einversas mediante adjuntos. Cuando dos algoritmos sirven para el mismo problema entra enjuego la eficacia de estos algoritmos: ya que ambos consiguen el mismo valor numrico (salvoerrores de redondeo) el mejor de los mtodos ser el que necesite menos operaciones, y porlo tanto menos tiempo de CPU

Para calcular el nmero de productos/cocientes que necesitan los algoritmos hay que haceruso del principio de induccin y se escapara un poco de los lmites de esta leccin. Resumimoslos resultados en una tabla

Factorizacin LU/Eliminacin gaussiana Determinantes/Cramer/Adjuntos

det n3 + 2n 3

3 n!n1i=1

1i!

A~x = ~b n3 + 3n2 n

3 n + (n + 1)!n1i=1

1i!

A14n3 n

3 n2 + n n!

n2i=1

1i!

Esta tabla contiene mucha ms informacin de la que parece a simple vista. Por ejemplo,cuando n es grande el coste computacional de calcular una inversa mediante factorizacin LUresultara aproximadamente 4 veces superior al de resolver un nico sistema lineal. Adems,el estudio de lmites en el infinito concluye que el orden de infinitud de n! es superior al de n3.Hemos construido funciones para que se aprecien las diferencias conforme n va aumentando

H coste_determinante_LU(n): Nmero de productos/cocientes para hallar un determi-nante n n mediante factorizacin LU

coste_determinante_LU(n):=(n3+2*n-3)/3$

H coste_determinante_desarrollo(n): Nmero de productos/cocientes para hallar undeterminante n n por desarrollo

coste_determinante_desarrollo(n):=n!*sum(1/i!,i,1,n-1)$

H coste_sistema_LU(n): Nmero de productos/cocientes para resolver un sistema n nmediante factorizacin LU

coste_sistema_LU(n):=(n3+3*n2-n)/3$

H coste_sistema_Cramer(n): Nmero de productos/cocientes para resolver un sistema

9


n n mediante la regla de Cramer

coste_sistema_Cramer(n):=n+(n+1)!*sum(1/i!,i,1,n-1)$

H coste_inversa_LU(n): Nmero de productos/cocientes para invertir una matriz n nmediante factorizacin LU

coste_inversa_LU(n):=(4*n3-n)/3$

H coste_inversa_adjuntos(n): Nmero de productos/cocientes para invertir una matrizn n mediante adjuntos

coste_inversa_adjuntos(n):=n2+n*n!*sum(1/i!,i,1,n-2)$

F Ejercicio 5: Encuentra el primer valor de n > 1 para el que resulte ms eficiente calcularel determinante mediante la factorizacin LU que mediante el desarrollo por una fila

( %i)coste_determinante_LU(4);( %o)23

( %i)coste_determinante_desarrollo(4);( %o)40

F Ejercicio 6: Comprueba para n = 2, 3, 4, . . . , 10 que la factorizacin LU es ms eficazpara resolver sistemas que la regla de Cramer, y que conforme n crece las diferencias sonmayores

( %i)coste_sistema_Cramer(2);( %o)8( %i)coste_sistema_LU(2);( %o)6



( %i)coste_sistema_Cramer(5);

10


( %o)1235( %i)coste_sistema_LU(5);( %o)65






F Ejercicio 7: Comprueba para n = 100 que el coste de la factorizacin LU para obteneruna inversa es aproximadamente el cudruple que el de resolver un sistema

( %i)coste_inversa_LU(100);( %o)1333300

( %i)coste_sistema_LU(100);( %o)343300

( %i)float(1333300/343300);( %o)3.883775123798427

A fecha de junio de 2014 la supercomputadora ms rpida del mundo es la Tianhe-2 (MilkyWay-2) china, que es capaz de hacer la friolera de 54902 billones (espaoles) de operacionespor segundo (5.4902 1016 FLoating point Operations Per Second). Teniendo en cuenta que

11


la edad del Universo es de unos 13700 millones de aos, que son unos 4.32 1017 segundos,esta mquina podra haber realizado unas 2.4 1034 operaciones desde el Big Bang

F Ejercicio 8: Encuentra el primer valor de n para el que la regla de Cramer necesite msde 2.4 1034 productos para resolver un sistema

( %i)coste_sistema_Cramer(31);( %o)452132935610385790778277281456151423

( %i)float( %);( %o)4.521329356103858 1035

Por sorprendente que pueda parecer, ni la mayor computadora del mundo habra tenidotiempo para resolver un sistema de este tamao mediante la regla de Cramer (por supuesto,mediante factorizacin LU la solucin sera instantnea). Esto no quiere decir que la reglade Cramer no tenga utilidad: tiene utilidad terica, y tambin es una buena opcin paramatrices de dimensin n 3 para sistemas con parmetros (por ejemplo los resultantesde aplicar la transformada de Laplace a sistemas lineales de ecuaciones diferenciales). Sinembargo, para computacin de sistemas con n grande los determinantes son una opcinnefasta por tener su coste computacional un crecimiento tipo n!

Conclusin: La factorizacin LU permite resolver algunas de las cuestiones clsicas delgebra Lineal, sin que sea necesaria la intervencin humana para elegir el orden de lasoperaciones elementales. Los procesos basados en la factorizacin LU son muchsimo mseficaces que los basados en determinantes, especialmente cuando la dimensin de la matrizno es muy pequea

Enlaces- Las 500 supercomputadoras ms potentes del mundo

4. Ejercicios

Problemas para resolver con el ordenador

F Calcula el tamao de un sistema para el que la computadora Tianhe-2 tardase ms de unsegundo en resolver (despreciando lo que no sean productos/cocientes)

Solucin: float(coste_inversa_LU(345318));

12
http://www.top500.org/


Problemas para resolver sin ordenador

F Encuentra una matriz invertible que no admita factorizacin LU

Solucin: A =(

0 11 1

)

Problemas de convocatorias anteriores

[ev. cont. 2011] Calcula mediante factorizacin LU la inversa de A =

1 2 1 11 4 0 11 0 1 22 6 0 2

Solucin: L =

1 0 0 01 1 0 01 1 1 02 1 1 1

, U =

1 2 1 10 2 1 00 0 1 10 0 0 1

, A1 =

1 5 1 30 1 0 121 1 0 11 2 1 1

[febrero 2011] Encuentra la descomposicin LU de la matriz A =(

2 81 1

)y utilice L

y U para resolver el sistema A~x = ~b, donde ~b =(22

)

Solucin: L =(

1 012 1

)U =

(2 80 3

), ~z = (2, 1), ~x =

(73 ,

13

)

[septiembre 2011] Calcula usando factorizacin LU la inversa de la matriz(

2 34 8

)

Solucin: L =(

1 02 1

), U =

(2 30 2

), A1 =

(2 341 12

)

[ev. continua 2012] Calcula con la factorizacin LU la inversa de A =

1 1 4 11 0 3 51 3 1 162 6 13 14

Solucin: L =

1 0 0 01 1 0 01 4 1 02 4 1 1

, U =

1 1 4 10 1 1 40 0 1 10 0 0 1

, A1 =

3 11 5 219 5 4 56 4 0 13 0 1 1

[febrero 2012] Encuentra la descomposicin LU de la matriz A =

1 1 22 4 41 1 0

13


Solucin: L =

1 0 02 1 01 13 1

, U =1 1 20 6 8

0 0 23

[junio 2012] Resuelve mediante factorizacin LU el sistema 1 0 21 1 4

2 1 7

xy

z

= 213

Solucin: L =

1 0 01 1 02 1 1

, U =1 0 20 1 2

0 0 1

, (x, y, z) = (10, 5, 4)


1 2 1 11 1 3 01 3 0 12 3 2 2

Solucin: L =

1 0 0 01 1 0 01 1 1 02 1 2 1

, U =

1 2 1 10 1 2 10 0 1 10 0 0 1

, A1 =11 1 3 4

2 0 0 13 0 1 15 1 2 1

[febrero 2013] Encuentre la descomposicin LU de la matriz A =

2 1 24 5 52 11 4

Solucin: L =

1 0 02 1 01 4 1

, U =2 1 20 3 1

0 0 2

[junio 2013] Resuelve mediante factorizacin LU el sistema lineal

x 2y = 13x + y = 5

Solucin: L =(

1 03 1

), U =

(1 20 7

), z1 = 1, z2 = 2, x = 117 , y =

27


1 1 1 12 1 3 31 0 1 02 3 2 2

14


Solucin: L =

1 0 0 02 1 0 01 1 1 02 1 1 1

, U =

1 1 1 10 1 1 10 0 1 20 0 0 1

, A1 =

7 1 0 22 0 0 17 1 1 23 0 1 1

[febrero 2014] Encuentre la descomposicin LU de la matriz A =

2 3 04 7 10 1 1

Solucin: L =

1 0 02 1 00 1 1

, U =2 3 00 1 1

0 0 2

[septiembre 2014] Calcule, utilizando la factorizacin LU , el determinante de la matriz

A =

3 5 23 6 29 13 18

Solucin: L =

1 0 01 1 03 2 1

, U =3 5 20 1 4

0 0 4

, det(A) = 12

Temas sobre los que profundizarInvestiga sobre el pivoteo cmo tcnica para resolver sistemas compatibles que, comoel anterior, no admitan factorizacin LU

Investiga sobre la factorizacin de Cholesky para matrices simtricas con menores prin-cipales positivos (matrices definidas positivas)

Investiga sobre el principio de induccin y utilzalo para probar las distintas frmulasdel coste computacional medido en nmero de productos/cocientes

15
Construccin de la factorizacin LUAplicaciones de la factorizacin LUClculo de determinantesResolucin de un sistema linealClculo de inversasCoste computacionalEjercicios

factorizacion (resuelta)

Documents