TEMA XIX

ESQUEMA GENERAL

DISEÑOS DE SERIES TEMPORALES

Caracterización general

Clasificación

Diseños de series temporales interrumpidas

Principales modalidades

Otras modalidades

Concepto

El diseño de series temporales es la estrategia de recogida de datos que mejor refleja la metodología de estudio longitudinal. Se caracteriza por la gran cantidad datos u observaciones que se registran y que se requieren al aplicar los modelos de análisis basados en los procedimientos de Box y Jenkins (1970) ..//..

Según Box y Jenkins (1970), se requiere un mínimo de 50 a 100 observaciones para la correcta identificación de los modelos estadísticos.

Clasificación de los diseños de series temporales

Series temporales

interrumpidas

Diseños de series Series temporales temporales concomitantes

Series temporales

descriptivas

Series temporales interrumpidas

Una modalidad de diseño de serie temporal, de uso frecuente en ciencias sociales y del comportamiento, es el diseño de series temporales interrumpidas. Esta clase de diseño es apropiado para evaluar el impacto de tratamientos (como por ejemplo programas sociales, innovaciones sociales, estímulos, variables manipuladas, etc.) ..//..

Se caracteriza por la interrupción de la serie, en un punto del tiempo, por la aplicación del tratamiento a evaluar. Se espera, como consecuencia de la aplicación del tratamiento, que los datos reflejen esta interrupción mostrando un cambio de nivel o de tendencia.

..//..

En ello estriba la lógica que se utiliza en estos diseños, al atribuir los cambios operados en la serie, a partir del punto de interrupción, a la presencia o eficacia del tratamiento.

Series temporales concomitantes

Hay situaciones, en ámbitos sociales aplicados, donde es difícil determinar si un tratamiento se ha aplicado en un punto o momento del tiempo concreto. Sin embargo, podría ocurrir que una pretendida acción causal variase a lo largo de un determinado período de tiempo y que una segunda serie temporal, considerada como resultado, variase también de forma paralela.

..//..

Admitida esta hipotética posibilidad, se tendría un diseño de series concomitantes con una serie causa y otra efecto. Ahora bien, de la relación de dos o más series no es posible derivar, con garantía, una acción causal. Por esa razón, cuando en el diseño se incorporan dos series el investigador tiene por objetivo predecir la variación de una las series a partir de la otra, utilizando para ello la técnica de correlación cruzada. ..//..

Nótese que, con este procedimiento, sólo se infiere el grado en que la variación de la serie predictora covaría con la serie resultado. De nuevo se plantea, en este diseño, el problema de la confusión entre correlación y causalidad.

..//..

Así, por ejemplo, ante una hipotética covariancia entre paro y adicción al juego, el investigador no posee suficiente evidencia para inferir que el paro es la causa de la ludopatía y sólo puede afirmar que dos series varían conjuntamente. ..//..

En esta situación no hay manipulación de la variable antecedente, por lo que difícilmente se podrán derivar relaciones causales. Con ello, no se pretende subestimar el uso de esta clase de diseños, dado que pueden generar hipótesis capaces de instigar nuevas investigaciones con diseños de mayor control.

Series temporales descriptivas

Los diseños de series temporales descriptivas se reducen a presentar los datos sin implicación alguna sobre posibles efectos de factores externos (como tratamientos, intervenciones, etc.). No se trata, en estos diseños, de estudiar la acción de una variable independiente, sino el comportamiento de la variable de registro o medida. ..//..

Por lo tanto, sólo se pretende mostrar la evolución de los datos a lo largo del tiempo (procesos), y qué tipo de componentes se hallan presentes en la series (tendencia, cíclico, etc.)

Series temporales interrumpidas

Concepto

Los diseños de series temporales interrumpidas permiten evaluar el impacto de las intervenciones en ámbitos diversos como la ley del divorcio, programas educativos de la comunidad, epidemiología, derechos humanos, política de tasas, seguridad vial, ley de armas, consumo de drogas, etc. ..//..

En general, el diseño de series temporales interrumpidas es un valioso instrumento de investigación dentro del ámbito de evaluación de programas y estudios sociales.

Clasificación

a) Serie temporal interrumpida simple.

b) Serie temporal interrumpida con grupo control no equivalente (Series temporales múltiples).

c) Serie temporal interrumpida con variables no equivalentes.

d) Serie temporal interrumpida con retirada de tratamiento.

e) Serie temporal interrumpida con múltiples réplicas (Series de muestras de tiempo equivalentes).

f) Serie temporal interrumpida con réplicas conmutadas.

Patrones de cambio

CAMBIO DE NIVEL CAMBIO DE PENDIENTE

Cambio de nivel

El cambio de nivel toma diferentes formas, en función de cómo se espera que actúe la variable de tratamiento. La acción de esta variable puede tomar tres formas (Glass et al., 1975):

Una primera expectativa, es que la intervención produzca un cambio permanente en el nivel. ..//..

Es posible predecir, en segundo lugar, un cambio de carácter transitorio. Así, se espera que la intervención tenga un efecto sobre la observación inmediatamente después y luego desaparece (Box y Tiao, 1975) ..//..

Hay una tercera expectativa de carácter intermedio, en la que el efecto se amortigua. En otras palabras, el efecto de la intervención tiende a reducirse y a regresar hacia la línea base a lo largo del tiempo.

Cambio de tendencia

El cambio de tendencia o pendiente es de interés en donde se espera que la tasa de incremento o decremento sea resultado de la intervención.

Otra forma de caracterizar el efecto es en función de su persistencia en el tiempo. Así, el efecto puede ser continuo o discontinuo. ..//..

El efecto continuo se produce inmediatamente después de la intervención y persiste durante un largo período de tiempo en la serie. El efecto discontinuo no persiste en el tiempo; es decir, suele ocurrir cuando el tratamiento es retirado o bien cuando posee un efecto transitorio.

Tipos de efectos

El efecto puede ser, también, instantáneo o demorado. El efecto instantáneo aparece inmediatamente después de la intervención. El efecto demorado es más difícil de interpretar, ya que suele aparecer de una forma bastante posterior a la aplicación del tratamiento.

Modalidades del diseño de serie temporal interrumpida

Serie temporal interrumpida simple

O1 O2 O3 O4 O5 X O6 O7 O8 O9 O10

Definición

El modelo básico de serie temporal interrumpida está formado por dos períodos de múltiples observaciones registradas, antes y después de la intervención, sobre un grupo o un individuo. Estos períodos se conocen por pre y pos-tratamiento. ..//..

Siguiendo la notación introducida por Campbell y Stanley (1966), este formato se representa por unas cuantas observaciones, menos de las 50 a 100 que deberían utilizarse (Box y Jenkins, 1970; Glass et al., 1975). El objetivo del diseño de serie temporal es detectar cambios en los patrones de los datos, antes y después de la intervención, atribuibles a la intervención. ..//..

Por lo general, el analista espera encontrar que la pendiente o el nivel de la serie sea contingente a la aplicación de la intervención. Este diseño recibe el nombre de serie temporal interrumpida, porque la inferencia causal se basa en detectar o descubrir un cambio abrupto en los valores de la variable dependiente.

Comentario del gráfico

La figura muestra gráficamente el diseño de serie temporal simple, donde se marca con una flecha el punto de intervención. Se trata de comprobar, si a partir de este punto de intervención se ha producido un cambio en el patrón de los datos. Debe ser, pues, el análisis el que desvele la presencia de cambio o no.

..//..

Ahora bien, el hecho del cambio no garantiza que su causa haya sido la intervención. En esta clase de diseños, cabe la posibilidad de numerosas hipótesis alternativas que rivalizan con la hipótesis de la intervención.

Estudio de un ejemplo

Un ejemplo clásico de diseño de serie temporal interrumpida se encuentra en el artículo de Campbell (1969), donde describe un estudio realizado por él y sus colaboradores (Campbell y Ross, 1968; Glass, 1968; Ross y Campbell, 1968). ..//..

En este estudio, se analiza un endurecimiento de la legislación sobre la velocidad de conducción en el estado de Connecticut.

Después de constatar una cantidad elevada de accidentes mortales de tráfico en 1955, el gobernador del estado adoptó unas fuertes medidas para controlar la velocidad. ..//..

Al finalizar el año 1956, se contabilizaron 284 muertes de tráfico contra las 324 del año anterior. La reducción del número de muertos por accidente de tráfico fue, en 1956, 40. La interpretación del gobernador fue clara, en el sentido que el endurecimiento de las leyes había tenido, sin duda, un claro beneficio: se habían salvado 40 vidas.

Amenazas a la validez interna

La principal amenaza a la validez interna o validez de inferencia es, el factor historia. La historia se refiere a hechos o acontecimientos externos distintos al tratamiento que actúan en el punto de intervención y que pueden afectar a la conducta en curso. Entre los posibles controles del factor historia, el más efectivo consiste en añadir un grupo-control sin tratamiento a la serie. ..//..

Otra amenaza es la instrumentación. Un cambio en los procedimientos administrativos puede modificar la forma como los registros son guardados. Así, aquellos responsables de la administración, que pretenden mostrar una buena actuación, pueden simplemente cambiar los procedimientos de contabilizar los datos. ..//..

A quienes, por otro lado, se les ha encargado cambiar alguna estructura u organización, pueden introducir cambios en el sistema de registros o en los criterios, en función de los cuales el resultado puede interpretarse como un éxito o fracaso. ..//..

La selección se convierte en otra amenaza a la inferencia de la hipótesis, como cuando la composición de grupo de tratamiento cambia de forma súbita y drástica en el punto de aplicación de la intervención. Esto suele ocurrir debido al desgaste que supone en la muestra la aplicación del tratamiento. ..//..

Cuando hay desgaste de muestra, por las medidas repetidas que se toman de los sujetos, no es posible determinar, sin un posterior análisis, si el tratamiento causó una interrupción en la serie o si la interrupción fue debida a que diferentes personas estuvieren en los períodos de pre y postratamiento. Mejor sería analizar los datos para aquellas unidades que hubieran estado presentes en los períodos pre y post.

Validez externa

La validez externa o alcance de los resultados de los diseños de las series temporales es considerable ya que los tratamientos son, a menudo, hechos o circunstancias vistos por los respondientes como algo natural (por ejemplo, cambios en las leyes). ..//..

Las respuestas son por lo general no desvirtuadas puesto que los sujetos consideran a las intervenciones como formando parte de la acción del gobierno o de la colectividad.

Así, los tratamientos y las medidas se parecen más a los de la vida real que en otras clases de diseños.

Análisis de series temporales

Modelos de análisis

A) Análisis de series temporales (AST). Modelos ARIMA

B) Análisis de mínimos cuadrados generalizados (MCG). Modelos de la regresión generalizada

..//..

ANOVA no válido

AST (Box y Jenkins, 1970) Modelos ARIMA (p,d,q). Inconvenientes:

• Gran cantidad de observaciones (50-100)• Dificultad matemática (SPSS, BMDP,

SAS)• Dificultad de identificación del modelo

Mínimos cuadrados generalizados (MCG)

Modelo: Yt=b0+b1Tt+b2Xt+et

Paso 1: MCO estimación parámetros (b0, b1, b2), recuperando los residuales Paso 2: estimación de la autocorrelación

(d Durbin-Watson): Ausencia de autocorrelación: Paso 1

Presencia de autocorrelación: Paso 3

Paso 3: MCG corrección de los datos

Estimación parámetros (b0, b1, b2)

11*2

11*

1 1 ttt YYYYY

Paso 1

Mínimos cuadrados ordinarios (MCO):

Se estiman, por este procedimiento, los parámetros del modelo de la regresión propuesto.

A continuación se estiman los residuales para la prueba de Durbin-Watson en el paso 2.

Paso 2

Prueba de Durbin-Watson, en la que se asume, por hipótesis nula, la no autocorrelación entre los residuales

Estadístico d de Durbin-Watson

•Si d < dL Autocorrelación positiva

•Si d > dU No Autocorrelación

•Si dL < d < dU La prueba es indecisa

1 = 1 - d/2

n

tt

n

ttt

e

ee

d

1

2

2

21 )(

NA(H0) d < < d A(H0)

dL dU

Inferencias de la prueba deDurbin-Watson

Si d < dL, se rechaza la hipótesis, H0, de que los términos e no están correlacionados, a favor de la hipótesis de autocorrelación positiva (hay correlación entre los términos e).

Si d > dU, no se rechaza la hipótesis de nulidad (no hay correlación), H0.

Si dL < d < dU, la prueba es indecisa.

Paso 3

Si la prueba de Durbin-Watson lleva a inferir la presencia de autocorrelación en los residuales, se corrigen los datos mediante la aplicación del criterio de mínimos cuadrados generalizados (MCG). Para ello se procede con al paso 3

Esquema gráfico de la secuencia de MCG

Mínimos cuadrados generalizados (MCG)

ttt eYY +ˆ= MCO

d Durbin-Watson

No Autocorrelación Autocorrelación

MCO

Yt=b0+b1Tt+b2Xt+et

Yt*=b0+b1Tt+b2Xt+et

Paso 1

Paso 2

ttt YYe ˆ= -

Modelo de la regresión para el diseño de series temporales interrumpidas

Yt = b0 + b1Tt + b2X + et

Se asume la independencia de los residuales

Y

Ejemplo práctico 1 con datos hipotéticos de accidentes de tráfico

Considérese la siguiente matriz de datos hipotéticos sobre la cantidad de accidentes mortales por cada 10.000 habitantes de una población a lo largo de 20 años. Antes de la aplicación de una norma legal y 10 años después de su instauración.

Matriz de datos del diseño

000000000000000000001111111111

123456789

101112131415161718192021222324252627282930

4.44.44.64.74.95.15.15.25.45.55.65.75.86.16.26.36.66.97.17.15.25.35.55.76.26.56.86.97.0

4.24.44.44.64.74.95.15.15.25.45.55.65.75.86.16.26.36.66.97.17.15.25.35.55.76.26.56.86.97.0

195919601961196219631964196519661967196819691970197119721973197419751976197719781979198019811982198319841985198619871988

XtTtYt-1YtAÑOS

Representación gráfica DSTI

0

1

2

3

4

5

6

7

8V.D.

Tiempo

Análisis de la regresión: Diseño de series temporales interrumpidas

<0.01

<0.01

<0.01

25.431

10.412

-5.576

0.212

0.014

0.249

5.396

0.141

-1.389

Constante

Variable T

Variable X

ptError estándarbComponentes

d=1.632

k=2

N=30

dL=1.07 y dU=1.34

d > dU NO AUTOCORRELACIÓN

Ejemplo práctico 2

Willson, N., Sertsou, G., Edwards, R., Thomson, G., Grigg, M. y Li, J. (2007), analizaron en un estudio el efecto que tuvo en Nueva Zelanda la nueva legislación sobre locales libres de humo y las llamadas a una línea telefónica para conseguir ayuda (Quitline-Service)

Procedimiento

A lo largo de 24 meses antes de la promulgación de la ley y durante 12 meses después, se recogieron datos de las llamadas registradas al Quitline y datos de la cantidad de bonos facilitados por el Quitline Service para una terapia de sustitución de la nicotina.

Gráfico de resultados

Resumen del modelob

1,829aModelo3

Durbin-Watson

Variables predictoras: (Constante),tiempo, c_nivel, c_tendencia

a.

Variable dependiente: yb.

Prueba de Durwin-Watson

d=1,829

k=3

N=36

dL=1,10 y dU=1,44

d > dU NO AUTOCORRELACIÓN

Significación de los coeficientes

Coeficientesa

1430,033 112,031 12,765 ,000-3,042 5,280 -,098 -,576 ,568

1561,202 127,746 12,221 ,000-16,840 8,813 -,544 -1,911 ,065372,236 194,204 ,546 1,917 ,064

1488,170 128,124 11,615 ,000-10,997 8,967 -,355 -1,226 ,229610,454 222,510 ,895 2,743 ,010-52,828 26,963 -,601 -1,959 ,059

(Constante)tiempo(Constante)tiempoc_nivel(Constante)tiempoc_nivelc_tendencia

Modelo1

2

3

B Error típ.

Coeficientes noestandarizados

Beta

Coeficientesestandarizados

t Sig.

Variable dependiente: ya.

Serie temporal interrumpida con grupo control no equivalente

O1 O2 O3 O4 O5 X O6 O7 O8 O9 O10

O1 O2 O3 O4 O5 O6 O7 O8 O9 O10

Definición

Un procedimiento para controlar el artefacto historia consiste en añadir un grupo control o de no-tratamiento. Este formato es conocido, también, por diseño de series temporales múltiples (Gottman, McFall y Barnett, 1969; Simonton, 1977). ..//..

Según Gottman et al., (1969), el diseño de serie temporal interrumpida con grupo control no equivalente es una extensión del diseño de serie temporal simple y permite investigar hipótesis más precisas al comparar una serie temporal experimental con otra de control. En consecuencia, se controlan mejor las posibles hipótesis rivales.

Comentario del gráfico

La figura anterior representa de forma gráfica la estructura del diseño con dos series temporales, una por grupo y con el punto de intervención claramente señalado por la flecha.

Serie temporal interrumpida con grupo control no equivalente

retardado

O1 O2 O3 X O4 O5 O6 O7 O8 O9

O1 O2 O3 O4 O5 O6 X O7 O8 O9

Definición

Hay un conjunto de características que, asociadas a estos diseños, conviene tener en cuenta. En primer lugar, la validez interna del diseño descansa ampliamente en la equivalencia de los grupos; es decir, la fuerza de la inferencia radica en que los grupos sean comparables. ..//..

Si los individuos del grupo control no equivalente difieren de forma significativa de los del grupo de tratamiento, en una serie de características relevantes, estas características se convierten en hipótesis rivales difíciles de rechazar. Si los grupos son comparables, sólo aquellos factores que pueden afectar diferencialmente a un grupo se convierten en hipótesis rivales. ..//..

Esto implica que, en la elección del grupo control, se tenga la suficiente cautela para garantizar la equivalencia, por lo que respecta a las variables más relevantes capaces de afectar diferencialmente a los grupos. De lo contrario, podría darse un posible efecto de selección que explique la diferencia o confundir la acción de la variable de tratamiento.

Serie temporal interrumpida con variables no equivalentes

OA1 OA2 OA3 OA4 OA5 X OA6 OA7 OA8 OA9 OA10

OB1 OB2 OB3 OB4 OB5 X OB6 OB7 OB8 OB9 OB10

Definición

La principal amenaza a la validez interna de los diseños de series temporales interrumpidas simples es el factor historia. La historia puede controlarse añadiendo un grupo control no equivalente o minimizando el intervalo de tiempo entre medidas. ..//..

Ahora bien, la historia puede, también, examinarse con datos de series de variables dependientes que deberían estar afectas por el tratamiento afectadas y no afectadas por el tratamiento. Como en el diseño de grupo control no equivalente, las variables han estar relacionadas.

Estudio de un ejemplo

Ross, Campbell y Glass (1970) el efecto de la promulgación de una ley de tráfico en Gran Bretaña, como la aplicación del alcoholímetro, sobre la reducción de la cantidad de accidentes graves. Esta ley contemplaba la posibilidad de que las discotecas sólo abrieran a determinadas horas. ..//..

Admitiendo que las bebidas ingeridas en las discotecas eran la causa, en mayor grado, de los accidentes de tráfico, se esperaba que el control de alcoholemia iba a producir una reducción de la cantidad de accidentes graves. Particularmente en aquellas horas en que estos establecimientos estaban abiertos, por ejemplo de noche, y no cuando estaban cerrados. ..//..

Se trataba de distinguir entre establecimiento abierto y cerrado en cuanto a la cantidad de accidentes de tráfico graves o mortales. La importancia de esta distinción estriba en poder descartar interpretaciones alternativas y en averiguar si el consumo del alcohol se reduciría por igual a todas las horas de día, tras la adopción del control de alcoholemia. ..//..

Las interpretaciones alternativas incluían los cambios del tiempo, estado de las carreteras, control de velocidad, publicación de reportajes sobre accidentes, etc.

Serie temporal interrumpida con retirada de tratamiento

_

O1O2O3O4 XO5O6O7O8O9 XO10O11O13O14

Definición

Una variación importante del diseño de serie temporal es aplicada a aquellas situaciones donde el investigador estudia los efectos de una intervención a través del tiempo y donde la intervención es introducida y posteriormente retirada. ..//..

Esta versión puede ser considerada como la combinación de dos series temporales. La primera, que abarca las observaciones O1 a O9, sirve para evaluar el efecto del tratamiento, mientras que la segunda, que va de la observación O6 a O13 permite evaluar el efecto de la ausencia o retirada del tratamiento.

Serie temporal interrumpida con múltiples réplicas

_ _ _

O1O2 XO3O4 XO5O6 XO7O8 XO9O10 XO11O12 XO13O14

Definición

Se ha insistido que la principal amenaza contra la validez interna, en esta clase de estudios, es el factor historia. Uno de los procedimientos que permite controlar este efecto consiste en aplicar la intervención a distintos puntos de la serie. Esta es la principal característica del diseño y la razón por la que, inicialmente, recibió el nombre de diseño de muestras de tiempo equivalentes.

Series temporal interrumpida con réplica conmutada

O1 O2 O3 O4 O5 O6 O7 O8 X O9 O10 O11

O1 O2 O3 X O4 O5 O6 O7 O8 O9 O10 O11

Definición

Uno de los diseños más potentes, dentro del enfoque cuasi-experimental, es la serie temporal múltiple con réplicas conmutadas que, en cuanto a la estructura, es similar al diseño de grupos no equivalentes (Cook y Campbell, 1979; Heath, Kendzierski y Borgida, 1982). ..//..

Según la lógica de la conmutación o intercambio, un grupo de sujetos recibe el tratamiento mientras que un segundo grupo actúa de control; posteriormente, el grupo de tratamiento actúa de control mientras que el control recibe el tratamiento. ..//..

Así, los papeles de los grupos varían en función del período o momento temporal. Son muchas las aplicaciones, dentro del ámbito de evaluación de programa, de este formato de diseño de serie temporal como una réplica conmutada.

Comentario del gráfico

La figura anterior es una Ilustración gráfica del diseño, con dos grupos de intervención: grupo de intervención temprana y otro de intervención tardía. En esta situación, el grupo de tratamiento inicial no actúa, en la replica como un grupo control de no tratamiento, sino como un control de factores extraños (Heath et al., 1982) ..//..

Factores como tiempo, economía, innovaciones políticas, etc., pueden afectar a ambos grupos y es, precisamente, para estos efectos que el grupo de tratamiento inicial proporciona información complementaria.

Ventajas del diseño de series temporales interrumpidas

Los diseños de series temporales interrumpidas, al igual que los diseños cuasi-experimentales transversales, tienen por objetivo examinar el impacto de los tratamientos o de cualquier circunstancia externa capaz de modificar el patrón de los datos. A su vez, sirven para estudiar los procesos a largo plazo, antes y después de una intervención. ..//..

De ahí, la ventaja de estos esquemas es doble: por un lado, son procedimientos para evaluar la magnitud del impacto de las variables de tratamiento y, por otro, sirven para conocer cómo se orientan los datos y hasta cuándo se halla presente la acción del tratamiento. ..//..

La incorporación en el estudio de series paralelas y nuevos grupos de sujetos incrementa la validez de estos diseños.

Según Frederiksen y Rotondo (1979), la investigación de series temporales se plantea en el contexto de investigación experimental y cuasi-experimental como modelos deseables. ..//..

Eso se debe a que permiten eliminar varias fuentes de invalidación propias de diseños con una observación antes y después para la evaluación de los impactos. Aunque con estos diseños se evalúa el efecto de la intervención, no obstante cuando se trabaja con varios grupos de sujetos no equivalentes es posible obtener información sobre procesos de crecimientos y maduración.

Limitaciones del diseño

Los diseños de series temporales interrumpidas son, con frecuencia, de difícil interpretación. En muchos casos, el intervalo de tiempo para la intervención o punto de corte de la serie no siempre es claro y preciso. Por dicha razón, es aconsejable tener información sobre el momento y amplitud de la intervención antes de analizar los datos de series temporales. ..//..

Nótese que a veces surgen dificultades al aplicar los tratamientos, especialmente cuando se trata de programas de intervención social que no pueden ser aplicados rápidamente. Así mismo, cabe destacar que el efecto de un programa no suele ser puntual y, con frecuencia, se extiende lentamente a través de la población. ..//..

Otras veces, los efectos no son instantáneos y tienden a demorarse con el tiempo según la clase de población y momento de aplicación de la intervención. Por otra parte, los datos de series temporales son, por lo general, escasos y a veces menos que los 50 o más que se requieren para un análisis estadístico válido. ..//..

Esto, sin duda alguna, dificulta la aplicación de los procedimientos basados en los análisis de series temporales, como los modelos ARIMA y ARIMAX. Por último, cabe destacar que cuando se opera con datos de archivos, como ocurre en ámbitos sociales aplicados, su localización es difícil y laboriosa.