PEDECIBA Informática Instituto de Computación – Facultad de Ingeniería

Universidad de la República Montevideo, Uruguay

Reporte Técnico RT 15-08

CONCEPTOS DE INGENIERIA DE

SOFTWARE BASADO EN EVIDENCIAS

SEBASTIAN PIZARD

FERNANDO ACERENZA

VANESSA CASELLA

SILVANA MORENO

DIEGO VALLESPIR

2015

Sebastian Pizard, Fermamdo Aceremza, Vanessa Casella, Silvana Moreno, Diego Vallespir ISSN 0797-6410 Tesis de Maestría en Informática Reporte Técnico RT 1508 PEDECIBA Instituto de Computación – Facultad de Ingeniería Universidad de la República. Montevideo, Uruguay, 2015

Conceptos de

Ingeniería de

Software Basada

en Evidencias

Versión 1.0

Sebastián Pizard

Fernando Acerenza

Vanessa Casella

Silvana Moreno

Diego Vallespir

Reporte Técnico InCo/Pedeciba-2015 TR:15-08

Setiembre, 2015

Resumen

En este documento se presenta la definición de la Ingeniería de Software Basada en

Evidencias y se describen sus objetivos. De forma más práctica, se incluye un resu-

men de los métodos más utilizados para la concreción de resultados, estos son: Re-

visiones Sistemáticas de Literatura, Estudios de Mapeo y Revisiones Terciarias.

Control de Versiones del Documento

Versión # Reporte Fecha Cambios

Versión 1 Sin número Setiembre 2015 Versión inicial

Índice general

1.Introducción.................................................................................................5 2.Ingeniería de Software Basada en Evidencias............................................5 3.Revisiones Sistemáticas de Literatura........................................................6

3.1.Motivación............................................................................................6 3.2.Definición y Etapas..............................................................................6 3.3.Planificar la Revisión...........................................................................7

3.3.1.Identificar la necesidad de una revisión......................................7 3.3.2.Puesta en marcha de la revisión.................................................8 3.3.3.Especificar las preguntas de investigación.................................8 3.3.4.Desarrollar el protocolo de revisión.............................................9 3.3.5.Evaluar el protocolo de revisión................................................11

3.4.Realizar la Revisión...........................................................................11 3.4.1.Identificar la investigación.........................................................11 3.4.2.Seleccionar los estudios primarios............................................12 3.4.3.Evaluar la calidad de los estudios.............................................13 3.4.4.Extraer datos.............................................................................14 3.4.5.Sintetizar los datos....................................................................15

3.5.Informar sobre la revisión..................................................................16 3.5.1.Especificar los mecanismos de difusión...................................16 3.5.2.Formatear el informe principal..................................................16 3.5.3.Evaluar el informe.....................................................................18

4.Estudios de Mapeo....................................................................................18 4.1.Diferencias entre un estudio de mapeo y una SLR...........................18 4.2.Esquemas de clasificación................................................................19 4.3.Presentación de resultados...............................................................20

5.Revisiones Terciarias.................................................................................22 6.Anotaciones sobre librerías digitales y motores de búsqueda..................22

6.1.ACM Digital........................................................................................23 6.2.IEEEXplore........................................................................................25 6.3.ScienceDirect.....................................................................................28 6.4.Scopus...............................................................................................30 6.5.SpringerLink.......................................................................................31

7.Referencias................................................................................................31 8.Material complementario...........................................................................34

1. Introducción

Este reporte tiene como objetivo presentar los fundamentos de la Ingenie-ría de Software Basada en Evidencias (o ESBE por sus siglas en inglés), yen particular se incluye una breve guía para realizar revisiones sistemáticasen ingeniería de software. Se pretende que este documento sea utilizadopor Proyectos de Grado de la carrera Ingeniería en Computación, Maestrías,Doctorados, etc. que se encuentren realizando trabajos de ESBE con elGrupo de Ingeniería de Software (GrIS). De esta manera los estudiantes degrado y posgrado pueden usar este documento como punto de partida paracomprender la ESBE. Además, pueden incluir este documento como partede su informe de proyecto o su Tesis evitando tener un enfoque distinto dela ESBE en cada Proyecto de Grado y/o Tesis.

En la sección 2 se presenta la definición de la ESBE así como sus moti-vaciones. En la sección 3 se describen las revisiones sistemáticas de litera-tura, en la sección 4 los estudios de mapeo. En la sección 5 se introduce alas revisiones terciarias. En la sección 6 se incluyen anotaciones sobre libre-rías digitales y motores de búsqueda.

Por último se incluyen 3 anexos seleccionados del sitio de ingeniería desoftware basado en evidencias – Evidence-Based Software Engineering(http://community.dur.ac.uk/ebse/). Estos corresponden a un plantilla pararevisiones sistemáticas de literatura, una plantilla para estudios de mapeo yun ejemplo de una revisión sistemática de literatura. Los tres documentos noha sido modificados y se reproducen bajo la licencia de Creative Commons(http://creativecommons.org/licenses/by-sa/2.0/uk/).

2. Ingeniería de Software Basada en Evidencias

La ingeniería de software basada en evidencias tiene como propósito me-jorar la toma de decisiones relacionada al desarrollo y mantenimiento de so-ftware integrando la mejor evidencia actual de la investigación con experien-cias prácticas y valores humanos. Para lograr esto, alienta un fuerte énfasisen el rigor metodológico involucrando los siguientes cinco pasos [1]:

1) Convertir un problema relevante o una necesidad de in-formación en una pregunta que pueda ser respondida.

2) Buscar en la literatura la mejor evidencia para respondera esa pregunta.

3) Evaluar de forma crítica la validez, el impacto y la aplica-ción de la evidencia.

4) Integrar la evidencia evaluada con la experiencia prácticay los valores y circunstancias de los interesados.

5) Evaluar el desempeño y buscar maneras de mejorarlo.

La EBSE surge como una analogía a la práctica médica en donde elparadigma ha cambiado drásticamente la investigación. En esa rama delas ciencias se utilizan revisiones para resumir, por ejemplo, los resulta-dos de una nueva droga presente en distintos medicamentos probadosen diferentes lugares del mundo. La rigurosidad metodológica hace quelos resultados sean más confiables ya que es posible estudiar el proce-dimiento llevado a cabo para su obtención así como también reprodu-cirlo.

El mecanismo normal para la identificación y la agregación de evi-dencia de investigación es la Revisión Sistemática de Literatura.

3. Revisiones Sistemáticas de Literatura

3.1. Motivación

La necesidad de agregar evidencia desde múltiples estudios empíricostiene varias motivaciones. Seguramente al comenzar una investigación sequiera utilizar toda la investigación previa relacionada con el fin de no partirde cero. También es posible querer contemplar los resultados de varios es-tudios particulares en conjunto para contestar preguntas amplias que no po-drían contestarse de forma individual. Este proceso de recolección y síntesisdebe contar con cierto estándar científico y rigurosidad metodológica.

Las revisiones sistemáticas de literatura permiten recolectar y sintetizarevidencia de distintas fuentes. La característica clave que las distingue delas revisiones tradicionales narrativas (o clásicas) es su intento explícito deminimizar las posibilidades de llegar a conclusiones erradas, que puedan re-sultar de sesgo en los estudios primarios o en el proceso mismo de revisión[2].

Sobre este tema:

� Una breve descripción de las revisiones sistemáticas de literaturaen ingeniería de software puede encontrarse en [3] o en el capítu-lo 4 de [4], la referencia más importante es la guía de Kitchenham[5].

� Shull et al. presentan una breve pero útil introducción a los distin-tos métodos empíricos utilizados en la investigación en ingenieríade software [6].

� Kitchenham et al. brinda una descripción más detallada de las ra-zones e importancia de las revisiones sistemáticas, así como desus ventajas y desventajas [5].

3.2. Definición y Etapas

Una revisión sistemática de literatura (o SLR por sus siglas en inglés) esun método para identificar, evaluar e interpretar todas las investigacionespertinentes a una determinada pregunta de investigación, área temática ofenómeno de interés. Los estudios individuales que contribuyen a una revi-sión sistemática son llamados estudios primarios; mientras que una revisiónsistemática es por tanto un estudio secundario [5].

Una SLR tiene ciertas etapas discretas contempladas en tres fasesprincipales [5]:

1) Planificar la Revisión

• Identificar la necesidad de una revisión.• Poner en marcha la revisión (opcional).• Especificar las preguntas de investigación.• Desarrollar el protocolo de revisión.• Evaluar el protocolo de revisión (recomendada).

2) Realizar la Revisión

• Identificar la investigación.• Seleccionar los estudios primarios.• Evaluar la calidad de los estudios.• Extraer datos y monitorear.• Sintetizar los datos.

3) Informar la Revisión

• Especificar los mecanismos de difusión.• Formatear el informe principal.• Evaluar el informe (recomendada).

La lista de etapas no es estrictamente secuencial y algunas puedenrepetirse más de una vez y pueden involucrar iteración o reimplementa-ción.

3.3. Planificar la Revisión

3.3.1. Identificar la necesidad de una revisión

Antes de comenzar es necesario chequear sí no existen revisionesprevias o en curso y sí una nueva revisión es necesaria. Esta tarea sepuede realizar buscando revisiones en los motores de búsqueda rela-cionados al área temática. Por ejemplo si se quiere realizar una revi-sión sobre educación de ingeniería de software se puede chequear re-visiones existentes utilizando la cadena “software engineering educa-tion systematic literature revision” en diferentes motores de búsqueda.Si se identifican una o más revisiones que contestan la pregunta de in-terés, entonces se deben evaluar sí cuentan con calidad suficiente.

Una evaluación crítica puede ser realizada utilizando una lista de ve-rificación o checklist. A continuación se incluye una de ejemplo [7]:

• ¿Fue la pregunta de investigación claramente definida entérminos de población, intervenciones, comparaciones, re-sultados y diseño de estudios?

• ¿Fue la estrategia de búsqueda adecuada y apropiada?¿Hubo alguna restricción de lenguaje, estado o fecha de pu-blicación?

• ¿Se realizaron acciones preventivas para minimizar sesgo yerrores en el proceso de selección de estudios?

• ¿Se usó un criterio apropiado para evaluar la calidad de losestudios primarios y se realizaron acciones preventivas paraminimizar sesgo y errores en el proceso de evaluación de lacalidad?

• ¿Se realizaron acciones preventivas para minimizar sesgo yerrores en el proceso de extracción de datos?

• ¿Son adecuados los detalles presentados de cada estudioprimario?

• ¿Son apropiados los métodos utilizados para la síntesis dedatos? ¿Hay diferencias entre los estudios evaluados? ¿Seagruparon los estudios, y sí fue así: era apropiado y signifi-cativo hacerlo?

• ¿Reflejan las conclusiones de los autores la evidencia quese revisó?

3.3.2. Puesta en marcha de la revisión

A veces una organización requiere de información sobre un tema es-pecífico pero no cuenta con el tiempo o la experiencia para realizar unarevisión sistemática propia. En tales casos, podrá encargar a investiga-dores la revisión sistemática de literatura sobre el tema. En estos ca-sos, la organización deberá presentar un documento de puesta en mar-cha especificando el trabajo requerido. Un documento de este estilopuede tener carácter contractual y debe explicitar cabalmente los requi-sitos de la organización.

3.3.3. Especificar las preguntas de investigación

La especificación de las preguntas de investigación es la parte másimportante de cualquier revisión sistemática ya que éstas constituyen labase de toda la revisión: definen qué estudios serán incluidos o exclui-dos de la revisión, definen los datos que se deberían extraer de la lite-ratura revisada y finalmente son respondidas en el reporte final de larevisión utilizando el proceso de síntesis de datos elegido.

De acuerdo a Kitchenham [5], es conveniente crear las preguntas co-rrectas. En general una pregunta correcta es aquella que:

• Es significativa e importante tanto para investigadores comopara profesionales.

• Dará lugar a cambios o incrementará la confianza en lasprácticas actuales de la ingeniería de software.

• Identificará las discrepancias entre las creencias común-mente aceptadas y la realidad.

Aspectos a considerar al crear las preguntas de investigación inclu-yen [5], [4]:

• La población en la cual se recolecta la evidencia. Por ejem-plo el grupo de programadores que probaron un nuevo mé-todo para diseñar software.

• La intervención aplicada en el estudio empírico. Por ejem-plo, el nuevo método para diseñar software.

• La comparación contra la cual se compara la intervención.Por ejemplo, el método antiguo que los programadores utili-zaban para diseñar software.

• Los resultados. Además de ser estadísticamente satisfacto-rios deben ser significativos desde el punto de vista prácti-co. Por ejemplo, seguramente se pueda obviar en los resul-tados que el nuevo método de diseño requiere el uso de ho-jas oficio en lugar de A4.

• El contexto del estudio. En general es una extensión de lapoblación, puede incluir si fue realizado en la industria o laacademia, en qué segmento de la industria o por ejemplo,los incentivos otorgados a los sujetos.

• Los diseños experimentales a incluir en las preguntas de in-vestigación. Quizás se requiera restringir a revisar sólo es-tudios primarios correspondientes a casos de estudio, porejemplo.

Recomendaciones [8], [9]

• Es probable que sea necesario revisar las preguntas du-rante el desarrollo del protocolo, a medida que aumenteel entendimiento del problema.

• Quizás realizar un estudio de mapeo previo a la revisiónsirva de ayuda para determinar el alcance de las pregun-tas de investigación.

• Es conveniente evaluar que los motores de búsquedasean capaces de ejecutar las cadenas de búsqueda.

3.3.4. Desarrollar el protocolo de revisión

Un protocolo de revisión especifica los métodos que se utilizaránpara llevar a cabo una revisión sistemática específica y su definición deantemano tiene como objetivo minimizar cualquier sesgo en el proceso.Por ejemplo, sin un protocolo, es posible que la selección y/o el análisisde los estudios individuales se vean influenciados por las expectativasdel investigador.

Los componentes de un protocolo incluyen todos los elementos de larevisión más alguna información adicional de planificación:

• Antecedentes y justificación de la revisión.• Preguntas de investigación.• Estrategia de búsqueda para estudios primarios. Debe in-

cluir los términos de búsqueda y recursos donde se realiza-rá la búsqueda. Los recursos incluyen librerías digitales, re-vistas específicas, y actas de congresos.

• Criterios de selección de estudios. Usados para determinarcuáles estudios son incluidos o excluidos de la revisión sis-temática

• Procedimientos de selección de estudios. El protocolo debedescribir cómo se aplicará el criterio de selección, por ejem-plo, cuántos asesores evaluarán cada estudio primario, ycómo se resolverán los desacuerdos entre los evaluadores.

• Procedimientos y listas de verificación para evaluar la cali-dad.

• Estrategia de extracción de datos.• Síntesis de los datos extraídos.• Estrategia de difusión.• Calendario del proyecto de revisión.

En la Tabla 1 se incluye una posible estructura para el protocolo [9].

1. Question Formularization1.1. Question Focus1.2. Question Quality and Amplitude

- Problem- Question- Keywords and Synonyms- Intervention- Control- Effect- Outcome Measure- Population- Application- Experimental Design

2. Sources Selection2.1. Sources Selection Criteria Definition2.2. Studies Languages2.3. Sources Identification

- Sources Search Methods- Search String- Sources List

2.4. Sources Selection after Evaluation2.5. References Checking

3. Studies Selection3.1. Studies Definition

- Studies Inclusion and Exclusion Criteria Definition- Studies Types Definition- Procedures for Studies Selection

3.2. Selection Execution- Initial Studies Selection- Studies Quality Evaluation- Selection Review

4. Information Extraction4.1. Information Inclusion and Exclusion Criteria Definition4.2. Data Extraction Forms4.3. Extraction Execution

- Objective Results Extractioni) Study Identificationii) Study Methodologyiii) Study Resultsiv) Study Problems

- Subjective Results Extractioni) Information through authorsii) General Impressions and Abstractions

4.4. Resolution of divergences among reviewers5. Results Summarization

5.1. Results Statistical Calculus5.2. Results Presentation in Tables5.3. Sensitivity Analysis5.4. Plotting5.5. Final Comments

- Number of Studies- Search, Selection and Extraction Bias- Publication Bias- Inter-Reviewers Variation- Results Application- Recommendations

Tabla 1 – Estructura común de los protocolos de revisiones sistemáti-cas de literatura.

Recomendaciones [8], [3]

• Conviene que todos los miembros de la revisión sistemáti-ca participen activamente en el desarrollo del protocolode revisión.

• Resulta esencial realizar una prueba piloto del protocolode investigación. Esto permite encontrar errores en losprocedimientos de recolección y agregación de los datos.Es posible que surjan consideraciones que hagan cambiarla metodología que se pretendía usar para contestar laspreguntas de investigación.

• Es probable que el protocolo sea modificado a lo largo delproceso de la revisión, por tanto se deben documentar yjustificar todos los cambios realizados.�

3.3.5. Evaluar el protocolo de revisión

Ya que el protocolo es un elemento crítico de cualquier revisión sis-temática, los investigadores deberían acordar un procedimiento para suevaluación.

Se pueden utilizar los mismos criterios utilizados para la identifica-ción de la revisión. Además, se puede chequear la consistencia internadel protocolo para confirmar que: las cadenas de búsqueda fueron deri-vadas correctamente; los datos a extraer y el procedimiento de análisisde los datos responderán adecuadamente a las preguntas de investiga-ción.

Recomendaciones [8]

• Para la extracción de datos conviene contar con un docu-mento breve que contenga únicamente la definición de losdatos y las guías de extracción de datos del protocolo.

• Es necesario que se acuerde un proceso de validaciónseparado de las pruebas piloto del protocolo. Sería idealque este proceso fuera realizado por revisores externos.

3.4. Realizar la Revisión

3.4.1. Identificar la investigación

En esta etapa se establece y utiliza una estrategia de búsqueda paraobtener una lista de todas las publicaciones relevantes para las pregun-tas de investigación. La estrategia de búsqueda tiene que ser la defini-da en el protocolo de la revisión y debe estar publicada de forma trans-parente y replicable.

Es bueno descomponer las preguntas de investigación e identificarcadenas iniciales de búsqueda de acuerdo a población, intervención,comparación, resultados, contexto y diseño del estudio. Además con-viene crear listas de sinónimos, abreviaciones y ortografías alternati-vas.

Otra alternativa, a veces utilizada como complemento, es el uso dela referencias en la búsqueda de nuevos estudios. Se parte de un estu-dio primario relevante encontrado previamente y se utilizan sus referen-cias para encontrar nuevos estudios relevantes (backward snowballing)o se buscan que estudios lo ubican en sus referencias (forward snow-balling) [4].

Al crear la estrategia de búsqueda se debe perseguir el equilibrio en-tre intentar conseguir todos los estudios relevantes y no recuperar de-masiados falsos positivos que deban ser excluidos a mano��

Sobre este tema:

� La definición de la estrategia de búsqueda es un tema no menor,sobretodo sí se quiere evaluar de alguna forma qué tan buena es.Zhang et al. proponen una técnica sistemática de aproximación auna búsqueda "casi perfecta" utilizando una sub-búsqueda ma-nual e iteraciones [10].

El sesgo en la publicación se refiere a que es más probable quesean publicados estudios con resultados (en algún sentido) positivos aestudios que presentan resultados negativos. Para evitar esto se puedeconsultar la literatura gris, como por ejemplo reportes técnicos, publica-ciones rechazadas o trabajos en progreso.

Recomendaciones [8]

• Existen diferentes estrategias de búsqueda asociadas adiferentes tipos de criterios de búsqueda. Se debe elegir yjustificar la estrategia de búsqueda más apropiada paralas preguntas de investigación a responder.

• Se deben utilizar diferentes fuentes electrónicas; segura-mente no exista una única fuente que pueda proporcionartodos los estudios primarios.

• Actualmente, los motores de búsqueda de ingeniería desoftware no están diseñados para soportar las revisionessistemáticas de literatura. Así es que muchas veces lasbúsquedas quedan diseñadas dependientes de la fuente.

• Las búsquedas deben aplicarse sobre los mismos campos(esto es: título, abstract, etc) y utilizando los mismos fil-tros para todos los artículos en todas las fuentes. De to-das maneras, la cadena de búsqueda debe adaptarsepara poder ejecutarse en las distintas bibliotecas digita-les.

3.4.2. Seleccionar los estudios primarios

Una vez que se han obtenido los estudios primarios potenciales esnecesario evaluar cabalmente su relevancia. Para esto se utilizan crite-rios de inclusión y exclusión, los primeros definen que estudios se de-ben incluir como relevantes mientras que los últimos se aplican sobrelos estudios seleccionados o sobre la lista inicial para remover estudiosirrelevantes.

Los criterios de selección de estudios pretenden identificar los estu-dios primarios que proporcionan evidencia directa acerca de las pre-guntas de investigación. A fin de reducir la probabilidad de sesgo, loscriterios de selección deben ser decididos durante la definición de pro-tocolo, aunque tal vez puedan ser refinados durante el proceso de bús-queda.

Los criterios de inclusión y exclusión deberían estar basados en laspreguntas de investigación; y probados para asegurar que son interpre-tados de forma confiable y que clasifican los estudios correctamente.

Recomendaciones [8]

• En general, los resúmenes estándar en IT e ingeniería desoftware son demasiado pobres para poder seleccionarestudios primarios. Así que es recomendable revisar tam-bién las conclusiones.

3.4.3. Evaluar la calidad de los estudios

El objetivo de esta etapa es analizar y evaluar la calidad de cada es-tudio seleccionado a fin de determinar su inclusión o no en el procesode extracción de datos y reporte de resultados de la revisión. En gene-ral, el propósito de la evaluación de la calidad es asegurar que los ha-llazgos de un estudio son relevantes y no sesgados.

Ante la dificultad inicial de contar con un acuerdo en la definición de"calidad" de un estudio Kitchenham [5] sugiere que la calidad se refierea la medida en que el estudio minimiza el sesgo y maximiza tanto la va-lidez interna y como la externa. A continuación se detallan estos con-ceptos:

• Sesgo (o error sistemático): Tendencia a producir resultadosque se apartan sistemáticamente de los resultados "verda-deros".

• Validez interna: El grado en que el diseño y la realización deun estudio tienden a prevenir el error sistemático.

• Validez externa: El grado en que los efectos observados enel estudio son aplicables fuera del estudio en sí.

En general, se llama "instrumentos de calidad" a las evaluacionesdetalladas de calidad; las cuales son, generalmente, listas de verifica-ción de los posibles factores de sesgo que es necesario evaluar encada estudio. La mayoría de las listas de verificación de calidad inclu-yen preguntas para evaluar el grado en que los artículos consideran elsesgo y la validez. También, es posible considerar: ítems genéricos re-lacionados a características del diseño particular del estudio e ítemsespecíficos relacionados al área de la revisión.

A modo de referencia Kitchenham [5] incluye una lista bastante am-plia de preguntas para estudios cuantitativos y otra para estudios cuali-tativos. También indica la alternativa de utilizar una escala de medidapara cada ítem en las ocasiones en las cuales una respuesta de Si/Nopuede resultar engañosa.

Es importante que los investigadores no solo definan en el protocoloel instrumento de calidad sino que también especifiquen cómo seráusada la información de calidad. Las opciones son las siguientes:

• Para asistir en la selección de estudios primarios. En estecaso, la información de calidad se utiliza para construir cri-terios de inclusión/exclusión detallados.

• Para asistir en la síntesis y análisis de los datos. En estecaso la información de calidad es usada para identificar su-bconjuntos de los estudios primarios e investigar si las dife-rencias de calidad están asociadas con diferentes resulta-dos de los estudios primarios.

Es posible contar con ambos tipos de información de calidad en unamisma revisión sistemática.

Limitaciones de la Evaluación de la Calidad [5]

A menudo el informe de los estudios primarios es pobre, por lo quequizás no sea posible determinar la forma de evaluar un criterio de cali-dad. Es tentador suponer que porque algo no se encuentra reportado,no se hizo. Esta suposición puede ser incorrecta. Los investigadoresdeberían intentar obtener más información por parte de los autores delestudio.

Es posible identificar un análisis estadístico inadecuado o inapropia-do, pero sin acceso a los datos originales no es posible corregirlo. Escomún que los datos sean confidenciales y que no puedan estar dispo-nibles. En algunos casos, los involucrados pueden negarse a compartirsus datos con otros investigadores debido a que desean continuar pu-blicando sobre el tema.

Recomendaciones [8]

• Existe un énfasis en la necesidad de evaluar la calidad delos estudios primarios. Sin embargo, esto depende deltipo de revisión sistemática de literatura que se lleve acabo. Por ejemplo, es común que para algunos tipos derevisión ya es un criterio de calidad suficiente que los es-tudios primarios hayan sido publicados en alguna revistaacadémica.

• Es importante asegurar que la evaluación de calidad seautilizada en las actividades siguientes de agregación yanálisis de datos.

3.4.4. Extraer datos

El objetivo de esta etapa es el diseño de formularios de extracciónde datos para que los investigadores puedan registrar adecuadamentela información que obtienen de los estudios primarios. A fin de reducirposibles sesgos, se recomienda definir los formularios de extracción dedatos y realizar pruebas piloto durante la definición del protocolo de larevisión.

Los formularios de extracción de datos deben ser diseñados para re-colectar toda la información necesaria para contestar las preguntas dela revisión así como los criterios de calidad de los estudios. Si los crite-rios de calidad van a ser utilizados para identificar criterios deinclusión/exclusión, entonces se requieren formularios separados (yaque la información debe ser recolectada previo a la extracción de da-tos).

En general un formulario de extracción de datos debería incluir lassiguientes partes (secciones) [3]: información de la extracción (respon-sable y fecha de la extracción, responsable de verificar), informacióngeneral de los estudios (identificador del estudio, título y detalles de pu-blicación), preguntas para responder las preguntas de la revisión, pre-guntas para evaluar la calidad de los estudios y resumen de los datos.

Es importante no incluir en la síntesis de una revisión sistemáticamúltiples publicaciones de los mismos datos ya que informes duplica-dos podrían afectar seriamente el sesgo de cualquier resultado. Cuan-do hay publicaciones duplicadas conviene usar la más completa.

Recomendaciones [8]

• Cuando sea necesario revisar un gran número de artícu-los puede resultar útil que un lector extraiga los datos yotro los valide.

• Si es necesario manipular datos se debe describir y justi-ficar las manipulaciones realizadas.

• En caso de que los datos de un estudio no estén comple-to se puede escribir a los autores para conseguirlos.

3.4.5. Sintetizar los datos

La síntesis de los datos involucra recolectar y resumir los resultadosincluidos en los estudios primarios. En general, hay dos tipos de sínte-sis de datos: síntesis descriptiva (o narrativa) y síntesis cuantitativa [3].

Con el fin de lograr conclusiones confiables la síntesis debería consi-derar la fuerza de la evidencia, explorar la consistencia y discutir incon-sistencias. El enfoque debería estar definido en el protocolo y se deter-mina por el tipo de las preguntas de investigación, pero también por eltipo de estudios disponibles y por la calidad de los datos.

Sin importar el tipo de síntesis, se debería comenzar con la creaciónde un resumen de los estudios incluidos. En general se presenta unatabla con detalles importantes como son el tipo, intervenciones, númeroy característica de los participantes, resultados, etc. También se pre-sentan (en la misma o en otra tabla) elementos de la calidad de los es-tudios y riesgos de sesgo. Además, este proceso descriptivo deberíaser explícitamente riguroso y ayudar a concluir que los estudios son si-milares y confiables para su síntesis [3].

La información extraída sobre los estudios (por ejemplo: interven-ción, población, contexto, tamaño de la muestra, resultados, calidad delestudio) debería presentarse tabulada de una manera consistente conlas preguntas de la revisión. Las tablas deberían estar estructuradaspara resaltar similitudes y diferencias entre los resultados de los estu-dios.

Es importante identificar sí los resultados de los estudios son consis-tentes unos con otros (o sea, homogéneos) o inconsistentes (o sea, he-terogéneos). Los resultados quizás puedan ser tabulados para mostrarel impacto de potenciales fuentes de heterogeneidad (por ejemplo: ti-pos de estudio, calidad del estudio o tamaño de la muestra).

Kitchenham sugiere realizar un análisis de sensibilidad para determi-nar si los estudios de baja calidad tienen impacto significativo sobre losresultados de la síntesis. El análisis de sensibilidad también puede rea-lizarse sobre diferentes subconjuntos de los estudios primarios para de-terminar la robustez de los resultados.

Sobre este tema:

� La síntesis de los datos es un tema con bastantes componentesestadísticos y matemáticos. Inicialmente se pensaba que no ibaser posible realizar síntesis cuantitativas en ingeniería de softwa-re (debido a la calidad de los datos) y solo se explicaba en detallela síntesis narrativa [5]. En [11] plantean una revisión terciaria es-tudiando los tipos de síntesis realizadas hasta el momento y sepercibe cierto incremento en la formalidad al realizar síntesis dedatos. El estudio es muy completo y es bastante ilustrativo, sobretodo porque hace una introducción bastante profunda del tema,así como una lista de los tipos de síntesis disponibles y recomen-daciones sobre su uso. Para complementar este tema, se puedeconsultar [12] donde se presenta una visión sobre la síntesis par-ticular de casos de estudios. Un estudio bastante más exhaustivo

sobre síntesis de datos y meta-análisis puede leerse en [7].

3.5. Informar sobre la revisión

La fase final de una revisión sistemática involucra redactar los resul-tados de la revisión y difundir los resultados a potenciales interesados.

Sobre este tema:

� Escribir artículos científicos, o material publicable en general, esdifícil al principio y es necesario completar cierta curva de apren-dizaje. Como siempre la práctica hace al maestro. Un libro muybueno para comenzar es uno publicado por Björn [13], aunquenace en el área de la medicina es simple y sus recomendacionesaplicables en general.

3.5.1. Especificar los mecanismos de difusión

Es importante comunicar los resultados de la revisión sistemática.Por esto es que algunas guías recomiendan planificar la estrategia dedifusión durante la etapa de puesta en marcha de la revisión (si existe)o cuando se prepara el protocolo de revisión sistemática.

La mayoría de los académicos asumen que la difusión se trata depublicar en revistas académicas o presentar en conferencias. Sin em-bargo, si se quiere que los resultados tengan influencia sobre la prácti-ca profesional seguramente sean necesarios otros medios de comuni-cación, en particular: Revistas con orientación profesional, prensa po-pular o especializada, folletos breves con resúmenes, posters, páginaswebs, entre otros.

3.5.2. Formatear el informe principal

Kitchenham [5] sugiere la siguiente estructura y contenido para infor-mes de revisiones sistemáticas.

Sección Subsección Alcance / Comentarios

Título

Debería ser corto pero informativo, así como basado en las preguntas a responder por la re-visión. Para revistas académicas, en general se incluye que se trata de una revisión siste-mática.

Autoría

Resumen Ejecuti-vo o Estructurado

ContextoLa importancia de las preguntas de investiga-ción que aborda la revisión.

ObjetivosLas preguntas contestadas por la revisión sis-temática.

MétodosFuentes de datos, selección de estudios, eva-luación de calidad y extracción de datos.

ResultadosPrincipales hallazgos incluyendo meta-análisis y análisis de sensibilidad.

ConclusionesImplicancias a la práctica y futura investiga-ción.

Antecedentes

Justificación de la necesidad de la revisión.Resumen de revisiones previas.

Descripción de la técnica de ingeniería de so-ftware que está siendo investigada así como su importancia potencial.

Preguntas de la Se debe especificar cada una de las preguntas

revisión de la revisión.

Métodos de la re-visión

Fuentes de datos y estrategia de bús-queda

Estos datos se deberían basar en el protocolo original incluyendo información de los cambios que haya sufrido.

Selección de estu-diosEvaluación de cali-dad de los estudiosExtracción de datosSíntesis de los da-tos

Estudios Incluidos y Excluidos

Criterios de inclusión y exclusión.Lista de los estudios excluidos, así como las razones para la exclusión.

Los criterios de inclusión y exclusión de los es-tudios a veces son representados como un dia-grama de flujo, ya que los estudios pueden ser excluidos en distintas etapas de la revisión.

ResultadosHallazgos

Descripción de los estudios primarios.Resultados de cualquier resumen cuantitativo.Detalles de cualquier meta-análisis.

Se debería incluir resúmenes no cuantitativos de los estudios de forma de presentarlos en forma tabular.Los resúmenes cuantitativos se deberían pre-sentar en tablas y gráficos.

Análisis de sensibi-lidad

Discusión

Hallazgos principa-les

Esto debe corresponder con los hallazgos pre-sentados en la sección de resultados.

Fortalezas y debili-dades

Fortalezas y debilidades de la evidencia inclui-da en la revisión.Relación a otras revisiones, considerando par-ticularmente cualquier diferencia en calidad y resultados.

Una discusión de la validez de la evidencia considerando el sesgo en la revisión sistemáti-ca permite que el lector pueda evaluar la con-fianza que puede depositar en la evidencia re-colectada.

Significado de los hallazgos

Dirección y magnitud de los efectos observa-dos en los estudios resumidos.Aplicabilidad (generalización) de los hallazgos.

Dejar en claro en qué medida los resultados implican causalidad discutiendo el nivel de evi-dencia.Discutir todos los beneficios, efectos adversos y riesgos.Discutir variaciones en los efectos y sus razo-nes.

Conclusiones Recomendaciones

Implicaciones prácticas para el desarrollo de software.Preguntas sin responder e implicaciones para investigación futura.

AgradecimientosTodas las personas que colaboraron en la in-vestigación pero no califican en los criterios de autoría.

Conflictos de inte-reses

Se debe declarar cualquier interés secundario por parte de los investigadores (por ejemplo: un interés financiero en la tecnología que está siendo evaluada).

Referencias y Anexos

Los anexos pueden ser utilizados para: listar estudios incluidos y excluidos, documentar de-talles de la estrategia de búsqueda, y listar da-tos sin pulir de los estudios incluidos.

Tabla 2 – Índice sugerido para informe de una revisión sistemática de lite-ratura.

3.5.3. Evaluar el informe

Los informes de la revisión sistemática suelen ser evaluados en elmarco de su difusión: un artículo en una revista académica será revisa-do previo a su publicación, expertos revisarán una tesis de doctorado.Si el protocolo fue revisado por un grupo de expertos previo a la ejecu-ción de la revisión entonces se recomienda que el mismo grupo reviseel informe final. El proceso de evaluación puede utilizar las listas de ve-rificación de calidad para revisión sistemáticas similares a las vistas enla sección.

4. Estudios de Mapeo

Los estudios de mapeo (o de alcance) son un tipo de revisión sistemática deliteratura, pero a diferencia de las revisiones sistemáticas convencionales supropósito es encontrar y clasificar estudios primarios dentro de un tópico es-pecífico [14]�

4.1. Diferencias entre un estudio de mapeo y una SLRLa diferencia principal es que una revisión sistemática convencional intentaagregar los estudios primarios en términos de los resultados de la investiga-ción e investiga sí son consistentes o contradictorios. En cambio, un estudiode mapeo aspira solamente a clasificar la literatura relevante y a clasificarlos estudios con respecto a categorías definidas. A continuación, se presen-tan las diferencias entre los estudios de mapeo y las revisiones sistemáticasconvencionales [15].

Proceso de la SLR

Estudio de Mapeo SLR

Preguntas de investigación

Generales — relacionadas a las tendencias en investiga-ción. Qué subtópicos se ma-nejan, qué investigadores, cuánta actividad, qué tipos de estudios, etc.

Especificas — relacionadas a los resultados de los estudios empíri-cos. De la forma: ¿es la tecnolo-gía/método A mejor o no que el B?

Proceso de bús-queda

Definido por el área temáti-ca.

Definido por las preguntas de in-vestigación.

Estrategia de búsqueda

No muy estricta si sólo son de interés las tendencias en investigación.

Extremadamente estricta — todos los estudios relevantes deben ser encontrados.

Evaluación de calidad

No es esencial. Es importante para asegurar que los resultados se basan en la evi-dencia de mejor calidad.

Resultados Conjunto de artículos rela-cionados a un área temática y su clasificación según va-rias categorías.

Respuestas a preguntas de inves-tigación específicas, posiblementecon calificadores (por ejemplo: losresultados aplican únicamente a novatos).

Tabla 3 – Resumen de diferencias entre las revisiones sistemáticas ylos estudios de mapeo.

4.2. Esquemas de clasificación

Uno de los principales focos al realizar estudios de mapeo es lacreación de un esquema de clasificación. Aunque si bien pueden tener-se ideas iniciales, su construcción finaliza cuando se dispone de los da-tos de los estudios relevantes encontrados.

En un estudio de mapeo en general se trabaja con uno o más esque-mas de clasificación a fin de categorizar los estudios primarios en-contrados, por ejemplo, identificando a qué país pertenece o estable-ciendo de qué tópico trata a partir de una lista de temas. Esto puedeimplicar una sola dimensión (por ejemplo clasificar según país de publi-cación) o varias dimensiones (por ejemplo clasificar según país, perotambién según tema y fuente de publicación).

Para elegir un esquema de clasificación se puede consultar investi-gación previa o bibliografía relevante antes de comenzar el estudio demapeo. En general, es buena práctica validar el esquema revisando unsubconjunto de las publicaciones que serán cubiertas mediante el estu-dio previo a realizarlo.

Si es necesario la construcción de un esquema de clasificación esposible utilizar, por ejemplo, un keywording de los abstracts [16], estoimplica la extracción de los términos clave de los resúmenes de los artí-culos encontrados. Esto puede ser bueno para algunos casos, pero engeneral conviene tener una noción básica de aspectos de clasificacióny construcción de vocabularios controlados (que es el concepto realasociado a los esquemas de clasificación). Para esto se pueden con-sultar la guía de Zeng [17].

Al comenzar a trabajar con estudios de mapeo es difícil imaginar queesquemas de clasificación pueden resultar útiles. Algunos de las si-guientes ideas pueden ayudar:

� Fechas de publicación — Una buena dimensión a estudiar es lafecha de publicación, en general permite analizar la evoluciónde los demás dimensiones a través del tiempo. En general seextrae el año solamente, pero para estudios particulares podríautilizarse el mes también.

� País de publicación — Muchas veces es de interés clasificar losestudios primarios por país de publicación.

� Fuente — También puede ser de interés clasificar los artículospor fuente de publicación.

� Métodos de investigación — Un aspecto muy interesante al eva-luar artículos es determinar que método de investigación utili-zan los autores. Pueden encontrarse distintas manera de reali-zar esta clasificación, pero está bastante generalizado el usodel esquema planteado por Wieringa [23]. Para cada método deinvestigación Wieringa presenta criterios de evaluación quepueden ser utilizados, por ejemplo, para crear criterios de eva-luación de la calidad. En la Tabla 4 se muestra un resumen dela clasificación de Wieringa.

Categoría Descripción

Evaluation research Se investiga la aplicación práctica de una técnica. Se inclu-ye cómo se implementa la técnica y cuáles son sus conse-cuencias (ventajas y desventajas). En general la técnica no es novedosa pero su aplicación práctica sí.

Proposal of solution Se propone una solución a un problema y se argumenta su relevancia sin una validación en toda regla. La solución pro-puesta debe ser novedosa o por lo menos una extensión significativa de una técnica ya existente.

Validation research Este tipo de artículos investigan las propiedades de una so-lución propuesta pero que aún no ha sido implementada. Posibles métodos para realizar esta validación pueden ser: experimentos, simulaciones, prototipos, análisis matemáti-co, etc.

Philosophical papers Explican una manera nueva de ver las cosas, un nuevo mar-co conceptual, etc.

Opinion papers Contienen la opinión del autor sobre si algo está mal o bien,o cómo se hacen las cosas, etc.

Personal experience papers

En este tipo de artículos se explican experiencias persona-les. Su foco es el qué y no el porqué. La evidencia presen-tada en este tipo de artículos en general es anecdótica.

Tabla 4 – Esquema de clasificación según métodos de investigación[23].

Sobre este tema:

� En [16] brindan una explicación bastante completa del proceso decreación que utilizaron en un caso de ejemplo.

� En [14] se presenta una comparación de varios estudios de ma-peo y se comentan características de este tipo de revisiones.

� Otras referencias a los vocabularios controlados son: [18] y [19].

4.3. Presentación de resultados

La presentación de resultados de los estudios de mapeo es un as-pecto significativo. Mientras que en las revisiones sistemáticas de lite-ratura los resultados, en general, pueden sintetizarse de alguna forma(cualitativa o cuantitativa), en los estudios de mapeo esto puede serque no resulte tan fácil de realizar. Por este motivo, es posible que seopte por tablas o visualizaciones gráficas de los resultados.

Como el propósito de un estudio de mapeo está fuertemente ligado ala clasificación de los estudios primarios es frecuente ver gráficos don-de se presenta la distribución de las publicaciones para una dimensión(una categoría, se pueden utilizar gráficos de torta u otros) o varias di-mensiones (cruzando dos o tres categorías, por ejemplo en un gráficode burbujas). Se muestran algunos ejemplos a continuación en las Fi-guras 1, 2 y 3.

Figura 1 – Porcentaje de publicaciones por fuente bibliográficas [20] —Ejemplo de presentación de cantidad de publicaciones según una dimen-sión.

Figura 2 – Tipo de investigación versus Enfoque del proceso versus Enfo-que de enseñanza [20] — Ejemplo de gráfico mostrando cantidad de publi-caciones según 3 dimensiones (notar que en realidad se cruzan de a dos).

Figura 3 – Evolución de los enfoques de enseñanza a lo largo del tiempo[20] — Ejemplo de presentar la evolución de una dimensión a lo largo deltiempo.

5. Revisiones Terciarias

En un dominio en el cual ya exista un número de revisiones sistemá-ticas puede ser posible conducir una revisión terciaria (una revisión sis-temática de revisiones sistemáticas) para contestar preguntas más am-plias. Una revisión terciaria utiliza exactamente la misma metodologíaque las revisiones sistemáticas de literatura estándares.

Sobre este tema:

� A modo de ejemplo o para entender aspectos avanzados sobrerevisiones sistemáticas en ingeniería de software se pueden con-sultar revisiones terciarias en ese tema en [21], [22], [23] y [24].

6. Anotaciones sobre librerías digitales y motores de bús-queda

El objetivo de esta sección es proveer información relacionada a losmotores de búsqueda y librerías digitales que son utilizados para reali-zar investigaciones basadas en evidencia en ingeniería de software. Laintención es que se actualice de forma periódica con nueva informaciónrecabada.

A modo de caso de estudio se presenta una búsqueda como ejem-plo. El propósito de este caso es obtener Evidencia empírica sobre lainclusión de los métodos formales en los currículos de informática ycomputación. La cadena de búsqueda base se muestra en la Tabla 5.Se incluyen ejemplos de como utilizar las distintas bibliotecas para rea-lizar la búsqueda adaptando cuando sea necesario nuestra cadena debúsqueda.

������������ ����������������������������������������������� ��������������������� ������������� �������������������������������������������� ������������!�� ���"����������������������������������������������������������������������

Tabla 5 – Cadena de búsqueda de ejemplo. Query string para “Evidenciaempírica sobre la inclusión de los métodos formales en los currículos de in-

formática y computación”.

6.1. ACM Digital

Figura 4 – Página de acceso a ACM Digital.

ACM Digital indexa journals y proceedings de conferencias publica-dos por la ACM así como por organizaciones afiliadas. La biblioteca tie-ne una sección de Advanced search que se accede mediante el link enla esquina superior derecha (Figura 4). En principio es poco intuitivo eluso ya que no presenta un campo para ingresar una query string ni unaguía de la sintaxis (Figura 5).

Figura 5 – Primer acceso a la Advanced search.

Se pueden utilizar los campos del formulario de búsqueda y así ge-nerar la query que se necesite. Acepta wildcards, pero los operadores +y – son reservados. Es posible disponer del cuadro de ingreso de laquery string, pero para esto se debe realizar una consulta cualquiera yluego acceder al link Advanced search desde los resultados de la bús-queda. Esto se muestra en la Figura 6.

Figura 6 – Acceso al cuadro de ingreso de la query string.

En la Tabla 6 se incluye la cadena de búsqueda del caso de estudioadaptada para esta librería.

�#���$����������� �����������$����������� �������#����$��������������������$��������������#���$�������������������$�������������#���$������������������$������������#���$ �����������������$ �����������#���$����������� ������������$����������� ������#���$��������������$��������#���$ ������������$ ������#����$������������������$���������������#���$����������������������������$���������������������#���$���� �������������������$���� �������������#���$�!�� ���"�������������������$�!�� ���"��������������#���$�����������������������$�����������������#���$��������������������������������$���������������������������#���$��������������������������������$��������������������������#���$����������������������������$��������������������

Tabla 6 – Cadena de búsqueda adaptada para ACM Digital.

Atención: Si bien Scopus indexa ACM, utilizando ambos buscadoresse encontró que algunos artículos que aparecen en ACM no eran de-vueltos por Scopus.

6.2. IEEEXplore

Esta biblioteca indexa todas las publicaciones de la IEEE. Tiene unasección de Advanced search (Figura 7) bastante intuitiva y ademáscuenta con la opción de Command search desde la cual se puede in-gresar directamente una query string (Figura 8).

Es importante notar que los resultados se muestran por defecto ran-queados por “relevancia”, donde la relevancia se calcula teniendo encuenta frecuencia y proximidad de los términos de búsqueda en el re-sumen y en el registro de citas, así como el largo del resumen y del re-gistro de citas.

Figura 7 – Advanced search de la biblioteca IEEEXplore.

Figura 8 – Command search que permite ingresar la query string directa-mente. Biblioteca IEEEXplore.

Se puede buscar por metadata, la cual incluye el abstract, indexingterms y bibliographic citation information (article title, author, publica-tion title, etc.). Esta opción es bastante útil por su simplicidad. En la Ta-

bla 7 se muestra la cadena de búsqueda del caso de estudio adaptadautilizando esta opción.

������������� ����������������������������������������������� ��������������������� ������������� �������������������������������������������� ������������!�� ���"����������������������������������������������������������������������

Tabla 7 – Cadena de búsqueda adaptada para IEEEXplore, buscando so-bre la metadata.

Para buscar por abstract basta con poner el prefijo "Abstract": a cadatérmino (por ejemplo: "Abstract":"formal method"). Lo mismo para titlecon el prefijo "Document Title".

Sí la sintaxis de la búsqueda es incorrecta, por ejemplo por omitir unoperador, no indica un mensaje de error, sino que muestra que no seencontró ningún resultado. De todas formas hay una guía de búsquedaque advierte que se tienen que utilizar operadores y tiene varios ejem-plos. Dicha guía también advierte que se pueden utilizar como máximo15 términos, pero no dice que tiene un límite de 40 palabras.

Si se ingresa una palabra o frase pero sin comillas, IEEE busca tam-bién variantes de esa frase o palabra. Por ejemplo palabras en plural,conjugaciones de verbos. Por ejemplo si la cadena de búsqueda es:“run”, también busca, por ejemplo, por “runs”, “running”, etc.Si la palabra está en inglés británico, también la busca en inglés ameri-cano. Por ejemplo si se ingresa la palabra “color”, IEEE también buscapor “colour”.

Si se quiere que una frase o palabra aparezca exactamente en el ar-tículo, se debe poner entre comillas. El caracter ” no es reconocido porel buscador (sería lo mismo que no ingresar ninguna comilla), en cam-bio " si. Por ejemplo, si la cadena de búsqueda es: "formal method"AND “information technology” va a filtrar por artículos con la frase "for-mal method" y con la palabra "information" o "technology" (o alguna va-riante), devolviendo más resultados del esperado.

Hay ciertas palabras que son ignoradas por el buscador por ser ge-nerales o demasiado frecuentes. Por ejemplo, si la cadena de búsque-da es: “the computer”, IEEE Xplorer va a buscar por la palabra “compu-ter”. Estas palabras son: a, as, have, of, what, about, at, how, on,when, above, can, I, or, where, an, do, in, over, why, and, find, is, show,with, any, for, me, the, you, are, from, not, under, your. Si se quiere queen la búsqueda aparezcan estas palabras, la frase se tiene que ponerentre comillas.

El buscador ignora algunos caracteres de puntuación. Por ejemplo sila cadena de búsqueda es "solid-state", IEEE va a buscar por "solid-state", "solid state" y "solid_state", así como cualquier otra ocurrenciade la frase "solid state" con caracteres de puntuación entre las pala-bras. Si la cadena de búsqueda es: "formal method" va a devolver el re-sultado del artículo que contiene la frase, por ejemplo, "non-formal me-thod".

Los caracteres especiales, incluyendo caracteres no alfanuméricos,como % , - , @, etc, son ignorados por el buscador. Los únicos caracte-res especiales reconocidos por IEEE Xplore son &, +, y /. El caracter *también es especial en el buscador.

En la sección Advanced Search Options hay una opción Preferences(también se puede acceder desde My settings-->Preferences). En lamisma se pueden setear las distintas opciones de búsqueda, como porejemplo la cantidad de resultados por página. La Figura 9 muestras lasopciones de preferencias.

Figura 9 – Opciones de las preferencias. Biblioteca IEEEXplore.

Algo que resulta muy útil es la opción Search history recording, quesi está en on guarda las búsquedas que se realizan (por defecto estaen off). Todas las búsquedas realizadas se pueden ver en My Settings-->Search History.

Atención: Si bien Scopus indexa IEEE, utilizando ambos buscadoresse encontró que algunos artículos que aparecen en IEEE no eran de-vueltos por Scopus.

����� ScienceDirect

ScienceDirect es una biblioteca que indexa journals publicados porElsevier y otros publicados por CrossRef (http://www.crossref.org/).Esta biblioteca tiene dos opciones avanzadas: Advanced search y Ex-pert search. La primera (Figura 10) permiten construir de forma asistidauna consulta, seleccionando una combinación de AND, OR o AND NOT.Además se pueden aplicar algunos filtros, como años, disciplinas, etc.Permite buscar por abstact, title, keywords, references, etc.

Figura 10 – Advanced search en ScienceDirect.

La funcionalidad de Expert search permite realizar una búsqueda através de una query. También se pueden aplicar algunos filtros, comoaños, disciplinas, etc.

No hay directamente una opción para buscar por abstact, title, ke-ywords, references, etc. Si se quiere buscar específicamente por algúncampo, hay que adaptar la cadena de búsqueda. Una opción es gene-rar una búsqueda utilizando la opción Advanced search (la cual temuestra la cadena de búsqueda correspondiente) para luego poder es-cribir la cadena de búsqueda en Expert search de forma adecuada. Enla Tabla 8 se muestra la cadena de búsqueda del caso de estudio adap-tada a esta plataforma.

#%#&"��'(#��)"*������������ ������#%#&"��'(#��)"*��������������� �� #%#&"��'(#��)"*������������� �� #%#&"��'(#��)"*��������������#%#&"��'(#��)"*�� �����������#%#&"��'(�#��)"*������������ �����#%#&"��'(#��)"*����������#%�#&"��'(#��)"*�� ������#%#&"��'(#��)"*�����������������#%#&"��'(#��)"*��������� ���������� �� #%#&"��'(#��)"*����� ������������#%#&"��'(#��)"*��!�� ���"����������� �� #%#&"��'(#��)"*��������������� �� #%#&"��'(#��)"*��������������������������#%#&"��'(#��)"*���������������������

Tabla 8 – Cadena de búsqueda adaptada para ScienceDirect

Existen una opción Search history que por defecto está en Turn on yuna opción Search tips.

Atención: Si bien Scopus indexa ScienceDirect, utilizando ambosbuscadores se encontró que algunos artículos que aparecen en Scien-ceDirect no eran devueltos por Scopus.

6.4. Scopus

Es un motor de búsqueda que indexa diferentes journals y bibliote-cas, la lista completa puede accederse desdehttp://www.elsevier.com/solutions/scopus/content. Tiene una secciónpara Advanced search (Figura 11).

Figura 11 – Advanced search en Scopus.

Es posible utilizar diferentes filtros para obtener resultados másacertados, por ejemplo: períodos de años, áreas temáticas, etc.

������������ ����������������������������������������������� ��������������������� ������������� �������������������������������������������� ������������!�� ���"����������������������������������������������������������������������

Tabla 9 – Cadena de búsqueda adaptada para Scopus

6.5. SpringerLink

Esta biblioteca digital tiene una sección para Advanced search (Figu-ra 11). La biblioteca busca en texto completo por lo que la cadena debúsqueda original retorna demasiados resultados. Se puede refinar es-pecíficamente la cadena para este buscador, evitando excesivas combi-naciones de palabras, pero a veces es inviable. Puede ser que alcancecon buscar en Scopus dependiendo de las publicaciones en las que seesté buscando.

Figura 12 – Advanced search en SpringerLink.

7. Referencias

[1] B. A. Kitchenham, T. Dyba, y M. Jorgensen, «Evidence-based softwareengineering», en Software Engineering, 2004. ICSE 2004. Procee-

dings. 26th International Conference on, 2004, pp. 273-281.[2] T. Dyb\a a y T. Dingsøyr, «Strength of Evidence in Systematic Reviews

in Software Engineering», en Proceedings of the Second ACM-IEEE

International Symposium on Empirical Software Engineering and Mea-

surement, New York, NY, USA, 2008, pp. 178–187.[3] Z. Stapi�, E. G. López, A. G. Cabot, L. de Marcos Ortega, y V. Strahon-

ja, «Performing systematic literature review in software engineering»,Proc. 23rd Cent. Eur. Conf. Inf. Intell. Syst. Varažd., pp. 441–447,2012.

[4] C. Wohlin, P. Runeson, M. Hst, M. C. Ohlsson, B. Regnell, y A.Wessln, Experimentation in Software Engineering. Springer PublishingCompany, Incorporated, 2012.

[5] B. Kitchenham y S. Charters, Guidelines for performing Systematic Li-

terature Reviews in Software Engineering. 2007.[6] S. Easterbrook, J. Singer, M.-A. Storey, y D. Damian, «Selecting Empi-

rical Methods for Software Engineering Research», en Guide to Ad-

vanced Empirical Software Engineering, F. Shull, J. Singer, y D. K. Sjø-berg, Eds. Springer London, 2008, pp. 285-311.

[7] J. Akers, R. Aguiar-Ibáñez, A. Baba-Akbari Sari, S. Beynon, A. Booth,J. Burch, D. Chambers, D. Craig, J. Dalton, S. Duffy, A. Eastwood, D.Fayter, T. Fonseca, D. Fox, J. Glanville, S. Golder, S. Hempel, K. Light,C. McDaid, G. Norman, B. Phillips, C. Pierce, S. Rice, A. Rithalia, M.Rodgers, F. Sharp, A. Sowden, L. Stewart, C. Stock, R. Trowman, R.Wade, M. Westwood, P. Wilson, N. Woolacott, G. Worthy, y K. Wright,Systematic Reviews: CRD’s Guidance for Undertaking Reviews in

Health Care, vol. 3rd. York, UK: Centre for Reviews and Dissemination,University of York, 2009.

[8] P. Brereton, B. A. Kitchenham, D. Budgen, M. Turner, y M. Khalil, «Les-sons from applying the systematic literature review process within thesoftware engineering domain», J. Syst. Softw., vol. 80, n.o 4, pp. 571-583, abr. 2007.

[9] J. Biolchini, P. G. Mian, y A. C. C. Natali, «Systematic Review in So-ftware Engineering», COPPE/UFRJ, Rio de Janeiro, RJ, Brasil, RT-ES679/05, may 2005.

[10] H. Zhang, M. A. Babar, y P. Tell, «Identifying relevant studies in softwa-re engineering», Inf. Softw. Technol., vol. 53, n.o 6, pp. 625 - 637, 2011.

[11] D. S. Cruzes y T. Dybå, «Research synthesis in software engineering:A tertiary study», Inf. Softw. Technol., vol. 53, n.o 5, pp. 440 - 455,2011.

[12] D. S. Cruzes, T. Dyba, P. Runeson, y M. Host, «Case Studies Synthe-sis: Brief Experience and Challenges for the Future», en Empirical So-

ftware Engineering and Measurement (ESEM), 2011 International

Symposium on, 2011, pp. 343-346.[13] B. Gustavii, How to Write and Illustrate a Scientific Paper, Second.

Cambridge University Press, 2008.[14] D. Budgen, M. Turner, P. Brereton, y B. Kitchenham, «Using Mapping

Studies in Software Engineering», en PPIG 2008: In 20th Annual Mee-

ting of the Psychology of Programming Interest Group, 2008, pp. 195–204.

[15] B. A. Kitchenham, D. Budgen, y O. P. Brereton, «The Value of MappingStudies: A Participant-observer Case Study», en Proceedings of the

14th International Conference on Evaluation and Assessment in So-

ftware Engineering, Swinton, UK, UK, 2010, pp. 25–33.[16] K. Petersen, R. Feldt, S. Mujtaba, y M. Mattsson, «Systematic Mapping

Studies in Software Engineering», en Proceedings of the 12th Interna-

tional Conference on Evaluation and Assessment in Software Enginee-

ring, Swinton, UK, UK, 2008, pp. 68–77.[17] M. L. Zeng, Constructing Controlled Vocabularies: A primer. 2005.

[18] M. R. Marques, A. Quispe, y S. F. Ochoa, «A systematic mappingstudy on practical approaches to teaching software engineering», enFrontiers in Education Conference (FIE), 2014 IEEE, 2014, pp. 1-8.

[19] B. Kitchenham, O. Pearl Brereton, D. Budgen, M. Turner, J. Bailey, y S.Linkman, «Systematic Literature Reviews in Software Engineering - ASystematic Literature Review», Inf Softw Technol, vol. 51, n.o 1, pp. 7–15, ene. 2009.

[20] B. Kitchenham, R. Pretorius, D. Budgen, O. P. Brereton, M. Turner, M.Niazi, y S. Linkman, «Systematic literature reviews in software engi-neering – A tertiary study», Inf. Softw. Technol., vol. 52, n.o 8, pp. 792 -805, 2010.

[21] F. Q. B. da Silva, A. L. M. Santos, S. Soares, A. C. C. França, C. V. F.Monteiro, y F. F. Maciel, «Six years of systematic literature reviews insoftware engineering: An updated tertiary study», Inf. Softw. Technol.,vol. 53, n.o 9, pp. 899 - 913, 2011.

[22] H. Zhang y M. A. Babar, «Systematic reviews in software engineering:An empirical investigation», Inf. Softw. Technol., vol. 55, n.o 7, pp. 1341- 1354, 2013.

[23] R. Wieringa, N. Maiden, N. Mead, y C. Rolland, «Requirements Engi-neering Paper Classification and Evaluation Criteria: A Proposal and aDiscussion», Requir. Eng., vol. 11, n.º 1, pp. 102–107, dic. 2005.

8. Material complementario

En esta sección se incluyen 3 anexos seleccionados del sitio de ingenie-ría de software basado en evidencias – Evidence-Based Software Enginee-ring (http://community.dur.ac.uk/ebse/).

Estos corresponden a:

� Una plantilla para revisiones sistemáticas de literatura —http://community.dur.ac.uk/ebse/resources/templates/SLRTem-plate.pdf

� Una plantilla para estudios de mapeo — http://community.dur.a-c.uk/ebse/resources/templates/MappingStudyTemplate.pdf

� Un ejemplo de una revisión sistemática de literatura — http://co-mmunity.dur.ac.uk/ebse/resources/studies/protocol/Agile-Metho-ds-literature-review-protocol.pdf

Los tres documentos no han sido modificados y se reproducen bajo la li-cencia de Creative Commons (http://creativecommons.org/licenses/by-sa/2.0/uk/).

!"#$%&''( )*+,%-%./%0

12345672%89:%6%;<=72367>?%@>72:67A:2%B2C>2D%E:979?95

FG%HIJKLM%NMOPQR

STUV%VT.WXY%Z,%*%XUV[%.\%[*ZX,%VW]]*\UU_+%[T,%]*U_%WY*[,V%*_Y%aT*_+,V%,]Z.YU,Y%U_

,*aT%b,\VU._%./%[T,%\.[.a.X%*_Y%cdT,\,%* \.\U*[,ef%[T,%\,*V._V%/.\%[T,V,g

hG%iJOjLQPkKR

Jl%,mX*U_%dTn%[T,\,%UV%*%_,,Y%/.\%*%V[WYn%._%[TUV%[.Ua

ol%V,aU/n%[T,%]*U_%\,V,*\aT%pW,V[U._%Z,U_+%*YY\,VV,Y%Zn%[TUV%V[WYn

Ol%V,aU/n%*_n%*YYU[U._*X%\,V,*\aT%pW,V[U._V%[T*[%dUXX%Z,%*YY\,VV,Y

Rl%U/%,m[,_YU_+%\,bU.WV%\,V,*\aT%._%[T,%[.Uaf%,mX*U_%dTn%*%_,d%V[WYn%UV%_,,Y,Y

qG%rMJQOI%rsQJsMLt

Jl%V,aU/n%*_Y%uWV[U/n%Z*VUa%V[\*[,+nv%]*_W*X%V,*\aTf%*W[.]*[,Y%V,*\aTf%.\%]Um,Y

ol%/.\%*W[.]*[,Y%V,*\aT,Vf%V,aU/n%V,*\aT%[,\]V%*_Y%a.] .W_YV%./%[T,V,%c*_Y%\,a.\Y

\,VWX[V%./%*_n%\.[.[nU_+%./%[T,%V,*\aT%V[\U_+Ve

Ol%/.\%*W[.]*[,Y%V,*\aT,Vf%UY,_[U/n%\,V.W\a,V%[.%Z,%WV,Y%cYU+U[*X%XUZ\*\U,V%*_Y%V,*\aT

,_+U_,Ve

Rl%/.\%]*_W*X%V,*\aT,Vf%UY,_[U/n%[T,%u.W\_*XV%*_Y%a._/,\,_a,V%[.%Z,%V,*\aT,Y

Ml%V,aU/n%[T,%[U],%,\U.Y%[.%Z,%a.b,\,Y%Zn%[T,%\,bU,d%*_Y%*_n%\,*V._V%/.\%n.W\%aT.Ua,

wl%UY,_[U/n%*_n%*_aUXX*\n%V,*\aT%\.a,YW\,Vf%,g+g%*VxU_+%X,*YU_+%\,V,*\aT,\V%.\%\,V,*\aT

+\.WVf%.\%*aa,VVU_+%[T,U\%d,Z%VU[,Vy%.\%aT,axU_+%\,/,\,_a,%XUV[V%./%\U]*\n%V[WYU,V

Ll%V,aU/n%T.d%[T,%V,*\aT%\.a,VV%UV%[.%Z,%,b*XW*[,Y%c,g+g%*+*U_V[%*%x_.d_%VWZV,[%./

*,\Vy%.\%*+*U_V[%[T,%\,VWX[V%/\.]%*%\,bU.WV%VnV[,]*[Ua%\,bU,de

zG%rM{MOs|PK%HQ|sMQ|J

Jl%UY,_[U/n%[T,%#}~$��#�}%a\U[,\U*%/.\%\U]*\n%V[WYU,V

ol%UY,_[U/n%[T,%��~$��#�}%a\U[,\U*

Ol%Y,/U_,%T.d%V,X,a[U._%dUXX%Z,%W_Y,\[*x,_%c\.X,V%./%*_*XnV[Ve

Rl%Y,/U_,%T.d%*+\,,],_[%*]._+%*_*XnV[V%dUXX%Z,%,b*XW*[,Y

Ml%Y,/U_,%T.d%*_n%YU//,\,_a,V%Z,[d,,_%*_*XnV[V%dUXX%Z,%\,V.Xb,Y

�G%rskRt%�kJ{|st%���M���MKs

Jl%V,aU/n%[T,%pW*XU[n%aT,axXUV[V%[.%Z,%WV,Y

ol%V,aU/n%T.d%[T,%aT,axXUV[%dUXX%Z,%,b*XW*[,Y

Ol%Y,/U_,%T.d%*+\,,],_[%*]._+%Y*[*%,m[\*a[.\V%dUXX%Z,%,b*XW*[,Y

Rl%Y,/U_,%T.d%*_n%YU//,\,_a,V%Z,[d,,_%Y*[*%,m[\*a[.\V%dUXX%Z,%\,V.Xb,Y

Ml%UY,_[U/n%[T,%\.a,YW\,V%[.%WV,%/.\%* XnU_+%[T,%aT,axXUV[V%c,g+g%Y,[*UXV%U_aXWVU._�

,maXWVU._y%*\[U[U._U_+%[T,%\U]*\n%V[WYU,V%YW\U_+%*++\,+*[U._%.\%],[*�*_*XnVUVy

,mX*U_U_+%[T,%\,VWX[V%./%\U]*\n%V[WYU,Ve

�G%�JsJ%��sQJOs|PK

Jl%Y,VU+_%Y*[*%,m[\*a[U._%/.\]%c*_Y%aT,ax%bU*%*%Y\n%\W_e

ol%%V,aU/n%[T,%V[\*[,+n%/.\%,m[\*a[U_+%[T,%Y*[*%*_Y%[T,%/.\]%c*,\f%._�XU_,%,[age

Ol%UY,_[U/n%T.d%[T,%Y*[*%,m[\*a[U._%\.a,VV%UV%[.%Z,%W_Y,\[*x,_%*_Y%b*XUY*[,Yf

*\[UaWX*\Xn%*_n%Y*[*%[T*[%\,pWU\,%_W],\Ua*X%a*XaWX*[U._Vf%.\%*\,%VWZu,a[Ub,

!"#$%&''( )*+,%-%./%-

01%234567898

:;%<=,>?/@%AB,%/.CD%./%*E*F@<?<%A.%G,%H<,I%J,K+K%E*CC*A?L,M%A*GHF*A?.EM%D,A*N*E*F@<?<O

P;%*<<,<<%AB,%ABC,*A<%A.%L*F?I?A@%J>.E<ACH>AM%?EA,CE*FM%,QA,CE*FOM%=*CA?>HF*CF@%>.E<AC*?EA<%.E

AB,%<,*C>B%=C.>,<<%*EI%I,L?*A?.E<%/C.D%<A*EI*CI%=C*>A?>,

R1%25ST3%U9V95:59W48

X=,>?/@%C,<?IH*F%L*F?I?A@%?<<H,<%?E>FHI?E+%=.A,EA?*F%>.E/F?>A<%./%?EA,C,<A%J?K,K%AB*A%*C,

?EB,C,EA%?E%AB,%>.EA,QA%./%AB,%<AHI@M%C*AB,C%AB*E%*C?<?E+%/C.D%AB,%=F*EOK

Y1%Z7[W\594]

I,EA?/@%A*C+,A%*HI?,E>,M%C,F*A?.E<B?=%A.%.AB,C%<AHI?,<M%=F*EE,I%=HGF?>*A?.E<M%*HAB.C<%./

AB,%=HGF?>*A?.E<K

_1%2a67TSb7

)C.L?I,%A?D,%,<A?D*A,<%/.C%*FF%./%AB,%D*c.C%<A,=<K

!"#$%&''( )*+,%-%./%0

12345672%89:%6%;644<=>%?7@AB%C:979D95

EF%GHIJKL%MLNOPQ

RSTU%US.VWX%Y,%*%WTUZ%.[%Z*YW,%UV\\*[T]T+%ZS,%\*T%V_X*Z,U%*X%S*+,U%,\Y.XT,X%T

,*S%a,[UT.%./%ZS,%_[.Z..W%*X%bcS,[,%*__[._[T*Z,de%ZS,%[,*U.U%/.[%ZS,U,f

gF%hINiKPOjJQ

Ik%,l_W*T%cSm%ZS,[,%TU%*%,,X%/.[%*%UZVXm%.%ZSTU%Z._T

nk%TX,ZT/m%ZS,%Z._T%ZS*Z%TU%Z.%Y,%oU._,Xp%T%ZS,%UZVXm

Nk%U_,T/m%*m%[,U,*[S%qV,UZT.U%ZS*Z%cTWW%Y,%*XX[,UU,X

Qk%T/%,lZ,XT+%_[,aT.VU%[,U,*[S%.%ZS,%Z._Te%,l_W*T%cSm%*%,c%UZVXm%TU%,,X,X

rF%sLIPNH%stPItLKu

Ik%U_,T/m%*X%vVUZT/m%Y*UT%UZ[*Z,+mw%\*V*W%U,*[Se%*VZ.\*Z,X%U,*[Se%.[%\Tl,X

nk%/.[%*VZ.\*Z,X%U,*[S,Ue%U_,T/m%U,*[S%Z,[\U%*X%.\_.VXU%./%ZS,U,%b*X%[,.[X

[,UVWZU%./%*m%_[.Z.Zm_T+%./%ZS,%U,*[S%UZ[T+Ud

Nk%/.[%*VZ.\*Z,X%U,*[S,Ue%TX,ZT/m%[,U.V[,U%Z.%Y,%VU,X%bXT+TZ*W%WTY[*[T,U%*X%U,*[S

,+T,Ud

Qk%/.[%\*V*W%U,*[S,Ue%TX,ZT/m%ZS,%v.V[*WU%*X%./,[, ,U%Z.%Y,%U,*[S,X

Lk%U_,T/m%ZS,%ZT\,%_,[T.X%Z.%Y,%.a,[,X%Ym%ZS,%[,aT,c%*X%*m%[,*U.U%/.[%m.V[%S.T,

xk%TX,ZT/m%*m%* TWW*[m%U,*[S%_[.,XV[,Ue%,f+f%*UyT+%W,*XT+%[,U,*[S,[U%.[%[,U,*[S

+[.V_Ue%.[%* ,UUT+%ZS,T[%c,Y%UTZ,Uz%.[%S,yT+%[,/,[, ,%WTUZU%./%_[T\*[m%UZVXT,U

Kk%U_,T/m%S.c%ZS,%U,*[S%_[.,UU%TU%Z.%Y,%,a*WV*Z,X%b,f+f%*+*TUZ%*%y.c%UVYU,Z%./

_*_,[Uz%.[%*+*TUZ%ZS,%[,UVWZU%/[.\%*%_[,aT.VU%UmUZ,\*ZT%[,aT,c%.[%\*__T+%UZVXmd

{F%sL|LNt}OJ%GP}tLP}I

Ik%TX,ZT/m%ZS,%#~�$��#�~%[TZ,[T*%/.[%_[T\*[m%UZVXT,U

nk%TX,ZT/m%ZS,%���$��#�~%[TZ,[T*

Nk%X,/T,%S.c%U,W,ZT.%cTWW%Y,%VX,[Z*y,%b[.W,U%./%**WmUZUd

Qk%X,/T,%S.c%*+[,,\,Z%*\.+%**WmUZU%cTWW%Y,%,a*WV*Z,X

Lk%X,/T,%S.c%*m%XT//,[, ,U%Y,Zc,,%**WmUZU%cTWW%Y,%[,U.Wa,X

�F%�ItI%��tPINt}OJ

Ik%X,UT+%X*Z*%,lZ[*ZT.%/.[\%b*X%S,y%aT*%*%X[m%[Vd

nk%%U_,T/m%ZS,%UZ[*Z,+m%/.[%,lZ[*ZT+%ZS,%X*Z*%*X%ZS,%/.[\%b_*_,[e%.�WT,%,Zfd

Nk%TX,ZT/m%S.c%ZS,%X*Z*%,lZ[*ZT.%_[.,UU%TU%Z.%Y,%VX,[Z*y,%*X%a*WTX*Z,Xe

_*[ZTVW*[Wm%*m%X*Z*%ZS*Z%[,qVT[,%V\,[T*W%*WVW*ZT.Ue%.[%*[,%UVYv,ZTa,

�F%suJtHL�}�

Ik%U_,T/m%ZS,%*Z,+.[T]*ZT.%US,\,U%Z.%Y,%VU,X

nk%*UU,UU%ZS,%ZS[,*ZU%Z.%a*WTXTZm%b.UZ[VZe%TZ,[*We%,lZ,[*Wde%_*[ZTVW*[Wm%.UZ[*TZU%.

ZS,%U,*[S%_[.,UU%*X%X,aT*ZT.U%/[.\%UZ*X*[X%_[*ZT,

�F%stjQu%�}�}tIt}OJ�

�_,T/m%[,UTXV*W%a*WTXTZm%TUUV,U%TWVXT+%_.Z,ZT*W%./WTZU%./%TZ,[,UZ%bTf,f%ZS*Z%*[,

TS,[,Z%T%ZS,%.Z,lZ%./%ZS,%UZVXme%[*ZS,[%ZS*%*[TUT+%/[.\%ZS,%_W*df

�F%ML�OPt}JK

�X,ZT/m%Z*[+,Z%*VXT, ,e%[,W*ZT.UST_%Z.%.ZS,[%UZVXT,Ue%_W* ,X%_VYWT*ZT.Ue%*VZS.[U%./

ZS,%_VYWT*ZT.Uf

!"#$%&''( )*+,%-%./%-

01%23456785

)9.:;<,%=;>,%,?=;>*=,?%/.9%*@@%./%=A,%>*B.9%?=,C?D

!"#!$%&'()(*(+%,%-.#+!%/(0)$1'!%2!"!+(34!5)%%

6('!%2789%

:;%<1*=.'(>5?%

@AB%CDECBFG%DH%IJKLMB%NDHGOPQB%RBSBMDFTBEGU%APV%VFPQWBX%P%MDG%DH%LEGBQBVG%LE%YDGA%LEXZVGQ[%PEX%PCPXBTLP\%JXSDCPGBV%DH%PKLMB%TBGADXV%CDEVLXBQ%GABT%GAB%YBVG%GALEK%GAPG%APV%APFFBEBX%GD%N]%LE%QBCBEG%[BPQV%OALMB%DFFDEBEGV%SLBO%GABT%PV%P%YPCWMPVA%CDTFPQLEK%GABT%GD%APCWLEK\%%@ABQB%LV%GABQBHDQB%P%EBBX%GD%ZEXBQGPWB%P%V[VGBTPGLC%QBSLBO%DH%GAB%PSPLMPYMB%BTFLQLCPM%QBVBPQCA%QBMBSPEG%GD%PKLMB%VDHGOPQB%XBSBMDFTBEG%GD%FQBVBEG%P%HPLQ%BSPMZPGLDE%DH%GAB%YBEBHLGV%PEX%MLTLGPGLDEV%Y[%ZVLEK%P%GQZVGODQGA[%QLKDQDZV%PEX%PZXLGPYMB%TBGADXDMDK[\%%@AZV%GAB%FZQFDVB%DH%GALV%FQDGDCDM%LV%GD%VFBCLH[%GAB%FMPE%OALCA%GAB%QBSLBO%OLMM%HDMMDO%GD%LXBEGLH[%PFFQPLVB%PEX%CDMMPGB%GAB%BSLXBECB%DE%GAB%YBEBHLGV%PEX%MLTLGPGLDEV%DH%PKLMB%VDHGOPQB%XBSBMDFTBEG\%

_;% 8a!*)#"!b%

@AB%DYcBCGLSBV%DH%GAB%QBSLBO%PQB%GDd%e%fEXBQGPWB%P%V[VGBTPGLC%QBSLBO%DH%BTFLQLCPM%QBVBPQCA%DE%GAB%YBEBHLGV%PEX%MLTLGPGLDEV%DH%PKLMB%VDHGOPQB%XBSBMDFTBEG\%

e%NBMBCG%P%VZYgVBG%DH%VGZXLBV%GD%QBSLBO%LEgXBFGA\%e%N[EGABVLhB%GAB%BSLXBECB%HQDT%GABVB%VGZXLBV%PYDZG%GAB%YBEBHLGV%PEX%MLTLGPGLDE%DH%PKLMB%VDHGOPQB%XBSBMDFTBEG\%

e%iXBEGLH[%GAB%QBVBPQCA%TBGADXV%ZVBX\%e%iXBEGLH[%PE[%KPFV%LE%CZQQBEG%QBVBPQCA%LE%DQXBQ%GD%VZKKBVG%PQBPV%HDQ%HZQGABQ%LESBVGLKPGLDE\%e%jQDSLXB%P%HQPTBODQWkYPCWKQDZEX%LE%DQXBQ%GD%PFFQDFQLPGBM[%FDVLGLDE%EBO%QBVBPQCA%PCGLSLGLBV\%

%lDQB%VFBCLHLCPMM[%OB%OPEG%GD%HLEX%DZGd%m\%nAPG%LV%CZQQBEGM[%WEDOE%PYDZG%GAB%YBEBHLGV%PEX%MLTLGPGLDEV%DH%PKLMB%VDHGOPQB%XBSBMDFTBEGo%

p\%nAPG%LV%GAB%VGQBEKGA%DH%GAB%BSLXBECB%LE%VZFFDQG%DH%GAB%CMPLTV%QBKPQXLEK%PKLMB%VDHGOPQB%XBSBMDFTBEGo%

q\%nAPG%PQB%GAB%LTFMLCPGLDEV%DH%GABVB%VGZXLBV%HDQ%GAB%VDHGOPQB%LEXZVGQ[%PEX%GAB%QBVBPQCA%CDTTZELG[o%

%iE%PXXLGLDE%GD%FQDXZCLEK%VZYVGPEGLSB%HLEXLEKV%QBKPQXLEK%PKLMB%VDHGOPQB%XBSBMDFTBEG%GAB%QBSLBO%PMVD%PLTV%GD%PXSPECB%TBGADXDMDK[%HDQ%LEGBKQPGLEK%XLSBQVB%VGZX[%G[FBV%LECMZXLEK%rsZPMLGPGLSBt%QBVBPQCA%OLGALE%V[VGBTPGLC%QBSLBOV%DH%VDHGOPQB%BEKLEBBQLEK%LEGBQSBEGLDEV\%

u;%v'#)!'#1%0('%*(5b#?!'#5.%b)>?#!b%0('%)w#b%'!"#!$%

@[FBV%DH%VGZXLBVd%JQGLCMBV%GD%YB%LECMZXBX%LE%GAB%QBSLBO%TZVG%FQBVBEG%BTFLQLCPM%XPGP%PEX%FPVV%GAB%TLELTZT%sZPMLG[%GAQBVADMX%XBVCQLYBX%YBMDO\%%

%

!"#$%&'%"()*+,+"(-*$.%

/*01+#$%&'%2&*3%$*01#-*$%(-1%")&'#$$+&-(4%$&'*5()#%1#6#4&"#)$%5+44%2#%+-,401#17%

%

!"#$%&'%+-*#)6#-*+&-.%

8-,40$+&-%&'%$*01+#$%5+44%-&*%2#%)#$*)+,*#1%*&%(-!%$"#,+'+,%*!"#%&'%+-*#)6#-*+&-7%

%

!"#$%&'%&0*,&9#%9#($0)#$.%

/*01+#$%90$*%+-,401#%&-#%&'%*3#%")+9()!%&0*,&9#$%&'%*+9#:*&:9();#*<%,&$*<%&)%")&,#$$%&)%

")&10,*%=0(4+*!%*&%2#%+-,401#17%

>?%@ABCDE%FGCBGAHI%JKC%LMANGLJLDBGLKN%KJ%FGOMLAF%

3#%$#(),3%$*)(*#P+#$%5+44%+-,401#%#4#,*)&-+,%1(*(2($#$%(-1%3(-1%$#(),3#$%&'%,&-'#)#-,#%

")&,##1+-P$7%

%

Q4#,*)&-+,%1(*(2($#$.%

3#%'&44&5+-P%#4#,*)&-+,%1(*(2($#$%5+44%2#%$#(),3#1.%8/8%R#2%&'%/,+#-,#<%8QQQ%S"4&)#<%

TUV%W+P+*(4%X+2)()!<%Y405#)%Z-4+-#<%/,+#-,#W+)#,*%[%Q4$#6+#)<%/")+-P#)<%R+4#!%8-*#)%

/,+#-,#%\&0)-(4%]+-1#)<%(-1%U&9"#-1#7%

%

U&-'#)#-,#%")&,##1+-P$.%

3#%'&44&5+-P%,&-'#)#-,#%")&,##1+-P$%5+44%2#%3(-1%$#(),3#1%'&)%)#$#(),3%"("#)$.%S_<%

S_TP+4#%a-+6#)$#<%(-1%TP+4#%W#6#4&"9#-*%U&-'#)#-,#7%%%

/#(),3%$*)(*#P!.%

3#%*+*4#<%(2$*)(,*<%(-1%;#!5&)1$%&'%*3#%()*+,4#$%+-%*3#%+-,401#1%#4#,*)&-+,%1(*(2($#$%(-1%

,&-'#)#-,#%")&,##1+-P$%5+44%2#%$#(),3#1%(,,&)1+-P%*&%*3#%'&44&5+-P%$#(),3%$*)(*#P!.%%

b7%(P+4#%TcW%$&'*5()#%

d7%#*)#9#%")&P)(99+-P%

e7%"%TcW%$&'*5()#%

f7%$,)09%TcW%$&'*5()#%

g7%,)!$*(4%TcW%$&'*5()#%TcW%h,4#()%Zi%&)(-P#%Zi%)#1%Zi%240#j%

k7%1$19%TcW%$&'*5()#%

l7%'11%TcW%$&'*5()#%

m7%'#(*0)#%TcW%1)+6#-%TcW%1#6#4&"9#-*%TcW%$&'*5()#%

n7%4#(-%TcW%$&'*5()#%TcW%1#6#4&"9#-*%

o?%pAGEKMF%KJ%GEA%CAqLAr%

/#4#,*+&-%&'%$*01+#$.%

3#%$#(),3%$*)(*#P!%5+44%+1#-*+'!%(44%)#4#6(-*%()*+,4#$%(-1%*3#$#%5+44%2#%)#6+#5#1%2!%*5&%

)#6+#5#)$7%Z-4!%$*01+#$%5)+**#-%+-%*3#%Q-P4+$3%4(-P0(P#%5+44%2#%+-,401#17%

%

/*01+#$%5+44%2#%#,401#1%+'.%

h+j% *3#%$*01!s$%'&,0$<%&)%9(+-%'&,0$<%+$%cZ %(P+4#%$&'*5()#%1#6#4&"9#-*t%

h++j%*3#%$*01!%1&#$%cZ %")#$#-*%#9"+)+,(4%1(*(7%

%

!"#$"#%"&'()*+,"!,-."$/*"$#$)*0"+1%$,+($0"+'2"3*45-,2%"5/*$/*,"+"%$&24"(-'!-,.%"$-"$/*%*"

%(,**'#'6"(,#$*,#+0"#$"5#))"1*"#'()&2*2"!-,"+"2*$+#)*2"7&+)#$4"+%%*%%.*'$"8%**"1*)-59:"

"

!!"!!#"$%&'(&#"%)'*'+',-./+&01/+-%23&

4/.)&!%1*2&5-++&6"&/!!"!!"*&-$*"7"$*"$%+2&62&%5'&8"9-"5"8!&/..'8*-$,&%'&:;&.8-%"8-/&<!""&

77"$*-=&:>?&@)"!"&.8-%"8-/&/8"&-$('8#"*&62&%)'!"&78'7'!"*&('8&%)"&A8-%-./+& 778/-!/+&

BC-++!&D8',8/##"&<A BD>E&-$&7/8%-.1+/8&%)'!"&('8&/!!"!!-$,&%)"&01/+-%2&'(&F01/+-%/%-9"G&

8"!"/8.)&<H8""$)/+,)E&I;;:>E&/$*&62&78-$.-7+"!&'(&,''*&78/.%-."&('8&.'$*1.%-$,&"#7-8-./+&

8"!"/8.)&-$&!'(%5/8"&"$,-$""8-$,&<J-%.)"$)/#&KL&MN?E&I;;I>?&

&

@)"&:;&.8-%"8-/&.'9"8&%)8""&#/-$&01/+-%2&-!!1"!&%)/%&$""*&%'&6"&.'$!-*"8"*&5)"$&/778/-!-$,&

%)"&!%1*-"!&'(&%)-!&8"!"/8.)3&

O&PQRSTU3&)/!&/&%)'8'1,)&/$*&/778'78-/%"&/778'/.)&6""$&/77+-"*&%'&C"2&8"!"/8.)&

#"%)'*!&-$&%)"&!%1*2V&

O&WUKXQYQNQLZ3&/8"&%)"&(-$*-$,!&5"++&78"!"$%"*&/$*&#"/$-$,(1+V&

O&PKNK[M\]K3&)'5&1!"(1+&/8"&%)"&(-$*-$,!&%'&%)"&!'(%5/8"&-$*1!%82&/$*&%)"&8"!"/8.)&

.'##1$-%2V&

&

@5'&!.8""$-$,&.8-%"8-/&8"+/%"&%'&%)"&01/+-%2&'(&%)"&UKSULQ\R&'(&/&!%1*2G!&8/%-'$/+"E&/-#!E&

/$*&.'$%"=%?&4/.)&!%1*2&5-++&6"&/!!"!!"*&/..'8*-$,&%'&5)"%)"83&

<->& %)"&/-#!&/$*&'6_".%-9"!&/8"&.+"/8+2&8"7'8%"*&<-$.+1*-$,&/&8/%-'$/+"&('8&5)2&%)"&!%1*2&

5/!&1$*"8%/C"$>&

<-->&%)"8"&-!&/$&/*"01/%"&*"!.8-7%-'$&'(&%)"&.'$%"=%&-$&5)-.)&%)"&8"!"/8.)&5/!&./88-"*&'1%?&

&

&(18%)"8&(-9"&.8-%"8-/&8"+/%"&%'&%)"&UQRSTU&'(&%)"&8"!"/8.)&#"%)'*!&"#7+'2"*&%'&"!%/6+-!)&

%)"&9/+-*-%2&'(&*/%/&.'++".%-'$&%''+!&/$*&%)"&/$/+2!-!&#"%)'*!E&/$*&)"$."&%)"&

%81!%5'8%)-$"!!&'(&%)"&(-$*-$,!?&4/.)&!%1*2&5-++&6"&/!!"!!"*&/..'8*-$,&%'&5)"%)"83&

<--->&%)"&8"!"/8.)&*"!-,$&5/!&/778'78-/%"&%'&/**8"!!&%)"&/-#!&'(&%)"&8"!"/8.)&

<-9>&%)"8"&-!&/$&/*"01/%"&*"!.8-7%-'$&'(&%)"&!/#7+"&1!"*&/$*&%)"&#"%)'*!&('8&)'5&%)"&

!/#7+"&5/!&-*"$%-(-"*&/$*&8".81-%"*&

<9>&/$2&.'$%8'+&,8'17!&5"8"&1!"*&%'&.'#7/8"&%8"/%#"$%!&

<9->&/778'78-/%"&*/%/&.'++".%-'$&#"%)'*!&5"8"&1!"*&/$*&*"!.8-6"*&

<9-->&%)"8"&-!&/*"01/%"&*"!.8-7%-'$&'(&%)"&#"%)'*!&1!"*&%'&/$/+2!"&*/%/&/$*&5)"%)"8&

/778'78-/%"&#"%)'*!&('8&"$!18-$,&%)"&*/%/&/$/+2!-!&5/!&,8'1$*"*&-$&%)"&*/%/?&

&

a$&/**-%-'$E&%5'&.8-%"8-/&8"+/%"&%'&%)"&/!!"!!#"$%&'(&%)"&]UKXQYQNQLZ&'(&%)"&!%1*2&#"%)'*!&('8&

"$!18-$,&%)/%&%)"&(-$*-$,!&/8"&9/+-*&/$*&#"/$-$,(1+?&a$&8"+/%-'$&%'&%)-!E&%)"&8"9-"5"8!&5-++&

_1*,"&!%1*-"!&/..'8*-$,&%'&5)"%)"83&

<9--->&%)"&8"+/%-'$!)-7&6"%5""$&%)"&8"!"/8.)"8&/$*&7/8%-.-7/$%!&)/!&6""$&/*"01/%"+2&

.'$!-*"8"*&

<-=>&%)"&!%1*2&78'9-*"&.+"/8+2&!%/%"*&(-$*-$,!&5-%)&.8"*-6+"&8"!1+%!&/$*&_1!%-(-"*&

.'$.+1!-'$!?&

&

@)"&(-$/+&.8-%"8-'$&8"+/%"!&%'&%)"&/!!"!!#"$%&'(&%)"&UKNK[M\]K&'(&%)"&!%1*2&('8&%)"&!'(%5/8"&

-$*1!%82&/%&+/8,"&/$*&%)"&8"!"/8.)&.'##1$-%2?&@)1!E&%)"&8"9-"5"8!&5-++&_1*,"&!%1*-"!&

/..'8*-$,&%'&5)"%)"83&

<=>&%)"2&78'9-*"&9/+1"&('8&8"!"/8.)&'8&78/.%-."?&

&

@/C"$&%',"%)"8E&%)"!"&:;&.8-%"8-/&78'9-*"&/&#"/!18"&'(&%)"&"=%"$%&%'&5)-.)&5"&./$&6"&

.'$(-*"$%&%)/%&/&7/8%-.1+/8&!%1*2G!&(-$*-$,!&./$&#/C"&/&9/+1/6+"&.'$%8-61%-'$&%'&%)-!&8"9-"5?&

!"# $%&%'$()%$& "*++ ('$$, #-. '++ .)% /$#(%0-$%& *1 .)*& &%(.*#1 *10%/%10%1.+,2 '10 .)%1

3%%. .# (#3/'$% .)%*$ '&&%&&3%1.& '10 %&.'4+*&)*15 (#1&%1&-&6 71, 0*88%$%1(%& "*++ 4%

$%&#+9%0 4, (#1&-+.*15 ' .)*$0 $%9*%"%$6

:'.' 3'1'5%3%1. '10 %;.$'(.*#1<

7++ 0'.' "*++ 4% %;.$'(.%0 4, ."# $%9*%"%$&6 :*88%$%1(%& *1 0'.' %;.$'(.*#1 "*++ 4% $%&#+9%0

4, $%8%$$*15 4'(= .# .)% #$*5*1'+ '$.*(+% '10 %&.'4+*&)*15 (#1&%1&-&6 7 .)*$0 $%9*%"%$ "*++

4% (#1&-+.%0 .# )%+/ $%&#+9% 0*88%$%1(%&6

>)%1 1%(%&&'$, .)% '-.)#$& #8 .)% /$*3'$, &.-0*%& "*++ 4% (#1.'(.%0 .# #4.'*1 '00*.*#1'+

*18#$3'.*#1

!)% 8#++#"*15 0'.' "*++ 4% %;.$'(.%0 $%5'$0*15 .)% ?@ABCDEFDGH #8 .)% &.-0*%&<

I*J 4*4+*#5$'/)*( $%8%$%1(%

I**J .,/% #8 '$.*(+% I%656 K#-$1'+2 (#18%$%1(%2 "#$=&)#/J

I***J $%&%'$() L-%&.*#1

I*9J &.-0, ()'$'(.%$*&.*(&M/)%1#3%1#1

I9J &.-0, (#1.%;.

!)% 8#++#"*15 0'.' "*++ 4% %;.$'(.%0 $%5'$0*15 .)% NDH?DHOA #8 .)% &.-0*%&<

I*J &.-0, 0%&*51

I**J &'3/+*15

I***J 0'.' (#++%(.*#1

I*9J 0'.' '1'+,&*&

I9J 8*10*15& '10 (#1(+-&*#1&

I9*J 9'+*0*.,

I9**J $%+%9'1(%

!)% (#0*15 8#$3& 8#$ 0'.' %;.$'(.*#1 '$% *1(+-0%0 *1 7//%10*; P6

:'.' &,1.)%&*&<

!)% L-'+*.'.*9% 8*10*15& '10 (#1(+-&*#1& #8 %'() &.-0, "*++ 4% (#/*%0 9%$4'.*3 '& $%/#$.%0

4, &.-0, '-.)#$& *1.# QR*9# 8$#3 STU T#8."'$%2 ' &/%(*'+*&. &#8."'$% /'(='5% 8#$

-10%$.'=*15 L-'+*.'.*9% '1'+,&*& #8 .%;.-'+ 0'.'6 V;'3*1*15 .)%&% 8*10*15&2 %9%$, &%1.%1(%

#$ /'$'5$'/) "*.)*1 .)% $%/#$. #8 8*10*15& "*++ 4% '&&*51%0 ' (#0% .# 0%&($*4% *.6 !"#

*10%/%10%1. $%9*%"%$& "*++ +##= 8#$ &*3*+'$*.*%& '10 0*88%$%1(%& 4%."%%1 .)% (#0%& *1

#$0%$ .# 5$#-/ .)%3 *1.# ' )*%$'$()*('+ .$%% &.$-(.-$% #8 0%&($*/.*9% .)%3%&6 7 1'$$'.*9%

&-33'$, #8 .)% 8*10*15& '($#&& .)% &.-0*%& "*++ .)%1 4% "$*..%1 '10 #$5'1*W%0 4, .)%

0%&($*/.*9% .)%3%&6

!"!#!$%!&'

()*+*,-.'/00)-*1-.'23*..1'4)56)-778'9(/24:;'<<<=0>)?=@>1=?3A,-10A,-10=>+7'BCDDEF/GBF;'H='9IJJK:'LMN'OM'PQRS'R'TRUQV;'I@W'8W=;'XYZ'X5531=''[\H(FDEF/Y;'X=/='9IJJ]:'TVMQS_VQ'aMV'TQVaMVbcde'fgOQbROc'PQhcQN;'[88.8'i@*j8)1*+k;'H8,>@*,-.'C805)+'HCA2DlJ]JKl\22EmKnonlpppq'-@W'E\(H/'H8,>@*,-.'C805)+'J]JJJKKH=K=''[\H(FDEF/Y;'X=/=;'4rGDDBDC;'2=G=;'4\([/Cs;'G=Y=;'ZtED2;'4=u=;'Ft/BG\E;'s=(=;'DG'DY/Y;'[=;'/Es'Ct2DEXDCB;'Z='9IJJI:'4)8.*7*@-)k'B?*W8.*@81'v5)'D70*)*,-.'C818-),>'*@'25v+<-)8'D@6*@88)*@6;'wxxx'yVRdROcMd'Md'fMaONRVQ'xdecdQQVcde;'Iz9z:mpIKlpn]=''

{||!$}~�'��'����~��'�&&!&&�!$�'"�#�'

�%#!!$~$�'��!&�~�$&'

��'��'����'�'��������'������'������ ¡¢'£'¤�'¥¦ '§§ ¡'©� �'��'¡ � ¡ª¦'«�¡'��'�¥'¬ ¡ ­®''­ �����'­ ¡� �°'¡ §�¡¥'©� �'��' ±§ ¡¥'�§�����''

' ²'³µ' ²'¶·' '

�'��'�����'�'�¹���'�����º�»�'¼½'���'��º�'¼½'���'���������'������ ¡¢'£'¤�'¥¦ ¡ ''¡¥���­ '¾�¡'¿¦®'¥¦ '�¥À�®'¿ �'À�� ¡¥Á �Â'£'¤�'¥¦ '�¥À�®Ã�'¾�ªÀ�'�¡'¬ ��'¾�ªÀ�'��'ÄÅ�­ 'Æ�¾¥¿ ¡ 'Ç È ­�§¬ �¥'£'Ç� �'¥¦ '�¥À�®'§¡ � �¥' ¬§�¡�ª­'�¥Â'£'¤�'¥¦ ¡ ''ª­ ¡'�¥¥ ¬ �¥'�¾'¥¦ '�¥À�®Ã�'§¡�¬ ¡®'�À¥ª�¬ '«�É É'¥�¬ Ê¥�ʬ ¡Á ¥Ë'ª��¥Ë'�¡'§¡��Àª¥'�¡'§¡�ª ��'ÌÀ­�¥®ÍÂ''

' ²'³µ' ²'¶·' '

Î�'��'�����'�»'�Ï�ÐÑ���'Ï��������¼»'¼½'���'�¼»��Ò�'�»'Ó����'���'��������'Ó��'������Ï'¼Ñ�'������ ¡'�¾'¥¦ '¡ � ¡ª¦ ¡'¦�'�� �¥�¾� �¢'£'Ô¦ '���À�¥¡®'��'¿¦�ª¦'§¡��Àª¥�'¡ 'À� �'« ÉÅÉ'©�Á��ÅË'¥ ­ ª�¬¬À��ª¥����Ë'ª���À¬ ¡'Å����Ë'¥¡È ­Ë' ¥ªÍÂ'£'Ô¦ '�¥À¡ '�¾'¥¦ '��¾¥¿ ¡ '� È ­�§¬ �¥'�¡Å��Õ¥���'« ÉÅÉ'��ʦ�À� '� §¡¥¬ �¥'�¡'��� § �� �¥'��¾¥¿ ¡ '�À§§­� ¡ÍÂ'£'Ô¦ '�Á�­­�'��' ±§ ¡� �ª '�¾'��¾¥¿ ¡ '�¥¾¾'« ÉÅÉ'¿�¥¦''­�ÅÀÅ Ë''¬ ¥¦��Ë''¥��­Ë'�'§§­�ª¥���'��¬ ��ÍÂ'£'Ô¦ '¥®§ '�¾'��¾¥¿ ¡ '§¡��Àª¥�'À� �'« ÉÅÉ''� ��Å�'¥��­Ë''ª�¬§�­ ¡Í'£'Ô¦ '��¾¥¿ ¡ '§¡�ª �� �'© ��Å'À� �'« ÉÅÉ''ª�¬§�®'�¥��¡�'§¡�ª ��Ë'¥¦ 'ÌÀ­�¥®'��À¡�ª '§¡�ª �À¡ �Ë'¥¦ 'ª��¾�ÅÀ¡¥���'¬ �Å ¬ �¥'§¡�ª ��ÍÂ''

' ²'³µ' ²'¶·'

'�½'ÐÑ����¼»�'�'¼�''�����Ö�'�'×ؼÙ'����¼»��'ϼ'»¼�'�¼»��»Ñ�'Ó���'���'ÐÑ�¹��Ú'������º�»��'

!"#$%!&'()!*"$+,*'

-./.0123'4./567'

89':;<'=>?'@?<?;@A>'B?<CDE';FF@GF@C;=?'=G';BB@?<<'=>?';CH<'GI'=>?'@?<?;@A>J''KLMNOPQRS'T'UVN'WXQ'RQNQVRYXQR'Z[NWO\OQP'WXQ'RQNQVRYX'PQNO]M'Q_]_'XVQ'WXQa'PONY[NNQP'XLb'WXQa'PQYOPQP'bXOYX'cQWXLPN'WL'[NQde'

'

' f'g?<' f'hG'

i0jkl576'

m9':;<'=>?'@?A@nC=H?E='<=@;=?Do';FF@GF@C;=?'=G'=>?';CH<'GI'=>?'@?<?;@A>J'KLMNOPQRS'p'UVN'WXQ'RQNQVRYXQR'QqrsVOMQP'XLb'WXQ'rVRWOYOrVMWN'LR'YVNQN'bQRQ'OPQMWO\OQP'VMP'NQsQYWQPe'p'tRQ'WXQ'YVNQN'PQ\OMQP'VMP'PQNYROuQP'rRQYONQsae'p'vVN'WXQ'YVNQN'RQrRQNQMWVWOQ'L\'V'PQ\OMQP'rLr[sVWOLMe'p'UVQ'WXQ'RQNQVRYXQRN'QqrsVOMQP'bXa'WXQ'rVRWOYOrVMWN'LR'YVNQN'WXQa'NQsQYWQP'bQRQ'WXQ'cLNW'VrrRLrROVWQ'WL'rRLOPQ'VYYQNN'WL'WXQ'WarQ'L\'wMLbsQP]Q'NL[]XW'ua'WXQ'NW[Pae'p'vVN'WXQ'NVcrsQ'NOxQ'N[\\OYOQMWsa'sVR]Qe''

' f'g?<' f'hG'

yz7{1zl'61z|k'

}9':;<'=>?@?';'AGE=@G~'D@GnF'�C=>'�>CA>'=G'AGHF;@?'=@?;=H?E=<J'KLMNOPQRS'p'ULb'bQRQ'WXQ'YLMWRLsN'NQsQYWQPe'p'vQRQ'WXQa'RQrRQNQMWVWOQ'L\'V'PQ\OMQP'rLr[sVWOLMe'p'vVN'WXQRQ'NLcQWXOM]'NrQYOVs'VuL[W'WXQ'YLMWRLsNe'p'vVN'WXQ'MLM�RQNrLMNQ'XO]Xe'KL[sP'MLM�RQNrLMPQMWN'uQ'PO\\QRQMW'OM'VMa'bVae'

'

' f'g?<' f'hG'

�0{0'2zll.2{5z7'

�9':;<'=>?'B;=;'AG~~?A=?B'CE';'�;o'=>;=';BB@?<<?B'=>?'@?<?;@A>'C<<n?J''KLMNOPQRS'p'vQRQ'Vss'cQVN[RQN'YsQVRsa'PQ\OMQP'Q_]_'[MOW'VMP'YL[MWOM]'R[sQNde'p'�N'OW'YsQVR'XLb'PVWV'bVN'YLssQYWQP'Q_]_'NQcO�NWR[YW[RQP'OMWQROQbN�'\LY[N']RL[r'QWY_de'p'UVN'WXQ'RQNQVRYXQR'Z[NWO\OQP'WXQ'cQWXLPN'WXVW'bQRQ'YXLNQMe'p'UVN'WXQ'RQNQVRYXQR'cVPQ'WXQ'cQWXLPN'QqrsOYOW'Q_]_'ON'WXQRQ'VM'OMPOYVWOLM'L\'XLb'OMWQROQbN'bQRQ'YLMP[YWQP�'POP'WXQa'[NQ'VM'OMWQROQb'][OPQde'p'�\'WXQ'cQWXLPN'bQRQ'cLPO\OQP'P[ROM]'WXQ'NW[Pa'XVN'WXQ'RQNQVRYXQR'QqrsVOMQP'XLb'VMP'bXae'p'�\'WXQ'\LRc'L\'PVWV'ON'YsQVR'Q_]_'WVrQ'RQYLRPOM]�'OPQL'cVWQROVs�'MLWQN'QWY_de'p'�\'�[VsOWa'YLMWRLs'cQWXLPN'bQRQ'[NQP'WL'QMN[RQ'YLcrsQWQMQNN'VMP'VYY[RVYa'L\'PVWV'YLssQYWOLMe'

'

' f'g?<' f'hG'

!"!#!$!%&'('#

)*#+,-#./0#1,.,#,2,34-5-#-67758502.34#95:;9;6-<##=>?@ABCDE#F#GH@#IJCDC#H?#A?KBCLIJ#BC@MDALIA>?#>N#IJC#H?HOP@A@#LD>MC@@Q#F#RN#IJCSHIAM#H?HOP@A@#TH@#U@CB#A@#AI#MOCHD#J>T#IJC#MHICV>DAC@W#IJCSC@#TCDC#BCDAXCB#ND>S#IJC#BHIHQ#F#YH@#@UNNAMAC?I#BHIH#ZCC?#LDC@C?ICB#I>#@ULL>DI#IJC#NA?BA?V@Q#F#[>#TJHI#C\IC?I#JH@#M>?IDHBAMI>DP#BHIH#ZCC?#IH]C?#A?I>#HMM>U?IQ#F#RN#UHOAIP#M>?ID>O#SCIJ>B@#TCDC#U@CB#I>#XCDANP#IJC#DC@UOI@Q#

#

# _#0-# _#a;#

bcd%ce(f("&#ghc'c!hij#k!h"$ch'j(k#hc%!"(l$'mhciln$("(l$#ld#hc'c!hijch#o(!'#

p*#q,-#./0#903,.5;2-/5r#s0.t002#90-0,98/09#,21#r,9.585r,2.-#s002#,10u6,.034#8;2-510901<##=>?@ABCDE#F#YH@#IJC#DC@CHDMJCD#MDAIAMHOOP#C\HSA?CB#IJCAD#>T?#D>OCv#L>IC?IAHO#ZAH@#H?B#A?NOUC?MC#BUDA?V#N>DSUOHIA>?#>N#DC@CHDMJ#UC@IA>?@v#@HSLOC#DCMDUAISC?Iv#BHIH#M>OOCMIA>?v#H?B#H?HOP@A@#H?B#@COCMIA>?#>N#BHIH#N>D#LDC@C?IHIA>?Q#F#Y>T#IJC#DC@CHDMJCD#DC@L>?BCB#I>#CXC?I@#BUDA?V#IJC#@IUBP#H?B#TJCIJCD#IJCP#M>?@ABCDCB#IJC#ASLOAMHIA>?@#>N#H?P#MJH?VC@#A?#IJC#DC@CHDMJ#BC@AV?Q##

# _#0-# _#a;#

w($x($n'#

yz*#{-#./090#,#830,9#-.,.0|02.#;7#752152:-<##=>?@ABCDE#F#}DC#IJC#NA?BA?V@#C\LOAMAI#~C�V�#SHV?AIUBC#>N#CNNCMI�Q#F#YH@#H?#HBCUHIC#BA@MU@@A>?#>N#IJC#CXABC?MCv#Z>IJ#N>D#H?B#HVHA?@I#IJC#DC@CHDMJCD�@#HDVUSC?I@v#ZCC?#BCS>?@IDHICBQ#F#YH@#IJC#DC@CHDMJCD#BA@MU@@CB#IJC#MDCBAZAOAIP#>N#IJCAD#NA?BA?V@#~C�V�#IDAH?VUOHIA>?v#DC@L>?BC?I#XHOABHIA>?v#S>DC#IJH?#>?C#H?HOP@I�Q#F#}DC#OASAIHIA>?@#>N#IJC#@IUBP#C\LOAMAIOP#BA@MU@@CBQ#F#}DC#IJC#NA?BA?V@#BA@MU@@CB#A?#DCOHIA>?#I>#IJC#>DAVA?HO#DC@CHDMJ#UC@IA>?@Q#F#}DC#IJC#M>?MOU@A>?@#�U@IANACB#ND>S#IJC#DC@UOI@Q#

#

# _#0-# _#a;#

�!%�c#ld#"jc#hc'c!hij#

yy*#{-#./0#-.614#;7#�,360#7;9#90-0,98/#;9#r9,8.580<##=>?@ABCDE#F#�>C@#IJC#DC@CHDMJCD#BA@MU@@#IJC#M>?IDAZUIA>?#IJC#@IUBP#SH]C@#I>#C\A@IA?V#]?>TOCBVC#>D#U?BCD@IH?BA?V#~C�V�#B>#IJCP#M>?@ABCD#IJC#NA?BA?V@#A?#DCOHIA>?#I>#MUDDC?I#LDHMIAMC#>D#DCOCXH?I#DC@CHDMJKZH@CB#OAICDHIUDC�Q#F#�>C@#IJC#DC@CHDMJ#ABC?IANP#?CT#HDCH@#TJCDC#DC@CHDMJ#A@#?CMC@@HDPQ#F#�>C@#IJC#DC@CHDMJCD#BA@MU@@#TJCIJCD#>D#J>T#IJC#NA?BA?V@#MH?#ZC#IDH?@NCDDCB#I>#>IJCD#L>LUOHIA>?@#>D#M>?@ABCDCB#>IJCD#THP@#IJC#DC@CHDMJ#MH?#ZC#U@CBQ##

# _#0-# _#a;#

!""#$%&' () *+,+ #',-+.,&/$ 0/-1

23456 5789:;<3;=>

?@ ABCDE FDGHBFIFGJK

L@ MNBG OI DNBN GPBJNQBFOH

R@ SFTUFOVJNWXFQ JGIGJGHQGK

Y@ ZEWG OI NJBFQUGK

[@ ABCDE NF\]K

@ _TGQBFaG]K

b@ MG]FVH OI ]BCDEK

c@ dG]GNJQX XEWOBXG]F]K

e@ MGIFHFBFOH OI NVFUG ]OIBfNJG DGaGUOW\GHB VFaGH FH ]BCDEK

?g@ AN\WUG DG]QJFWBFOH

??@ AGBBFHV OI ]BCDE

?L@ hOHBJOU VJOCW

?R@ MNBN QOUUGQBFOH

?Y@ MNBN NHNUE]F]

iHFjCG FD IOJ BXG ]BCDE

kCBXOJl EGNJl BFBUGl ]OCJQG

mOCJHNU NJBFQUGl QOHIGJGHQG WNWGJl fOJn]XOW WNWGJl TOOn ]GQBFOH

oXNB fGJG BXG NF\] OI BXG ]BCDEp

oXNB fGJG BXG OTGQBFaG]p

qCNUFBNBFaGl jCNHBFBNBFaG rGPWGJF\GHBl ]CJaGEl QN]G ]BCDEl NQBFOH JG]GNJQXs

ABNBG\GHB OI XEWOBXG]G]l FI NHE

tGJTNBF\ IJO\ BXG ]BCDE

AFuGl ]BCDGHB]l WJOIG]]FOHNU] rNVGl GDCQNBFOHl GPWGJFGHQGs

vHDC]BJEl FHwXOC]Gx]CWWUFGJl WJODCQB] NHD WJOQG]]G] C]GD

yG]l HO rzVJOCW]l ]N\WUG ]FuGs

{Of fN] BXG DNBN OTBNFHGDp rjCG]BFOHHNFJG]l FHBGJaFGf]l IOJ\]s

{Of fN] BXG DNBN NHNUEuGDp rjCNUFBNBFaGl jCNHBFBNBFaGs

23456 |;>5;>}8

?@ ~FHDFHV] NHD QOHQUC]FOH]

L@ tNUFDFBE

R@ dGUGaNHQG

oXNB fGJG BXG IFHDFHV] NHD QOHQUC]FOH]p raGJTNBF\ IJO\ BXG ]BCDEs

�F\FBNBFOH]l BXJGNB] BO aNUFDFBE

dG]GNJQXl WJNQBFQG