guia metricas externas internas y calidad en uso

22
GUIA-CALIDAD-000014 Página 1 de 22 CESSI Comisión Calidad Guia Metricas Externas Internas y Calidad en Uso.doc 12/11/08 Métricas según Tipos de Soluciones: MétricasExternas 9126-2 MétricasInternas 9126-3 Métricas Calidad en uso 9126-4 Resumen: El presente documento tiene por objetivo expresar una priorización tentativa de las Métricas Externas, Internas y En Uso según distintos tipos de soluciones, de manera de establecer criterios mínimos, en referencia a calidad de producto. Tomando en cuenta ISO 9126-2: External Metrics ISO 9126-3: Internal Metrics ISO 9126-4: Quality in use Metrics Es importante tener en cuenta que la ISO/IEC 9126 es mencionada en el contexto de la Ley de Promoción de la Industria del Software como norma reconocida en Calidad de Producto. . Asimismo mencionar que la 9126 no es certificable en sí misma, sino a través de otra norma. En este caso la norma certificable es la ISO/IEC 14598 (no mencionada en ley porque anteriormente ambas estaban unificadas en 9126) que utiliza como guía la norma ISO/IEC 9126 que define un modelo de Calidad de Software (u otro Modelo de Calidad) Contenido !" #$ % $ & ’ $ ( ) * (

Upload: matiassanchez-carrascogarcia

Post on 14-Dec-2015

219 views

Category:

Documents


1 download

DESCRIPTION

Guia Metricas Externas Internas y Calidad en Uso del producto software.iso 9126

TRANSCRIPT

Page 1: Guia Metricas Externas Internas y Calidad en Uso

GUIA-CALIDAD-000014

Página 1 de 22

CESSI Comisión Calidad Guia Metricas Externas Internas y Calidad en Uso.doc 12/11/08�

Métricas según Tipos de Soluciones: MétricasExternas 9126-2 MétricasInternas 9126-3

Métricas Calidad en uso 9126-4 Resumen: El presente documento tiene por objetivo expresar una priorización tentativa de las Métricas Externas, Internas y En Uso según distintos tipos de soluciones, de manera de establecer criterios mínimos, en referencia a calidad de producto. Tomando en cuenta ISO 9126-2: External Metrics ISO 9126-3: Internal Metrics ISO 9126-4: Quality in use Metrics Es importante tener en cuenta que la ISO/IEC 9126 es mencionada en el contexto de la Ley de Promoción de la Industria del Software como norma reconocida en Calidad de Producto. . Asimismo mencionar que la 9126 no es certificable en sí misma, sino a través de otra norma. En este caso la norma certificable es la ISO/IEC 14598 (no mencionada en ley porque anteriormente ambas estaban unificadas en 9126) que utiliza como guía la norma ISO/IEC 9126 que define un modelo de Calidad de Software (u otro Modelo de Calidad)

Contenido

��� ������������ � �������������������������������������������������������������������������������������������������������������������������������� ��

��� ����������������������� ����������� ��������������������������������������������������������������������������� ��

��� � ������ ����������������������������������������������������������������������������������������������������������������������������������������������������������������� ��

��� ������ �� ���!�" ��������#������������������������������������������������������������������������������������������������������������� $�

%�� �� ������������������������������������������������������������������������������������������������������������������������������������������������������ $�

��� �������������� �������������������������&����������������������������������������������������������� '�

$�� ���������������� ���������(���������������������������������������������������������������������������� ���

'�� ���������������� ������������������������������������������������������������������������������������������������������ ���

)�� �*������������(���������������������������������������������������������������������������������������������������������� ���

����� ������� � ����������������������������������������������������������������������������������������������������������������������������������������� ������ � ���������������������������������������������������������������������������������������������������������������������������������������������� ����� � ������������������������������������������������������������������������������������������������������������������������������������������������

Page 2: Guia Metricas Externas Internas y Calidad en Uso

GUIA-CALIDAD-000014

Página 2 de 22

CESSI Comisión Calidad Guia Metricas Externas Internas y Calidad en Uso.doc 12/11/08�

����� �������������������������������������������������������������������������������������������������������������������������������������������������������������� ������������������������������������������������������������������������������������������������������������������������������������������������ ������ � ������������������������������������������������������������������������������������������������������������������������������������������

�+�� �*���������������������������������������������������������������������������������������������������������������������������������

���� ����������������������������������������������������������������������������������������������������������������������������������������������������������������� ��������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������

���� AANNEEXXOO AA:: IISSOO 99112266--11:: CCAALLIIDDAADD DDEE PPRROODDUUCCTTOO-- MMOODDEELLOO DDEE CCAALLIIDDAADD ��������������������������������������������$�

1111..11..� FFUUNNCCIIOONNAALLIIDDAADD ((FFUUNNCCTTIIOONNAALLIITTYY))�������������������������������������������������������������������������������������������������������������������1111..22..� CCOONNFFIIAABBIILLIIDDAADD ((RREELLIIAABBIILLIITTYY))��������������������������������������������������������������������������������������������������������������������������1111..33..� UUSSAABBIILLIIDDAADD ((UUSSAABBIILLIITTYY))�������������������������������������������������������������������������������������������������������������������������������� �1111..44..� EEFFIICCIIEENNCCIIAA ((EEFFFFIICCIIEENNCCYY))����������������������������������������������������������������������������������������������������������������������������������1111..55..� MMAANNTTEENNIIMMIIEENNTTOO ((MMAAIINNTTAAIINNAABBIILLIITTYY))����������������������������������������������������������������������������������������������������������������1111..66..� PPOORRTTAABBIILLIIDDAADD ((PPOORRTTAABBIILLIITTYY))�������������������������������������������������������������������������������������������������������������������������

Histórico del documento

�������� �� � ���� � � � � �� � �� � � ���� �� � �� � �� ���� � ��

� �� � ������������ �� ���� �

� � �

� � �

1. Referencias / Bibliografía Referencia Descripción / Comentario

ISO/ IEC 14598

“Tecnología de la Información- Ingeniería de Software- Evaluación del producto de Software” Consta de las siguientes partes:

14598-1: Descripción General 14598-2: Planificación y Gestión 14598-3: Proceso para Desarrolladores (mejora) 14598-4: Proceso para Compradores (adquisición) 14598-5: Proceso para evaluadores (evaluación independiente, de terceras partes) 14598-6: Documentación de los módulos de evaluación

ISO/IEC 9126 ISO 9126: Ingeniería de Software – Calidad de Producto Consta de las siguientes partes:

ISO 9126-1: Modelo de Calidad. Características y subcaracterísticas asociadas de calidad. ISO 9126-2: Métricas externas ISO 9126-3: Métricas internas ISO 9126-4: Métricas de calidad en uso

Page 3: Guia Metricas Externas Internas y Calidad en Uso

GUIA-CALIDAD-000014

Página 3 de 22

CESSI Comisión Calidad Guia Metricas Externas Internas y Calidad en Uso.doc 12/11/08�

2. Definición de Términos, Abreviaturas, Símbolos

“Modelo de calidad”

Es posible armar los requisitos de calidad en términos de características básicas de calidad, que pueden descomponerse en subcaracterísticas, y estas a su vez en atributos medibles y a chequear contra el producto, formando en su conjunto el Modelo de calidad. Es en resumen, el conjunto de características y las relaciones entre ellas que proporcionan la base para especificar los requerimientos de calidad y la forma de evaluarla.

“Características y subcaracterísticas de calidad”

Es posible armar los requisitos de calidad en términos de características básicas de calidad, que pueden descomponerse en subcaracterísticas, y estas a su vez en atributos medibles y a chequear contra el producto, formando en su conjunto el Modelo de calidad.

“Atributo” Característica física o abstracta medible de una entidad

“Calidad” La totalidad de características de un producto que determinan su capacidad de satisfacer necesidades explícitas e implícitas.

“Calidad externa”

Mide el comportamiento del sistema basado en computadora, que incluye al software. El grado en que un producto satisface las necesidades explícitas e implícitas cuando se usa bajo condiciones especificadas. Nota: Calidad externa se refiere en general a la calidad en el entorno final. Ejemplo: calidad usando el hardware y software general que ya está especificado.

“Calidad interna” Mide el software en si mismo.

“Calidad en uso”

Mide los efectos de usar el software en un contexto de uso específico. El grado en que un producto usado por usuarios especificados resuelve sus necesidades de alcanzar metas específicas con efectividad, productividad y satisfacción, en contextos especificados de uso. Esta definición es similar a la definición de usabilidad.

“Métricas y Medidas” Métrica: Objetivo a medir, Escala cuantitativa y el método de medición Medida: resultado de la medición

“Medida interna”

Una medida del producto en sí mismo. Ej. Número de líneas de código, medidas de complejidad, número de errores detectados sobre el código en una revisión, el índice FOG (índice de facilidad de lectura) son todas medidas internas hechas sobre el producto mismo.

Page 4: Guia Metricas Externas Internas y Calidad en Uso

GUIA-CALIDAD-000014

Página 4 de 22

CESSI Comisión Calidad Guia Metricas Externas Internas y Calidad en Uso.doc 12/11/08�

“Medida externa”

Una medida indirecta de un producto derivada de las medidas del comportamiento del sistema del cual forma parte (el sistema incluye no sólo el producto, sino el hardware, software y usuarios). Nota: En general se denominan medidas externas a aquellas que se realizan sobre el producto corriendo o funcionando en determinado ámbito. Ej.: El número de fallas encontradas durante la prueba es una medida externa del número de errores del programa, porque el número de fallas se cuenta durante la ejecución de un programa del sistema informático.

“Puntuación (rating)” La acción de asignar el valor medido al nivel de puntuación apropiado. Se usa para determinar el nivel de puntuación asignado al software para una característica de calidad específica.

3. Objetivo El objetivo es expresar una priorización tentativa de las Métricas Externas, Internas y En Uso según distintos tipos de soluciones, de manera de establecer criterios mínimos, en referencia a calidad de producto. Tomando en cuenta ISO 9126-2: External Metrics ISO 9126-3: Internal Metrics ISO 9126-4: Quality in use Metrics Es importante tener en cuenta que la ISO/IEC 9126 es mencionada en el contexto de la Ley de Promoción de la Industria del Software como norma reconocida en Calidad de Producto. . Asimismo mencionar que la 9126 no es certificable en sí misma, sino a través de otra norma. En este caso la norma certificable es la ISO/IEC 14598 (no mencionada en ley porque anteriormente ambas estaban unificadas en 9126) que utiliza como guía la norma ISO/IEC 9126 que define un modelo de Calidad de Software (u otro Modelo de Calidad)

4. Qué se propone? (Pasos a seguir) Se propone clasificar dos sets de metricas (enunciadas en este documento en los puntos: 9- Análisis Métricas Externas / Internas y 10- Análisis Métricas Calidad en Uso Marcando las que consideramos como mínimo necesarias Según distintos tipos de soluciones, descriptas en el punto: 5- Tipos de Soluciones

5. Tipos de Soluciones En forma tentativa / preliminar se propone utilizar la siguiente clasificación de tipos de soluciones que presenta ������������ ������� ������ ���������� ����� ���������������������������������� ��������������������������� �������������

Page 5: Guia Metricas Externas Internas y Calidad en Uso

GUIA-CALIDAD-000014

Página 5 de 22

CESSI Comisión Calidad Guia Metricas Externas Internas y Calidad en Uso.doc 12/11/08�

• ��� ����� ��• �� ������ �� ����� ���• ������ �� ���� ���• �� !�����• �������"�������• # � ���������� ��"�����$ ��� �� ��% ��• � �������� ���������• ������� ����� ���• ��������������������� �

6. Introducción sobre Métricas de Calidad de Software La ISO 9126-1 plantea un Modelo de Calidad basado en características y subcaracterísticas de calidad a ser evaluadas, identifica las mediciones directas e indirectas, identifica las métricas relevantes e interpreta de una manera objetiva. Las métricas internas pueden ser aplicables a un producto de software no ejecutable, durante sus estadios de desarrollo, tales como definición de requerimientos, especificación de diseño o código fuente. Proveen la posibilidad de medir la calidad de entregables intermedios y predecir la calidad final del producto. Esto permite identificar issues de calidad e iniciar accioens correctivas en forma mas temprana Las métricas externas pueden ser usadas para medir la calidad del Producto de software midiendo el comprotamiento del sistema del cual forma parte. Pueden ser solo tomadas o usadas durante la etapa de testing o durante los estados ya operativos. Las medidas son tomadas cuando ejecutamos el producto de software en el environment en el cual pretendemos que opere. Las métricas de calidad en uso miden de que forma el producto coincide con las necesidades de usuarios específicos y sus objetivos, tales como efectividad, productividad, seguridad y satisfacción, todo en un contexto específico de uso. Esto solo puede ser realizado en el environment real (producción) Las necesidades de calidad del usuario pueden ser especificadas en forma de requerimientos de calidad, por medio de las métricas de calidad en uso, por medio de las métricas de calidad externas, y algunas veces, por medio de las métricas de calidad internas. Estos requerimientos especificados por métricas deben ser usados como criterio cuando un producto es evaluado. En el caso de utilizar métricas internas es recomendado que se utilicen aquellas con fuerte relación con métricas externas, para que sirvan para predecir los valores de métricas externas, en un estadio mas temprano. ���

Page 6: Guia Metricas Externas Internas y Calidad en Uso

GUIA-CALIDAD-000014

Página 6 de 22

CESSI Comisión Calidad Guia Metricas Externas Internas y Calidad en Uso.doc 12/11/08�

Page 7: Guia Metricas Externas Internas y Calidad en Uso

GUIA-CALIDAD-000014

Página 7 de 22

CESSI Comisión Calidad Guia Metricas Externas Internas y Calidad en Uso.doc 12/11/08�

7. Modelo de Calidad para Calidad Externa / Interna A continuación se describe el Modelo de Calidad (Características y Subcaracterísticas) propuesto por ISO/ IEC 9126 para Calidad Externa e Interna (Calidad de Producto- Modelo de Calidad)

Dicha norma categoriza los atributos de calidad de software dentro de seis características: funcionalidad, confiabilidad, usabilidad, eficiencia, facilidad de mantenimiento y portabilidad, a las cuales las divide en subcaracterísticas. Además presenta una definición de cada característica y subcaracterística. Para cada característica y subcaracterística, la capacidad del software es determinada por un conjunto de atributos que pueden ser medidos. Se adjunta un diagrama y la explicación de cada categoría subcategoría:

Page 8: Guia Metricas Externas Internas y Calidad en Uso

GUIA-CALIDAD-000014

Página 8 de 22

CESSI Comisión Calidad Guia Metricas Externas Internas y Calidad en Uso.doc 12/11/08�

8. Modelo de Calidad para Calidad En USO A continuación se describe el Modelo de Calidad propuesto por ISO/ IEC 9126 para Calidad en Uso

Page 9: Guia Metricas Externas Internas y Calidad en Uso

GUIA-CALIDAD-000014

Página 9 de 22

CESSI Comisión Calidad Guia Metricas Externas Internas y Calidad en Uso.doc 12/11/08�

Page 10: Guia Metricas Externas Internas y Calidad en Uso

GUIA-CALIDAD-000014

Página 10 de 22

CESSI Comisión Calidad Guia Metricas Externas Internas y Calidad en Uso.doc 12/11/08�

9. Análisis Métricas Externas / Internas

9.1. Funcionalidad (Functionality)

9.1.1. Adaptabilidad (Suitability).

9.1.1.1. Functional Adequacy.

9.1.1.2. Functional Implementation Completeness.

9.1.1.3. Functional Implementation Coverage.

9.1.1.4. Functional Specification Stability (Volatility).

9.1.2. Precisión (Accuracy).

9.1.2.1. Accuracy to expectation.

9.1.2.2. Computational Accuracy.

9.1.2.3. Precision.

9.1.3. Inter-operación – Capacidad para interactuar (Interoperatbility).

9.1.3.1. Data Exchangeability (Data format based).

9.1.3.2. Data Exchangeability (User’s success attempt based).

9.1.4. Seguridad (Security).

9.1.4.1. Access Auditability.

9.1.4.2. Access Controllability.

9.1.4.3. Data Corruption Prevention.

9.1.5. Compatibilidad en Funcionalidad (Functionality Compliance).

9.1.5.1. Functional Compliance.

9.1.5.2. Interface Standard Compliance.

Page 11: Guia Metricas Externas Internas y Calidad en Uso

GUIA-CALIDAD-000014

Página 11 de 22

CESSI Comisión Calidad Guia Metricas Externas Internas y Calidad en Uso.doc 12/11/08�

9.2. Confiabilidad (Reliability).

9.2.1. Madurez (Maturity).

9.2.1.1. Estimated latent fault density.

9.2.1.2. Failure Density against test cases.

9.2.1.3. Failure Resolution.

9.2.1.4. Fault Density.

9.2.1.5. Fault Removal.

9.2.1.6. Mean Time between failures (MTBF).

9.2.1.7. Test Coverage (Specified operation scenario testing coverage)

9.2.1.8. Test Maturity.

9.2.2. Tolerancia a Fallas (Fault tolerance).

9.2.2.1. Breakdown Avoidance.

9.2.2.2. Failure Avoidance.

9.2.2.3. Incorrect Operation Avoidance.

9.2.3. Recuperación – Capacidad de recuperación (Recoverability).

9.2.3.1. Availability.

9.2.3.2. Mean down time.

9.2.3.3. Mean recovery time.

9.2.3.4. Restartability.

9.2.3.5. Restorability.

9.2.3.6. Restore effectiveness.

9.2.4. Compatibilidad en Confiabilidad (Reliability Compliance).

9.2.4.1. Reliability Compliance.

Page 12: Guia Metricas Externas Internas y Calidad en Uso

GUIA-CALIDAD-000014

Página 12 de 22

CESSI Comisión Calidad Guia Metricas Externas Internas y Calidad en Uso.doc 12/11/08�

9.3. Usabilidad (Usability).

9.3.1. Entendible (Understandability).

9.3.1.1. Completeness of description

9.3.1.2. Demostration accessibility.

9.3.1.3. Demostration accessibility in use.

9.3.1.4. Demostration effectiveness.

9.3.1.5. Evident functions.

9.3.1.6. Function understand-ability.

9.3.1.7. Understandable input and output.

9.3.2. Aprendizaje – Capacidad para ser aprendido (Learnability).

9.3.2.1. Ease of function learning.

9.3.2.2. Ease of learning to perform a task in use.

9.3.2.3. Effectiveness of the user documentation and/or help system.

9.3.2.4. Effectiveness of the user documentation and/or help systems in use.

9.3.2.5. Help accessibility.

9.3.2.6. Help frequency.

Page 13: Guia Metricas Externas Internas y Calidad en Uso

GUIA-CALIDAD-000014

Página 13 de 22

CESSI Comisión Calidad Guia Metricas Externas Internas y Calidad en Uso.doc 12/11/08�

9.3.3. Operación - Capacidad de Operación (Operability).

9.3.3.1. (A) Conforms with operational user expectations.

9.3.3.1.1. Operational consistency in use.

9.3.3.2. (B) Controlable.

9.3.3.2.1. Error correction.

9.3.3.2.2. Error correction in use.

9.3.3.3. (C) Suitable for the task operation.

9.3.3.3.1. Default value availability in use.

9.3.3.4. (D) Self descriptive (Guiding).

9.3.3.4.1. Message understand-ability in use.

9.3.3.4.2. Self – explanatory error messages.

9.3.3.5. (E) Operational error tolerant (Human error free).

9.3.3.5.1. Operational error recoverability in use.

9.3.3.5.2. Time between human error operations in use.

9.3.3.5.3. Undoability (Use error correction).

9.3.3.6. (F) Suitable for individualisation.

9.3.3.6.1. Customisability.

9.3.3.6.2. Operation procedure reduction.

9.3.3.6.3. Physical accessibility.

9.3.4. Atractivo – Capacidad de ser atractivo (Attractiveness).

9.3.4.1. Attractive Interaction.

9.3.4.2. Interface appearance customisability.

9.3.5. Compatibilidad en Usabilidad (Usability Compliance).

9.3.5.1. Usability Compliance.

9.4. Eficiencia (Efficiency).

9.4.1. Performance - Comportamiento en Tiempo (Time Behaviour).

9.4.1.1.1. Response Time

9.4.1.1.2. Response Time (Mean Time to response).

9.4.1.1.3. Response Time (Worst case response time ratio).

Page 14: Guia Metricas Externas Internas y Calidad en Uso

GUIA-CALIDAD-000014

Página 14 de 22

CESSI Comisión Calidad Guia Metricas Externas Internas y Calidad en Uso.doc 12/11/08�

9.4.1.2. (B) Throughput.

9.4.1.2.1. Throughput.

9.4.1.2.2. Throughput (Mean amount of throughput).

9.4.1.2.3. Throughput (Worst case througnput ratio).

9.4.1.3. (C) Turnaround Time.

9.4.1.3.1. Turnaround time.

9.4.1.3.2. Turnaround time (Mean time for turnaround).

9.4.1.3.3. Turnaround time (Worst case turnaround time ratio).

9.4.1.3.4. Waiting time.

9.4.2. Utilización de Recursos (Resource Utilisation).

9.4.2.1. (A) I/O Devices resource utilization.

9.4.2.1.1. I/O devices utilisation.

9.4.2.1.2. I/O loading limits.

9.4.2.1.3. I/O related errors.

9.4.2.1.4. Mean I/O fulfilment ratio.

9.4.2.1.5. User waiting time of I/O devices utilisation.

9.4.2.2. (B) Memory resource utilization.

9.4.2.2.1. Maximum memory utilisation.

9.4.2.2.2. Mean occurrence of memory error.

9.4.2.2.3. Ratio of memory error/time.

9.4.2.3. (C) Transmission resource utilization.

9.4.2.3.1. Maximum transmission utilisation.

9.4.2.3.2. Media device utilisation balancing.

9.4.2.3.3. Mean occurrence of transmission error.

9.4.2.3.4. Mean of transmission error per time.

9.4.2.3.5. Transmission capacity utilisation.

9.4.3. Compatibilidad en Eficiencia (Efficiency Compliance).

9.4.3.1. Efficiency Compliance.

Page 15: Guia Metricas Externas Internas y Calidad en Uso

GUIA-CALIDAD-000014

Página 15 de 22

CESSI Comisión Calidad Guia Metricas Externas Internas y Calidad en Uso.doc 12/11/08�

9.5. Mantenimiento (Maintainability).

9.5.1. Diagnóstico - Capacidad para ser analizado / diagnosticado (Analysability).

9.5.1.1. Audit trail capability.

9.5.1.2. Diagnostic function support.

9.5.1.3. Failure analysis capability.

9.5.1.4. Failure analysis efficiency.

9.5.1.5. Status monitoring capability.

9.5.2. Cambios - Capacidad de ser cambiado / modificado (Changeability).

9.5.2.1. Chance cycle efficiency.

9.5.2.2. Change implementation elapse time.

9.5.2.3. Modification complexity.

9.5.2.4. Parametrised modifiability.

9.5.2.5. Software change control capability.

9.5.3. Estabilidad (Stability).

9.5.3.1. Change success ratio.

9.5.3.2. Modification impact localisation (Emerging failure after change).

9.5.4. Testing – Capacidad de ser testeado (Testeability).

9.5.4.1. Availability of built-in test function.

9.5.4.2. Re-test efficiency.

9.5.4.3. Test restartability.

9.5.5. Compatibilidad en Mantenimiento (Maintainability Compliance).

9.5.5.1. Maintainability compliance.

9.6. Portabilidad (Portability).

9.6.1. Adaptabilidad (Adaptability).

9.6.1.1. Adaptability of data structures.

9.6.1.2. Hardware environmental adaptability.

9.6.1.3. Organisational environment adaptability (Organisation adaptability to infrastructure of organisation).

9.6.1.4. Porting user friendliness.

9.6.1.5. System software environmental adaptability.

Page 16: Guia Metricas Externas Internas y Calidad en Uso

GUIA-CALIDAD-000014

Página 16 de 22

CESSI Comisión Calidad Guia Metricas Externas Internas y Calidad en Uso.doc 12/11/08�

9.6.2. Instalación – Capacidad para ser instalado (Installability).

9.6.2.1. Ease of installation.

9.6.2.2. Ease of Setup retry.

9.6.3. Coexistencia – Capacidad para coexistir (Co-existence).

9.6.3.1. Available co-existance.

9.6.4. Upgrades / Reemplazo – Capacidad para reemplazar (Replaceability).

9.6.4.1. Continued use of data.

9.6.4.2. Function inclusiveness.

9.6.4.3. User support functional consistency.

9.6.5. Compatibilidad en Portabilidad (Portability Compliance).

9.6.5.1. Portability compliance.

10. Análisis Métricas Calidad en Uso

9.1 Effectiveness Metrics

9.1.1 Task effectiveness (What proportion of the goals of the task is achieved correctly?) Método : User test

9.1.2 Task Completion (What proportion of the tasks is completed?) Método: User test

9.1.3 Error frequency (What is the frequency of errors?) Método: User test 9.1.4 Productive proportion (What proportion of the time is the user performing

productive actions?) Método: User test 9.1.5 How efficient is a user compared to an expert? Método: User test

9. 2 Productivity Metrics

9.2.1 Task Time (How long does it take to complete a task?) Método: User test

9.2.2 Task Efficiency (How efficient are the users?) Método: User test

9.2.3 Economic Productivity (How cost – effective is the user?) Método: User test

9.2.4 Productive proportion (What proportion of the time is the user performing productive actions?) Método: User test

9.2.5 How efficient is a user compared to an expert? Método: User test

9. 3 Safety Metrics

Page 17: Guia Metricas Externas Internas y Calidad en Uso

GUIA-CALIDAD-000014

Página 17 de 22

CESSI Comisión Calidad Guia Metricas Externas Internas y Calidad en Uso.doc 12/11/08�

9.3.1 User health and safety (What is the incidence of health problems among users of the product?) – Método: Usage statistics

9.3.2 Safety of people affected by use of the system (What is the incidence of hazard to people affected by use of the system?) Método: Usage statistics

9.3.3 Economic Damage (What is the incidence of economic damage?) Método: Usage statistics

9.3.4 Software Damage (What is the incidence of software damage?) Método: Usage statistics

9. 4 Satisfaction Metrics

9.4.1 Satisfaction scale (How satisfied is the user?) – Método: User test

9.4.2 Satisfaction questionnaire(How satisfied is the user with specific software features?) – Método: User test

9.4.3 Discretionary usage(What proportion of potential users choose use the system?) – Método: Observation of usage

Page 18: Guia Metricas Externas Internas y Calidad en Uso

GUIA-CALIDAD-000014

Página 18 de 22

CESSI Comisión Calidad Guia Metricas Externas Internas y Calidad en Uso.doc 12/11/08�

11. AANNEEXXOO AA:: IISSOO 99112266--11:: CCAALLIIDDAADD DDEE PPRROODDUUCCTTOO-- MMOODDEELLOO DDEE CCAALLIIDDAADD A continuación se describe el Modelo de Calidad (Características y Subcaracterísticas) propuesto

por ISO/ IEC 9126 (Calidad de Producto- Modelo de Calidad)

Dicha norma categoriza los atributos de calidad de software dentro de seis características: funcionalidad, confiabilidad, usabilidad, eficiencia, facilidad de mantenimiento y portabilidad, a las cuales las divide en subcaracterísticas. Además presenta una definición de cada característica y subcaracterística. Para cada característica y subcaracterística, la capacidad del software es determinada por un conjunto de atributos que pueden ser medidos. Se adjunta un diagrama y la explicación de cada categoría subcategoría:

1111..11.. FFUUNNCCIIOONNAALLIIDDAADD ((FFUUNNCCTTIIOONNAALLIITTYY))

Es la capacidad del software para proveer características y funcionalidades que se corresponden con requerimientos especificados y requerimientos implícitos , cuando el software es usado bajo condiciones especificadas.

1111..11..11.. AADDAAPPTTAABBIILLIIDDAADD ((SSUUIITTAABBIILLIITTYY))::

Page 19: Guia Metricas Externas Internas y Calidad en Uso

GUIA-CALIDAD-000014

Página 19 de 22

CESSI Comisión Calidad Guia Metricas Externas Internas y Calidad en Uso.doc 12/11/08�

Es la capacidad del producto de software para proveer un apropiado conjunto de funciones para tareas específicas y objetivos del usuario.

1111..11..22.. PPRREECCIISSIIÓÓNN ((AACCCCUURRAACCYY)):: Es la capacidad del producto de software para proveer los resultados acordados o correctos con el

nivel de precisión adecuado.

1111..11..33.. IINNTTEERR--OOPPEERRAACCIIÓÓNN –– CCAAPPAACCIIDDAADD PPAARRAA IINNTTEERRAACCTTUUAARR ((IINNTTEERROOPPEERRAATTBBIILLIITTYY)):: Es la capacidad del producto de software para interactuar con uno o más sistemas especificados.

1111..11..44.. SSEEGGUURRIIDDAADD ((SSEECCUURRIITTYY)):: Es la capacidad del producto de software para proteger los datos e información para que, los

usuarios o sistemas no autorizados no puedan leerla ni modificarla, y para que los usuarios y sistemas autorizados tengan permitido el acceso a ellos.

1111..11..55.. CCOOMMPPAATTIIBBIILLIIDDAADD EENN FFUUNNCCIIOONNAALLIIDDAADD ((FFUUNNCCTTIIOONNAALLIITTYY CCOOMMPPLLIIAANNCCEE)):: Es la capacidad del producto de software para adherir a stándares, convenios o regulaciones en ley, o

similares, relatibos a funcionalidad.

1111..22.. CCOONNFFIIAABBIILLIIDDAADD ((RREELLIIAABBIILLIITTYY))

Es la capacidad del producto de software para mantener un nivel de performance especificado, cuando es usado bajo las condiciones especificadas.

1111..22..11.. MMAADDUURREEZZ ((MMAATTUURRIITTYY)) Es la capacidad del producto de software para evitar fallas como resultado de fallas generales o de

software. (Ej. Filtro de errores)

1111..22..22.. TTOOLLEERRAANNCCIIAA AA FFAALLLLAASS ((FFAAUULLTT TTOOLLEERRAANNCCEE)):: Es la capacidad del producto de software para mantener un especificado nivel de performance, en

caso de fallos en el software o en sus interfaces.

1111..22..33.. RREECCUUPPEERRAACCIIÓÓNN –– CCAAPPAACCIIDDAADD DDEE RREECCUUPPEERRAACCIIÓÓNN ((RREECCOOVVEERRAABBIILLIITTYY)):: Es la capacidad del producto de software para reestablecer un especificado nivel de performance y

recuperar los datos afectados, en el caso de un fallo.

1111..22..44.. CCOOMMPPAATTIIBBIILLIIDDAADD EENN CCOONNFFIIAABBIILLIIDDAADD ((RREELLIIAABBIILLIITTYY CCOOMMPPLLIIAANNCCEE)):: Es la capacidad del producto de software para adherir a estándares, convenios o regulaciones ,

relativos a confiabilidad.

Page 20: Guia Metricas Externas Internas y Calidad en Uso

GUIA-CALIDAD-000014

Página 20 de 22

CESSI Comisión Calidad Guia Metricas Externas Internas y Calidad en Uso.doc 12/11/08�

1111..33.. UUSSAABBIILLIIDDAADD ((UUSSAABBIILLIITTYY))

Es la capacidad del producto de software para ser entendido, aprendido, usado (siendo atractivo para el usuario), cuando es usado bajo las condiciones especificadas.

1111..33..11.. EENNTTEENNDDIIBBLLEE ((UUNNDDEERRSSTTAANNDDAABBIILLIITTYY)) Es la capacidad del producto de software para permitir ser entendido por el usuario. Facilidad para

el usuario de comprender como ser usado para tareas particulares. La documentación y las primeras impresiones son vitales para este objetivo.

1111..33..22.. AAPPRREENNDDIIZZAAJJEE –– CCAAPPAACCIIDDAADD PPAARRAA SSEERR AAPPRREENNDDIIDDOO ((LLEEAARRNNAABBIILLIITTYY)) Es la capacidad del producto de software para permitir al usuario aprender la aplicación.

1111..33..33.. OOPPEERRAACCIIÓÓNN -- CCAAPPAACCIIDDAADD DDEE OOPPEERRAACCIIÓÓNN ((OOPPEERRAABBIILLIITTYY)) Es la capacidad del producto de software para permitir al usuario operar y controlarlo.

1111..33..44.. AATTRRAACCTTIIVVOO –– CCAAPPAACCIIDDAADD DDEE SSEERR AATTRRAACCTTIIVVOO ((AATTTTRRAACCTTIIVVEENNEESSSS)) Es la capacidad del producto de software para resultar atractivo al usuario.

1111..33..55.. CCOOMMPPAATTIIBBIILLIIDDAADD EENN UUSSAABBIILLIIDDAADD ((UUSSAABBIILLIITTYY CCOOMMPPLLIIAANNCCEE)) Es la capacidad del producto de software para adherir a estándares, convenios, guías de estilo, o

regulaciones relativas a usabilidad.

1111..44.. EEFFIICCIIEENNCCIIAA ((EEFFFFIICCIIEENNCCYY))

Es la capacidad del producto de software para proveer la performance apropiada, relacionada con la cantidad de recursos usados, cuando es usado bajo las condiciones especificadas.

1111..44..11.. PPEERRFFOORRMMAANNCCEE -- CCOOMMPPOORRTTAAMMIIEENNTTOO EENN TTIIEEMMPPOO ((TTIIMMEE BBEEHHAAVVIIOOUURR)) Es la capacidad del producto de software para proveer respuesta apropiada y tiempos de

procesamiento y tasas de rendimiento, cuando ejecuta sus funciones, bajo las condiciones especificadas.

1111..44..22.. UUTTIILLIIZZAACCIIÓÓNN DDEE RREECCUURRSSOOSS ((RREESSOOUURRCCEE UUTTIILLIISSAATTIIOONN)) Es la capacidad del producto de software para usar los recursos apropiados y en la cantidad

apropiada, cuando ejecuta sus funciones, bajo las condiciones especificadas.

1111..44..33.. CCOOMMPPAATTIIBBIILLIIDDAADD EENN EEFFIICCIIEENNCCIIAA ((EEFFFFIICCIIEENNCCYY CCOOMMPPLLIIAANNCCEE)) Es la capacidad del producto de software para adherir a estándares o convenios, relativos a

eficiencia.

Page 21: Guia Metricas Externas Internas y Calidad en Uso

GUIA-CALIDAD-000014

Página 21 de 22

CESSI Comisión Calidad Guia Metricas Externas Internas y Calidad en Uso.doc 12/11/08�

1111..55.. MMAANNTTEENNIIMMIIEENNTTOO ((MMAAIINNTTAAIINNAABBIILLIITTYY))

Es la capacidad del producto de software para ser modificado. Modificaciones pueden incluir correcciones de errores, mejoras, o adaptaciones al software, por cambios en el ambiente, en requerimientos y en especificaciones funcionales.

1111..55..11.. DDIIAAGGNNÓÓSSTTIICCOO -- CCAAPPAACCIIDDAADD PPAARRAA SSEERR AANNAALLIIZZAADDOO // DDIIAAGGNNOOSSTTIICCAADDOO ((AANNAALLYYSSAABBIILLIITTYY)) Es la capacidad del producto de software para ser diagnosticado por fallas o errores. O para que

las partes a ser modificadas puedan ser identificadas.

1111..55..22.. CCAAMMBBIIOOSS -- CCAAPPAACCIIDDAADD DDEE SSEERR CCAAMMBBIIAADDOO // MMOODDIIFFIICCAADDOO ((CCHHAANNGGEEAABBIILLIITTYY)) Es la capacidad del producto de software para permitir que una modificación especificada pueda

ser implementada.

1111..55..33.. EESSTTAABBIILLIIDDAADD ((SSTTAABBIILLIITTYY)) Es la capacidad del producto de software para evitar efectos inesperados, producto de una

modificación del software.

1111..55..44.. TTEESSTTIINNGG –– CCAAPPAACCIIDDAADD DDEE SSEERR TTEESSTTEEAADDOO ((TTEESSTTEEAABBIILLIITTYY)) Es la capacidad del producto de software para permitir que una modificación pueda ser validada.

1111..55..55.. CCOOMMPPAATTIIBBIILLIIDDAADD EENN MMAANNTTEENNIIMMIIEENNTTOO ((MMAAIINNTTAAIINNAABBIILLIITTYY CCOOMMPPLLIIAANNCCEE)) Es la capacidad del producto de software para adherir a estándares o convenios, relativos a

Mantenimiento.

1111..66.. PPOORRTTAABBIILLIIDDAADD ((PPOORRTTAABBIILLIITTYY))

Es la capacidad del producto de software de ser transferido de un ambiente a otro (por ambiente se entiende ambiente de hardware, software u organizacional).

1111..66..11.. AADDAAPPTTAABBIILLIIDDAADD ((AADDAAPPTTAABBIILLIITTYY)) Es la capacidad del producto de software a ser adaptado para diferentes ambientes especificados,

sin aplicar otras acciones / medios que aquellos provistos para este propósito por el mismo software (escalabilidad interna, tablas, volúmenes de transacciones, etc.)

1111..66..22.. IINNSSTTAALLAACCIIÓÓNN –– CCAAPPAACCIIDDAADD PPAARRAA SSEERR IINNSSTTAALLAADDOO ((IINNSSTTAALLLLAABBIILLIITTYY)) Es la capacidad del producto de software para ser instalado en un ambientes especificado.

1111..66..33.. CCOOEEXXIISSTTEENNCCIIAA –– CCAAPPAACCIIDDAADD PPAARRAA CCOOEEXXIISSTTIIRR ((CCOO--EEXXIISSTTEENNCCEE)) Es la capacidad del producto de software para coexistir con otro software independiente, en un

ambiente compartido, compartiendo recursos.

Page 22: Guia Metricas Externas Internas y Calidad en Uso

GUIA-CALIDAD-000014

Página 22 de 22

CESSI Comisión Calidad Guia Metricas Externas Internas y Calidad en Uso.doc 12/11/08�

1111..66..44.. UUPPGGRRAADDEESS // RREEEEMMPPLLAAZZOO –– CCAAPPAACCIIDDAADD PPAARRAA RREEEEMMPPLLAAZZAARR ((RREEPPLLAACCEEAABBIILLIITTYY)) Es la capacidad del producto de software para ser usado en lugar de otro producto de software,

para el mismo propósito, en el mismo ambiente. (Por ej. el reemplazo de una nueva versión de software)

1111..66..55.. CCOOMMPPAATTIIBBIILLIIDDAADD EENN PPOORRTTAABBIILLIIDDAADD ((PPOORRTTAABBIILLIITTYY CCOOMMPPLLIIAANNCCEE)) Es la capacidad del producto de software para adherir a estándares o convenios, relativos a

portabilidad.