hasta un total de 50 miembros... aemes: gestión cuantitativa de las ti
TRANSCRIPT
Pruebas de Carga en VSTS 2010El control de calidad en el desarrollo de software
Carlos Salinas y Ramiro Carballo ([email protected])GESEIN. 24 Noviembre 2009. Microsoft ALM’09 Sessions.
− Consultoría y Soluciones para la Calidad y la Mejora del Proceso Software y de las TIC:− Implantación de Modelos de Procesos: CMMI / CMM / ISO 9001/ SPICE / PSP / TSP /
ITIL …− Implantación de
− Oficinas de Proyectos− Oficinas de Calidad− Modelos de Factoría
− Formación− Las métricas : la Mejora
Gesein: Servicios TI
Asociación Española de Métricas de los Sistemas Informáticos
www.aemes.org
Hasta un total de 50 miembros...
AEMES: Gestión Cuantitativa de las TI
Asociación Española para la Calidad
www.aec.es
COMITÉ DE CSTIC Grupos de Trabajo:
Gestión de Conocimiento y Calidad del Software CMMI para pequeñas organizaciones
Formación CSQE Desayunos de Trabajo
Relaciones Cliente – Proveedor Oportunidades para la Industria Española del
Software
Calidad en los Sistemas y las TIC
Medición automática de puntos función
Proyecto MESURA
QUANTITATIVA
Marco Metodológico para la Gestión Cuantitativa de Proyectos y Procesos Software
Proyecto I+D+i sobre métricas y gestión cuantitativa subvencionado por el Ministerio de Industria, Turismo y Comercio.
Tamaño (PF) vs Esfuerzo (MH)
1,00
10,00
100,00
1.000,00
Puntos Función
Meses H
om
bre
• CMMI /SPICE• ISO 9001 para Software• ISO 20.000 (Gestión del Servicio, ITIL)• ISO 27.001 (Gestión de la Seguridad)
Grupo AEI CalidaddelSoftware.com
Gestión de 4 colectivos
de empresas 2006-2009hasta 63 empresas
ESTIMACIÓN DE PROYECTOS
Pruebas de Carga en VSTS 2010.
El control de calidad en el desarrollo de software
© Carlos Salinas y Ramiro Carballo . GESEIN. 9
− El concepto de calidad de producto software está íntimamente relacionado con los conceptos de control de calidad industrial.
− Es difícil equiparar procesos industriales con la forma de producir software.
− Consiste en la comprobación, al final del ciclo de producción, de que todos los requisitos especificados a priori, son cumplidos por el producto entregado.
− Distintos tipos de pruebas “controlan” el cumplimiento de distintos tipos de requisitos.
Concepto: El Control de Calidad
− Las pruebas:− Son el “Control”− Detectan errores en el producto.− Los errores son el resultado de la ejecución de un
producto con defectos.− Hay que detectar el defecto para resolverlo
(retrabajo).− Los defectos fueron introducidos por fallos en la
construcción.− Las metodologías:
− La garantía (aseguramiento) de la calidad mantiene viva la esperanza de que las incidencias detectadas en futuras pruebas se reducirán en el futuro, incorporando "mejores prácticas" que eviten los fallos que introducen los defectos.
− Es lo que se denomina calidad del proceso.
Control vs Garantía de Calidad
Estándares : Garantía de Calidad
− El control del cumplimiento de los requisitos iniciales requiere diversos tipos de actividades, según los aspectos que cubran: − las pruebas funcionales verifican la lógica de
negocio, − las pruebas de carga verifican la capacidad y
rendimiento del producto en ejecución. − Otros requisitos como la seguridad, la usabilidad, la
accesibilidad o la mantenibilidad deben ser comprobadas a propósito mediante auditorías, análisis de código, etc.
Tipos de pruebas
− Plan de Pruebas: Agrupa el conjunto de peticiones que se ha previsto realizar contra el producto a probar.
− Cada petición puede ejecutarse N veces:− En secuencial− En paralelo (concurrencia)− En un número de ejecuciones en un tiempo máximo
restringido− O por iteraciones que se repiten indefinidamente
− Cada petición tiene por objetivo probar una función esperando un resultado.
− Los resultados pueden influir en decisiones sobre las siguientes pruebas a realizar.
Conceptos básicos: Pruebas Carga.
Tipos−Permiten verificar:
−El correcto funcionamiento de una aplicación
−Su capacidad para absorber un supuesto incremento de carga
−Tres tipos de pruebas con diferentes metas: −Pruebas de carga (load testing)−Pruebas de fatiga (stress testing)−Plan de capacidad (capacity
planning)
Pruebas de carga (load testing)
− Verifica el comportamiento de una aplicación bajo condiciones de carga normal y pico
− Permite conocer si se cumplen los objetivos de rendimiento (SLA).
− Permite medir tiempos de respuesta , capacidad de procesamiento, niveles de utilización de recursos
− Tiene como finalidad identificar puntos de ruptura de la aplicación por debajo de condiciones de pico
Pruebas de fatiga (stress testing)
− Permite evaluar el comportamiento de una aplicación cuando es forzada por encima de su uso habitual o pico
− El objetivo es identificar posibles fallos que aparecen solo bajo condiciones de carga extremas− Problemas de sincronización− Condiciones de carrera− Memory leaks
− Identifica puntos débiles de nuestra aplicación
Capacity Planning
− ¿Qué es?− Capacity planning es el proceso de planificación del crecimiento y
la previsión de los periodos de pico de la aplicación − ¿Qué supone?
− Supone la realización de pruebas de rendimiento en profundidad− Objetivo
− Cumplir los requerimientos de capacidad tanto del sistema como de la aplicación
− Procedimiento a seguir:− Medir el número de ejecuciones y tipo de demanda que
actualmente recibe nuestro aplicativo por parte de los usuarios.− Cálculo de los recursos del sistema utilizados (CPU, RAM, espacio
en disco y ancho de banda de red) que son necesarios para soportarlos actualmente y en el futuro.
− Metodologías para realizar un capacity planning:− Transaction cost analysis− Predictive analysis
Pruebas de Carga: Mejoras
− Control del modelo de carga− Load Test Analyzer mejorado− Manejo de resultados de pruebas de carga
mejorado− Posibilidad de Test Agent y Test Controller− Almacenamiento de resultados en SQL
− Script de creación de BBDD en Program Files\Microsoft Visual Studio 9\Common7\IDE
− Ejecutar:SQLCMD /S localhost\sqlexpress /i
loadtestresultsrepository.sql
Pruebas Carga: Control del modelo de carga − Número total de tests
− Número total de usuarios
− Ritmo de usuarios
Pruebas de Carga: Resultados
− Ventana de resumen de resultados− Tests ejecutados− Resultados globales
Pruebas de Carga: Resultados
− Múltiples gráficos con indicadores claves− Cliente/Frontales/Backend
Pruebas de Carga: Resultados
− Almacenamiento de resultados en BBDD
− Recuperar resultados previos
Visual Studio Team Test Load Agent
− Características− Permite generar carga masiva − Permite simular escenarios reales de carga− Cada PC puede simula aprox.1000 usuarios− Repositorio de información en SQL Server− Integrado con Visual Studio Team Edition for Software
Testers y Team Foundation Server
− http://blogs.msdn.com/vstsloadtestblog/articles/527597.aspx
Referencias
− Team Edition for Testers− http://msdn2.microsoft.com/en-us/library/ms182409(VS.80).aspx
− Introducing Microsoft Visual Studio 2005 Team System Web Testing− http://msdn.microsoft.com/library/default.asp?url=/library/en-us/dnvs05/html/vs05tmsyswebtst.asp
− Web Test Authoring and Debugging Techniques for VS 2008− http://blogs.msdn.com/edglas/archive/2007/12/02/web-test-authoring-and-debugging-techniques-for-vs-2008.aspx
− Considerations for Large Load Tests− http://msdn2.microsoft.com/en-us/library/ms404664(VS.80).aspx
− TN_1300: Advanced Load Testing Features of Visual Studio Team System− http://msdn2.microsoft.com/en-us/teamsystem/aa718897.aspx
Referencias (II)
−Web Tests troubleshootinghttp://msdn.microsoft.com/en-us/library/ms318556.aspx
−Fiddlerhttp://www.fiddler2.com/Fiddler2/version.asp
−Web and Load Test Plugins for Visual Studio Team Test http://www.codeplex.com/TeamTestPlugins
−Advanced Web Test Taskshttp://msdn.microsoft.com/en-us/library/ms182553.aspx
How to: Schedule Test Runshttp://msdn.microsoft.com/en-us/library/ms243181(VS.80).aspx
Pruebas de Carga
Carlos SalinasRamiro CarballoGESEINAlfonso Gómez, 4228037 MadridTlf: +34 [email protected]