3 tecnicas modernas programacion

*VALIDACIN Y USABILIDAD DE SISTEMAS INFORMTICOS(1 Parte)Curso de DoctoradoDistinguido con la Mencin de Calidad

Vicente Moret BonilloEduardo Mosqueira ReyElena Hernndez Pereira

*VALIDACIN Y USABILIDAD DE SISTEMAS INFORMTICOSFORMATO DEL CURSOPrimera parteAspectos generales de la validacin y el anlisis de usabilidad de sistemas informticosVicente Moret BonilloSegunda parteEstudio de tcnicas de validacin de sistemas informticosEduardo Mosqueira ReyTercera parteAnlisis de tcnicas de usabilidad de sistemas informticosElena Mara Hernndez Pereira

*VALIDACIN Y USABILIDAD DE SISTEMAS INFORMTICOSAlgunas diferencias entre sistemas inteligentes y sistemas convencionales

Sistemas ExpertosSoftware convencionalEstructuraSeparacin del conocimiento de las estructuras de controlSeparacin de datos y algoritmos que utilizan los datosSuelen incluir estructuras de explicacin de las conclusionesNo existen estructuras de explicacinSe suelen construir a partir de herramientas (shells) comerciales que permiten centrarse en el conocimientoExisten gestores de bases de datos que nos permiten centrarnos exclusivamente en los datos y no en su almacenamiento o estructuracinProblemas apropiadosProblemas mal definidos, que no pueden ser especificados con precisin y que son resueltos utilizando conocimiento heurstico.Problemas bien definidos, que pueden ser especificados sin ambigedad y que son resueltos por algoritmos especficos.Generalmente dominios sin experiencia computacionalGeneralmente dominios con experiencia computacionalEstrategias de resolucinMtodos declarativos y no determinsticosMtodos procedimentales y determinsticosIntentan seguir lneas de razonamiento similares a las de los expertos humanosSe centran en la solucin y no en la forma en que se obtiene.Interpretan datosManipulan datosTienen en cuenta aspectos como la abstraccin, la incertidumbre, el aprendizaje, etc.Resuelven problemas a travs del manejo de informacin almacenada en bases de datos y mediante procesos predecibles, fiables y exactos.Son altamente interactivosNo siempre es necesaria la interactividadNaturaleza del conocimiento empleadoConocimiento proveniente de la experiencia humana (alta interaccin con expertos)Conocimiento de naturaleza algortmica (alta interaccin con usuarios)Tipo de informacin utilizadaInformacin numrica y simblicaInformacin numricaInformacin con incertidumbreInformacin sin incertidumbre

*VALIDACIN Y USABILIDAD DE SISTEMAS INFORMTICOSLas caractersticas diferenciales, estructurales y funcionales de los sistemas inteligentes condicionan enormemente los procesos de validacin, pero no tanto los anlisis de usabilidad

Los problemas ms importantes que debe resolver un ingeniero de conocimiento cuando se plantea el diseo y construccin de un sistema inteligente son:Adquisicin del conocimientoRepresentacin del conocimientoEleccin del modelo de razonamiento adecuado

*VALIDACIN Y USABILIDAD DE SISTEMAS INFORMTICOSAlgunas tcnicas tiles para la adquisicin de conocimiento

1

Experto

humano

Experto

humano

Automticos

4

Semi-automticos

Manuales

Ejemplos y

casos histricos

2

Ingeniero del conocimiento

MODO DE ADQUISICIN

FUENTE DE CONOCIMIENTO

Programa de comprensin de textos

Programa de induccin

Textos

3

5

Textos

Programa inteligente de edicin

*VALIDACIN Y USABILIDAD DE SISTEMAS INFORMTICOSAprendizaje automticoTcnica automtica de adquisicin que implica:Recoleccin de ejemplos o casos histricosSuministrados por el colectivo de expertos humanosObtenidos directamente a partir de las fuentes bibliogrficasUtilizacin de un programa de induccinObtencin de heursticasExtraccin de reglasVentajaLos expertos, aunque tienen problemas para explicar cmo hacen las cosas, suelen encontrarse cmodos cuando de lo que se trata es de interpretar ejemplosInconvenienteLa interaccin con el experto es siempre imprescindibleConocimientos de paradigmas de programacin clsicaConocimientos de psicologa cognoscitivaConocimientos de programacin simblica

*VALIDACIN Y USABILIDAD DE SISTEMAS INFORMTICOSLa subjetividad afecta de manera importante a la validacin de sistemas inteligentes

El rbitro que tiene que decidir sobre el grado de correccin del sistema inteligente es el colectivo de expertos humanos

Pero quin valida al validador?

Cuestin abierta para el debate

*VALIDACIN Y USABILIDAD DE SISTEMAS INFORMTICOSEl problema del paradigma de representacin del conocimientomtodos declarativos?mtodos procedimentales?ambos tipos de mtodos?Norma generalLos sistemas que combinan las capacidades de representacin de los mtodos declarativos, con las capacidades inferenciales de los mtodos procedimentales, suelen ser ms flexibles, ms eficaces, y ms eficientesEl esquema de representacin elegido est estrechamente relacionado con el mecanismo de razonamiento adecuadoLos procesos de razonamiento influyen sobre el paradigma de representacinEl paradigma de representacin influye sobre los procesos de razonamiento

*VALIDACIN Y USABILIDAD DE SISTEMAS INFORMTICOSEL PROBLEMA DEL DESPLAZAMIENTO DEL PARADIGMA

Herramienta 1

Paradigma 1

Herramienta 2

Esquema

1

Desarrollo

incremental

Retraso en el proyecto

Paradigma 2

Desarrollo

incremental

Esquema

2

Paradigmas inapropiados

Cambio de paradigmas

Continuar sin cambios

Dificultades en el diseo

*VALIDACIN Y USABILIDAD DE SISTEMAS INFORMTICOSEL PROBLEMA DEL DESPLAZAMIENTO DEL PARADIGMASurge cuando en la fase de desarrollo se detecta que alguno de los esquemas de representacin, modelos de razonamiento, o entornos de programacin elegidos elegidos no son adecuadosDebemos continuar el desarrollo con infraestructuras no adecuadas?que complicarn el proceso de validacin y el anlisis de usabilidadDebemos replantear el proyecto?Retraso del proyecto y prdidas econmicasSi el desplazamiento del paradigma ocurre en etapas tempranas, puede se beneficioso, ya que permite ajustar y optimizar las tcnicas de desarrollo

*VALIDACIN Y USABILIDAD DE SISTEMAS INFORMTICOSEleccin del modelo de razonamientoLos modelos de razonamiento forman parte de las estructuras de control del conocimientoSon fundamentales para organizar la bsqueda de soluciones en el espacio de estadosLas caractersticas del dominio y las caractersticas del problema condicionan la eleccin del modelo de razonamiento

DOMINIOSMODELOSEJEMPLOSSimblicosCategricosEstadsticosEstadsticosBayes, redes de creenciaInciertosCuasi-estadsticosFCs, Dempster-ShaferLingsticosdifusos

*VALIDACIN Y USABILIDAD DE SISTEMAS INFORMTICOSLa inexactitud del conocimiento, implementado o inferido, puede aparecer por diversas causas:Falta de informacinDatos no disponibles en un momento dadoDatos ambiguosErrores en las medidas de los datosMedidas contradictoriasImprecisinInconsistenciaEstimacionesCondiciones excepcionales no observadas

*VALIDACIN Y USABILIDAD DE SISTEMAS INFORMTICOSEn los procesos de validacin tendremos que considerar:Aspectos relacionados con la representacin del conocimiento inexactoCuestiones relativas a la forma de tratar con informacin imprecisaAspectos relacionados con los mecanismos segn los cuales podemos inferir conocimiento a partir de datos inciertos

*METODOLOGAS DE DESARROLLOPrincipios generales de desarrolloDesarrollo del sistema mediante un ciclo de vida dividido en fasesVerificar el sistema y validar los resultados en cada faseMantener controlado el desarrollo del producto a travs de hitos o puntos de controlUtilizar tcnicas modernas de programacin como herramientas CASE y anlisis estructuradosMantener una descripcin detallada de la situacin del proyecto en cada momentoOptimizar el personal dedicado al desarrollo: poco pero con experienciaMejorar el proceso adoptando diferentes mtodos y tcnicas

*METODOLOGAS DE DESARROLLOAlgunos ejemplos de metodologas:

Adquiere y codificaMtodo de BuchananDiseo incrementalMtodo de Gonzlez-DankelMtodo de ScottDesarrollo en espiral

*ADQUIERE Y CODIFICASimilar al procedimiento de codifica y corrigeNo sigue un esquema precisoEl sistema se desarrolla en base a una serie de iteraciones en las que se interacta con el experto y se codifica el conocimiento extradoSlo se cumplen dos de los principios generales de desarrollo:Validacin continuaUtilizacin de equipos de trabajo pequeos

*METODOLOGA DE DESARROLLO DE BUCHANAN

Prueba

Implementacin

Formalizacin

Conceptualizacin

Requisitos

Conceptos

Identificacin

Estructuras

Reglas

Refinamientos

Rediseos

Reformulaciones

*METODOLOGA DE DESARROLLO DE BUCHANANIdentificacinSe reconocen aspectos importantes del problema:ParticipantesExpertos del dominioIngenieros de conocimientoUsuariosCaractersticas del problemaTipoSubtareasTerminologaRecursos disponiblesFuentes de conocimientoRecursos computacionalesTiempo de desarrolloFinanciacinMetasFormalizacin del conocimiento del expertoDistribucin de experienciaFormacin de nuevos expertos

*METODOLOGA DE DESARROLLO DE BUCHANANConceptualizacinOrganizacin del conocimiento segn un esquema conceptualBsqueda de conceptos que representen el conocimiento del expertoIdentificacin del flujo de informacin durante el proceso de resolucin de problemas

*METODOLOGA DE DESARROLLO DE BUCHANANFormalizacinProceso de traduccin deConceptos claveSubproblemasCaractersticas del flujo de informacinConstruccin de representaciones formales basadas enHerramientas de desarrolloEsquemas de ingeniera del conocimiento

*METODOLOGA DE DESARROLLO DE BUCHANANElicitacinExtraccin del conocimientoSoporte fsicoProceso consistente con la informacin obtenida en fases anteriores:Identificacinconceptualizacin

*METODOLOGA DE DESARROLLO DE BUCHANANImplementacinFormulacin de reglasFormulacin de estructuras de controlObtencin de un prototipoPermite comprobar si hemos conceptualizado bien el conocimiento del dominioPermite comprobar si hemos formalizado bien el conocimiento del dominio

*METODOLOGA DE DESARROLLO DE BUCHANANPruebaEvaluacin del rendimiento del prototipo construidoIdentificacin de erroresIdentificacin de anomalas enBase de conocimientosMecanismos de inferencia

*METODOLOGA DE DESARROLLO DE BUCHANANLos lazos de realimentacin no tienen por qu seguir estrictamente la secuencia del esquema propuesto por BuchananLas retroalimentaciones pueden aparecer entre cualquier par de fases de la metodologa

Prueba

Implementacin

Formalizacin

Conceptualizacin

Identificacin

*METODOLOGA DE DESARROLLO INCREMENTALDesarrollo iterativo de sistemasProceso cclico de desarrolloEn cada ciclo se efecta un refinamientoProceso de depuracin de errores en la base de conocimientosEn cada ciclo se efecta una extensin del sistemaAmpliacin de las capacidades del mismoEl modelo de desarrollo en cascada no est muerto pero debera estarlo

*METODOLOGA DE DESARROLLO DE GONZLEZ-DANKEL

Diseo final

Evaluacin

Prototipo inicial

Diseo preliminar

Especificacin

Anlisis

Mantenimiento

Prueba (V&V)

Implementacin

Ajuste del diseo

*METODOLOGA DE DESARROLLO DE GONZLEZ-DANKELModelo de desarrollo que incorpora prototipado rpido y desarrollo incrementalFases:Anlisis del problemaEstudios coste-beneficio y anlisis de mercadosEspecificacin de requisitosDefinicin de objetivos del proyecto y seleccin de mediosDiseo preliminarDecisiones de alto nivel para el prototipo inicialEsquema de representacin, herramienta y expertosPrototipado inicial y evaluacinEl prototipo es una versin con funcionalidad limitada del producto finalDiseo finalMdulos del sistema, entradas y salidasImplementacinPruebaFase de verificacin-validacinAjuste de diseo y mantenimientoPueden aparecer desplazamientos del paradigma

*METODOLOGA DE DESARROLLO DE SCOTTSe divide en 4 fases:Fase de anlisisSe investiga la viabilidad del proyectoFase de especificacinSe inicia el proyecto y de fijan las bases del desarrolloFase de desarrolloSe realiza el diseo y se implementa el sistemaFase de utilizacinSe habilita el sistema para su uso rutinario

*METODOLOGA DE DESARROLLO DE SCOTT

Seguir el diseo de implementacin para construir la base de conocimientos

Decidir la representacin del conocimiento y los formalismos de control para implementar el modelo conceptual

Aprender cmo el experto resuelve el problema y desarrollar un modelo conceptual del sistema

Definir lo que har el sistema. Trabajar con el experto para planificar el desarrollo.

UTILIZACIN

Identificacin

DESARROLLO

ESPECIFICACIN

ANLISIS

Comprobacin de la adecuacin de las tcnicas de ingeniera del conocimiento

Valoracin

Familiarizacin

Diseo conceptual

Diseo de implementacin

Implementacin

Mantenimiento

Pruebas de campo

Evaluacin

Comprobar si el sistema funciona correctamente

Refinamiento

y extensin

Identificacin de la potencial aplicacin

Instalar el sistema en el dominio de uso rutinario

Corregir errores, actualizar y aumentar el sistema

*METODOLOGA DE DESARROLLO DE SCOTTPrototipado rpido y desarrollo incrementalLos prototipos construidos son una ayuda para el proceso de adquisicin del conocimientoLa fase de utilizacin empieza cuando el sistema se instala en el entorno en que se usar de forma rutinariaLa fase de mantenimiento posterior puede evidenciar errores, que hay que corregir, o recoger sugerencias de los usuarios, que hay que implementar

*METODOLOGA DE DESARROLLO DE SCOTTLas caractersticas de esta metodologa son muy parecidas a las de la metodologa de Gonzlez-DankelLa metodologa de Scott pone especial nfasis en la adquisicin del conocimientoLa adquisicin del conocimiento est presente en todo el proceso

*METODOLOGA DE DESARROLLO DE SCOTTDos fases tpicas en el proceso de adquisicin del conocimiento:Adquisicin inicialFase preparatoria en la que la informacin obtenida nos permite tener un conocimiento ms amplio de lo que debe hacer el sistema, de cmo va a ser usado, y de cmo hay que desarrollarloAparece en el anlisis y en la especificacinAdquisicin detalladaEl foco de atencin es ms estrecho y profundo. El proceso es mucho ms detallado. Permite la comprensin del modus operandi de los expertos.Aparece en el desarrollo y en la utilizacin.

*METODOLOGA DE DESARROLLO EN ESPIRAL

VR

VR

VR

VR

Prototipo de campo

Prototipo de investigacin

AR

Modelo de produccin

Validacin

AR

Verificacin

Prototipado

Recoleccin

de datos

AC

Anlisis de Requisitos (AR)

AR

Casos de Test

Test de

campo

Verificacin

Grupo de control

Prot. de-mostracin

Fijar un nivel aceptable de rendimiento(NAR)

AC

Verificacin de Requisitos (VR)

Adquisicin del conocimiento (AC)

AC

AC

AR

NAR

NAR

NAR

NAR

Inicio del ciclo

*METODOLOGA DE DESARROLLO EN ESPIRALProceso dividido en 4 fases:

Anlisis de requisitos

Es de utilidad el sistema?Cul es el problema que hay que resolver?Quines son los usuarios potenciales?Cul es el impacto previsto del sistema en la organizacin?


Adquisicin del conocimiento

El conocimiento extrado de una determinada fuente, y posteriormente transformado en un esquema de representacin dado, debe ser verificado


PrototipadoEl desarrollo incremental a travs de una serie de prototipos permite que en cada ciclo se fijen los requisitos apropiadosPara que un prototipo sea til hay que validarloLas tcnicas de verificacin y de validacin van a depender de:Las caractersticas del sistemaLas caractersticas del dominio de aplicacinLa etapa de desarrollo en que nos encontremos


Implementacin y mantenimientoUna vez desarrollado el prototipo podemosUtilizarlo como fuente de especificacionesHacer evolucionar el prototipo hasta convertirlo en un sistema de produccin operativoCuando el sistema est operativoTenemos que monitorizarloTenemos que comprobar su concordancia con los requisitosTenemos que documentar su utilizacin en el entorno de trabajoEl mantenimiento exigeRealizar tareas de validacinDetectar inconsistenciasAsegurar la robustez del sistema

*TIPOS DE PROTOTIPOS

Prototipo de demostracinPrototipo de investigacinPrototipo de campoModelo de produccinSistema comercial

*VALIDACIN Y USABILIDAD DE SISTEMAS INFORMTICOS

Evaluacin

Validacin

Verificacin

*VALIDACIN Y USABILIDAD DE SISTEMAS INFORMTICOSVerificacin:Comprobacin de que estamos construyendo el sistema correctamenteComprobar que el sistema no contiene errores de implementacinComprobar que el sistema cumple con las especificaciones inicialmente definidas

*VALIDACIN Y USABILIDAD DE SISTEMAS INFORMTICOSValidacin:Comprobacin de que estamos construyendo el sistema correctoComprobar que el sistema produce la salida correctaComprobar que el sistema cumple con las necesidades y los requisitos del usuario

*VALIDACIN Y USABILIDAD DE SISTEMAS INFORMTICOSEvaluacin:Anlisis de aspectos que van ms all de la correccin de las soluciones finalesAnlisis de utilidadAnlisis de robustezAnlisis de velocidadAnlisis de eficienciaPosibilidades de ampliacinFacilidad de manejo

*VERIFICACIN DE SISTEMASVerificacin del cumplimiento de las especificacionesVerificacin de los mecanismos de inferenciaVerificacin de la base de conocimientosVerificacin de consistenciaVerificacin de la completitudInfluencia de las medidas de incertidumbre

*VERIFICACIN DEL CUMPLIMIENTO DE LAS ESPECIFICACIONESPersonal potencialmente involucrado:DesarrolladoresUsuariosExpertosGrupo de evaluadores independientesAspectos a considerar:Paradigma de representacinTcnica de razonamientoDiseo modularConexin adecuada con software externoEspecificaciones del interfaz de usuarioCapacidades de explicacinRequisito de rendimiento en tiempo realFacilidad de mantenimiento del sistemaVerificacin de las especificaciones de seguridadNivel de proteccin de la base de conocimientos

*VERIFICACIN DE LOS MECANISMOS DE INFERENCIAPierde importancia con la utilizacin de entornos de desarrollo comercialesEl problema se transfiere hacia la eleccin de la herramienta adecuadaExcepciones:Dominios crticosDesconocimiento sobre el funcionamiento exacto de la herramientaLos procedimientos de resolucin de conflictos o los procesos de bsqueda implementados pueden dificultar el seguimiento de los mecanismos de inferencia

*VERIFICACIN DE LA BASE DE CONOCIMIENTOSEs responsabilidad del ingeniero del sistemaGeneralmente se basa en el concepto de anomalasUna anomala es un uso extrao del esquema de representacin del conocimientoUna anomala debe ser considerada como un error potencialHay anomalas que resultan de erroresHay anomalas que no constituyen errores

*VERIFICACIN DE LA CONSISTENCIA DE LA BASE DE CONOCIMIENTOSReglas redundantesRedundancias sintcticasP (x) y Q (x) R (x)Q (x) y P (x) R (x)Redundancias semnticasPremisas o conclusiones de una regla no son idnticas en la sintaxis, pero s lo son en el significadoP (x) y Q (x) R (x) = TormentaQ (x) y P (x) R (x) = Actividad elctricaLas redundancias no siempre causan problemas lgicos, aunque pueden afectar a la eficiencia del sistemaPueden aparecer problemas cuando en una eventual revisin del sistema se cambie una regla pero no la otra

*VERIFICACIN DE LA CONSISTENCIA DE LA BASE DE CONOCIMIENTOSReglas conflictivasPremisas idnticas pero conclusiones contradictoriasP (x) y Q (x) R (x)P (x) y Q (x) not R (x)Aparecen peculiaridades cuando utilizamos algunos modelos de tratamiento del conocimiento inexacto, o cuando hay parmetros multivaluados

*VERIFICACIN DE LA CONSISTENCIA DE LA BASE DE CONOCIMIENTOSReglas englobadas en otrasP (x) y Q (x) R (x)P (x) R (x)No tiene por qu ser una anomalaHay que definir una estrategia adecuada de resolucin de conflictosNormalmente la eficiencia del sistema se incrementa con el empleo de reglas ms restrictivas

*VERIFICACIN DE LA CONSISTENCIA DE LA BASE DE CONOCIMIENTOSReglas circularesP (x) Q (x)Q (x) R (x)R (x) P (x)Condiciones IF innecesariasCaso AP (x) y Q (x) R (x)P (x) y not Q (x) R (x)SolucinP (x) R (x)Caso BP (x) y Q (x) R (x)Not Q (x) R (x)SolucinP (x) R (x)Not Q (x) R (x)

*VERIFICACIN DE LA COMPLETITUD DE LA BASE DE CONOCIMIENTOSValores no referenciados de atributosParte del conocimiento declarativo no est representado en el conocimiento procedimental

Valores ilegales de atributos

Reglas inalcanzablesSituacin relacionada con la direccin de la bsquedaSDO:La conclusin de una regla no aparece como objetivo y no aparece como parte de la premisa de otra reglaSDD:La premisa de una regla no puede ser obtenida del exterior y no aparece como conclusin de ninguna regla

Reglas sin salidaUna regla inalcanzable para un SDO es una regla sin salida para un SDDUna regla inalcanzable para un SDD es una regla sin salida para un SDO

*INFLUENCIA DE LAS MEDIDAS DE INCERTIDUMBRERedundanciaEn sistemas sin incertidumbre la redundancia no tiene por qu afectar a la salida del sistemaEn sistemas con incertidumbre la redundancia puede causar graves problemas, al modificarse el peso evidencial de las conclusionesReglas englobadas en otrasPuede ser una situacin perfectamente admisible. Dos reglas pueden concluir lo mismo con distinta potencia evidencialCondiciones IF innecesariasMismo caso que el anteriorReglas circularesLa utilizacin de medidas de incertidumbre puede romper la circularidad. Por ejemplo, si la confianza de una conclusin cae por debajo de un umbralReglas sin salidaSu deteccin se complica cuando manejamos incertidumbre. Una regla puede convertirse en sin salida cuando su conclusin tiene una certidumbre por debajo del umbral establecido como conocido o significativoReglas inalcanzablesMismo caso que el anterior

*ASPECTOS GENERALES DE LA VALIDACIN DE SISTEMASValidarComprobar que estamos construyendo el producto correctoExaminar la validez de los resultadosConstatar el cumplimiento de las necesidades definidasConstatar el cumplimiento de los requisitos de usuarioTiposValidacin orientada a los resultados (VOR)Validacin orientada al uso (VOU)Assessment o Valoracin

*ASPECTOS GENERALES DE LA VALIDACIN DE SISTEMASLa validacin orientada a los resultados es previa a la validacin orientada al usoLa validacin orientada al uso est cercana a los estudios de usabilidadCaractersticas importantes VOR:Personal involucrado en el procesoPartes del sistema que deben ser validadasCasustica de la validacinCriterios de validacinMomento en que se realiza la validacinMtodos de validacinErrores cometidos en la validacin

*PERSONAL INVOLUCRADO EN LA VALIDACINLa falacia del superhombre:Se le suele exigir ms al sistema inteligente que al experto humano, sin tener en cuenta que el conocimiento del sistema inteligente es un modelo computacional del conocimiento de los expertos humanos

Experto

humano

Ingeniero del conocimiento

Validacin del sistema

Evaluadores independientes

Usuarios finales

*PARTES DEL SISTEMA QUE DEBEN SER VALIDADASResultados finalesPerformance general del sistemaResultados intermediosDescripcin del funcionamiento interno del sistemaPermite corregir errores cometidosRazonamiento seguidoUn proceso de razonamiento incorrecto puede ser fuente de errores cuando queramos ampliar la base de conocimientos del sistemaTenemos que disear sistemas que piensen como lo hara un experto humano tambin en la forma

*PARTES DEL SISTEMA QUE DEBEN SER VALIDADASAnalizando los resultados intermedios comprobamos que hay un error en la interpretacin del pCO2

Gasometras

pCO2= 48 mmHg

pH= 7.32

[HCO3](= 17 mg / l

Datos

Contexto

No presenta fallo renal

Resultado

(Balance cido-base)

ACIDOSIS METABLICA

Valor esperado

ACIDOSIS METABLICA Y RESPIRATORIA

(

Paciente

Razonamiento

SISTEMA EXPERTO

*PARTES DEL SISTEMA QUE DEBEN SER VALIDADASCorregido el error, las conclusiones son ahora correctasPero persiste todava un error que no detectamos si no seguimos el proceso de razonamiento, y si no se nos presenta, durante la validacin, el caso de un fallo renal

Razonamiento final

IF pCO2 > 50 mmHg THEN Estado_pCO2 = ALTO

(

IF pCO2 > 46 mmHg THEN Estado_pCO2 = ALTO

Resultado

(Balance cido-base)


Valor esperado


=

Resultados intermedios

Estado_pCO2 = Normal

( Alto

Estado_pH = Bajo

Estado_HCO3 = Bajo

Razonamiento previo

Contexto


SISTEMA EXPERTO

Gasometras

pCO2= 48 mmHg

pH= 7.32

[HCO3](= 17 mg / l

*PARTES DEL SISTEMA QUE DEBEN SER VALIDADAS

Razonamiento final

Contexto


Resultado

(Balance cido-base)


Valor esperado


=

Resultados intermedios

Estado_pCO2 = Alto

Estado_pH = Bajo

Estado_HCO3 = Bajo

Razonamiento previo

IF [HCO3]( < 18 mg / l THEN Estado_HCO3 = BAJO

(

IF (([HCO3]( < 18 mg / l) and (no Fallo Renal)) or

(([HCO3]( < 16 mg / l) and (Fallo Renal))

THEN Estado_HCO3 = BAJO

SISTEMA EXPERTO

Gasometras

pCO2= 48 mmHg

pH= 7.32

[HCO3](= 17 mg / l

*CASUSTICA DE LA VALIDACINDos tipos de datosLos que incluyan las caractersticas de cada caso particularUn criterio que permita identificar el tipo de caso que estamos tratandoLa muestra debe serSuficienteSuficientemente representativaProcesoObtencin de la casustica de validacinTransferencia de los datos al sistema que ha de interpretarlosResultados y criterios son la entrada del proceso de validacin en el que se analiza el rendimiento del sistema

*VALIDACIN CONTRA EL EXPERTOSe utilizan las opiniones y las interpretaciones de los expertos humanos como criterio de validacinPuede haber discrepancias entre expertos o sesgos en este tipo de validacinFactores externos: estrs,Pueden no ser independientesPueden ser ambiguosPueden pertenecer a distintas escuelas de pensamientoPueden tener sus propias ideas sobre el sistema que estn validando y, por lo tanto, no ser objetivos

*VALIDACIN CONTRA EL EXPERTOHay tres procedimientos diferentes:Validacin contra un nico expertoVentajasSuele haber al menos un experto disponibleInconvenientesLa validacin puede no ser fiableValidacin contra un grupo de expertosVentajasNo estamos supeditados a una nica opininPermite comparar el grado de consistencia entre expertos del dominioInconvenientesLos expertos no son todos iguales: Cmo medir el rendimiento del sistema?Validacin contra un consenso de expertosVentajasEn teora es el mtodo ms objetivo y fiableInconvenientesPuede haber un experto especialmente influyenteCmo se mide el consenso?

*VALIDACIN CONTRA EL PROBLEMANuestro sistema: acierta realmente, o resuelve convenientemente, el problema planteado?VentajasMtodo completamente objetivoLa solucin real puede verse en el problemaSi nuestro sistema discrepa con el experto humano, pero coincide con la respuesta del problema, la credibilidad del sistema aumentaInconvenientesFalacia del superhombreNo siempre puede realizarse una validacin contra el problema

*MOMENTO EN QUE SE REALIZA LA VALIDACINBachant y McDermottValidar un sistema que no est terminado puede no ser tilLas interpretaciones del sistema pueden no ser correctas si no est implementado todo el conocimientoBuchanan y ShortliffeLa validacin del sistema debe estar presente a lo largo de todo su ciclo de desarrolloAspectos relacionadosValidacin retrospectivaSobre casos histricos ya resueltos y almacenadosValidacin prospectivaSobre casos reales todava no resueltos y anlisis de las interpretaciones propuestas

*MTODOS DE VALIDACINMtodos cualitativosEmplean tcnicas subjetivas de comparacin de rendimientosValidacin superficialPruebas de TuringPruebas de campoValidacin de subsistemasAnlisis de sensibilidadGrupos de controlMtodos cuantitativosEmplean tcnicas estadsticas de comparacin de rendimientosMedidas de paresMedidas de grupoRatios de acuerdo

*MTODOS DE VALIDACINMedidas de paresMedidas de acuerdondice de acuerdondice de acuerdo en unoKappaKappa ponderadaMedidas de asociacinTau de KendallTau B de KendallRho de SpearmanGamma de Goodman-KruskalMedidas de grupoMedidas de WilliamsAnlisis clsterEscalamiento multidimensionalMedidas de dispersin y tendenciasRatios de acuerdoSensibilidadEspecificidadValor predictivo positivoValos predictivo negativondice de acuerdoMedida de Jaccard

*OTRAS MEDIDASCoeficientes de exactitudDistancias aritmticasCurvas ROC

*ERRORES COMETIDOS EN LA VALIDACINErrores de comisinErrores por omisin

Sistema vlidoSistema no vlidoSistema aceptado como vlidoDECISIN CORRECTAERROR TIPO IIRiesgo para usuarioSistema no aceptado como vlidoERROR TIPO IRiesgo para ingenieroDECISIN CORRECTA

*Un ejemplo de validacin

*Un ejemplo de validacinValidacin3Dominio UCI:No es fcil establecer referencias estndarNunca podramos asegurar que las interpretaciones y prescripciones de un experto sigan siempre los mismos principiosEl estrs y el entorno contribuyen a desvirtuar comportamientosPueden aparecer soluciones equivalentes aunque no idnticas

*Un ejemplo de validacinCriterios con carcter general:

Si el dominio de aplicacin es un dominio crtico, en el que no es posible reconsiderar decisiones una vez han sido tomadas, entonces los mtodos prospectivos no son apropiados.

Evidentemente, si no existe una referencia estndar, o si tal referencia es muy difcil de obtener, la validacin debe llevarse a cabo sin tales consideraciones.

Si la salida del sistema es un conjunto de interpretaciones que estn lingsticamente etiquetadas segn una escala ordinal, entonces podemos considerar el uso de medidas cuantitativas, como ndices de concordancia o medidas Kappa.

*Un ejemplo de validacinEsquema de la validacin formal de PATRICIA

Contexto retrospectivo

Con medidas de pares y tcnicas cuantitativas

Efectuar un anlisis de grupo tratando de identificar referencias estndar, y posicionando a PATRICIA dentro del grupo de expertos colaboradores.

*Un ejemplo de validacinEtapas:Labores de interpretacinOXIGENACIONBALANCE ACIDO-BASERESPIRACION ENDOGENAPRESION ARTERIALFRECUENCIA CARDIACA

Labores de sugerencias teraputicasMANEJO OXIGENATORIOMANEJO VENTILATORIO

*Un ejemplo de validacinMedidas realizadas:Indices de concordancia entre expertos (incluido el sistema)Indices de concordancia en unoIndices kappaIndices kappa ponderadaMedidas de WilliamsAnlisis Clster

*Un ejemplo de validacinBalance cido-Base

*USABILIDAD DE SISTEMASMtodos heursticosTcnicas heursticas, desarrolladas por expertos, que analizan los interfaces de los mdulos, evalan su arquitectura y determinan sus puntos fuertes y dbiles desde la perspectiva del usuarioMtodos subjetivosObtienen informacin de los usuarios sobre prototipos operativos del prototipo en desarrollo (observacin directa, cuestionarios, entrevistas, grupos de control,)Mtodos empricosObtencin de datos objetivos acerca de cmo los usuarios utilizan el sistema

*MTODOS HEURSTICOSAnlisis del sistema y deteccin de problemas de amigabilidad y calidad

Cuestionarios ergonmicos

Inspeccin de interfaces

Evaluacin de la navegacin

Anlisis formales

*MTODOS SUBJETIVOSConocimiento de la opinin de los usuarios sobre la propia usabilidad del sistema

Pensar en alto

Observacin

Cuestionarios

Entrevistas

Grupos de control

Retroalimentacin con el usuario

*EJEMPLOS DE CUESTIONARIOS CERRADOS

Puede realizarse ...?

Escala simple

Escala multipunto

Escala de Lickert

Escala diferencial semntica

Escala de orden

PEGAR

NO

NO

NS/NC

Est de acuerdo con ...?

Completamente

de acuerdo

Completamente en desacuerdo

En desacuerdo

Ligeramente en desacuerdo

Neutral

Ligeramente de acuerdo

De acuerdo

Completamente de acuerdo

Completamente en desacuerdo

Est de acuerdo con ...?

Clasifica el mdulo ... de acuerdo a los siguientes parmetros

Fcil

Bastante

Ligeramente

Extremada-mente

Neutral

Ligeramente

Bastante

Extremada-mente

Difcil

Confuso

Claro

Ordena los siguientes comandos segn su utilidad

AGRUPAR

DUPLICAR

BORRAR

SI

*MTODOS EMPRICOSSe trata de sacar conclusiones basadas en datos objetivos obtenidos sobre cmo los usuarios utilizan el sistema

ExactitudNmero de errores provocados durante un determinado lapso de tiempo

VelocidadCeleridad en la interaccin con el sistema

Exactitud y velocidad son magnitudes inversamente proporcionales

*MEDIDAS OBJETIVAS DE USABILIDADNmero de tareas diversas que pueden realizarse en un determinado periodo de tiempo

Proporcin entre interacciones correctas y errores

Nmero de errores cometidos por el usuario

Tiempo consumido en la realizacin de una tarea especfica

Tiempo consumido en la recuperacin de errores

Nmero de caractersticas del sistema que son utilizadas por los usuarios

*RESUMENVerificacin, validacin y anlisis de usabilidad son fundamentales para desarrollar software de calidadEstas fases deben formar parte del ciclo de desarrollo del sistemaLas metodologas de desarrollo y diseo deben incluir explcita y especficamente la ubicacin idnea de las tareas de verificacin, validacin y usabilidadLa realizacin de estas tareas requiere el dominio de tcnicas especficasLa evaluacin de sistemas debe ser contemplada como un proceso global de anlisis de la performance del sistema en cuestin

3 tecnicas modernas programacion

Documents