validación cruzada

5

Click here to load reader

Upload: agustin-fuentes

Post on 18-Nov-2015

213 views

Category:

Documents


3 download

DESCRIPTION

descripción del proceso de validación cruzada en minería de datos

TRANSCRIPT

  • Validacin cruzada

    La validacin cruzada o cross-validation es una tcnicautilizada para evaluar los resultados de un anlisis estads-tico y garantizar que son independientes de la particinentre datos de entrenamiento y prueba. Consiste en repe-tir y calcular la media aritmtica obtenida de las medidasde evaluacin sobre diferentes particiones. Se utiliza enentornos donde el objetivo principal es la prediccin y sequiere estimar cmo de preciso es un modelo que se lle-var a cabo a la prctica.[1] Es una tcnica muy utilizadaen proyectos de inteligencia artificial para validar mode-los generados.

    Esquema k-fold cross validation, con k=4 y un soloclasificador.[2]

    1 Contexto

    La validacin cruzada proviene de la mejora del mtodode retencin o holdout method. Este consiste en dividiren dos conjuntos complementarios los datos de muestra,realizar el anlisis de un subconjunto (denominado da-tos de entrenamiento o training set), y validar el anlisisen el otro subconjunto (denominado datos de prueba otest set), de forma que la funcin de aproximacin slo seajusta con el conjunto de datos de entrenamiento y a par-tir de aqu calcula los valores de salida para el conjuntode datos de prueba (valores que no ha analizado antes).La ventaja de este mtodo es que es muy rpido a la horade computar. Sin embargo, este mtodo no es demasiadopreciso debido a la variacin del resultados obtenidos pa-ra diferentes datos de entrenamiento. La evaluacin pue-de depender en gran medida de cmo es la divisin entredatos de entrenamiento y de prueba, y por lo tanto pue-de ser significativamente diferente en funcin de cmo se

    realice esta divisin. Debido a estas carencias aparece elconcepto de validacin cruzada.[3]

    Mtodo de retencin

    2 Objetivo de la validacin cruzada

    Suponemos que tenemos un modelo con uno o msparmetros de ajuste desconocidos y unos datos de en-trenamiento que queremos analizar. El proceso de ajus-te optimiza los parmetros del modelo para que ste seajuste a los datos de entrenamiento tan bien como pue-da. Si cogemos una muestra independiente como dato deprueba (validacin), del mismo grupo que los datos deentrenamiento, normalmente el modelo no se ajustar alos datos de prueba igual de bien que a los datos de en-trenamiento. Esto se denomina sobreajuste y acostumbraa pasar cuando el tamao de los datos de entrenamientoes pequeo o cuando el nmero de parmetros del mo-delo es grande. La validacin cruzada es una manera depredecir el ajuste de un modelo a un hipottico conjuntode datos de prueba cuando no disponemos del conjuntoexplcito de datos de prueba.[4]

    3 Tipos de validaciones cruzadas

    3.1 Validacin cruzada de K iteraciones

    En la validacin cruzada de K iteraciones o K-fold cross-validation los datos de muestra se dividen en K subcon-juntos. Uno de los subconjuntos se utiliza como datos deprueba y el resto (K-1) como datos de entrenamiento. Elproceso de validacin cruzada es repetido durante k ite-raciones, con cada uno de los posibles subconjuntos dedatos de prueba. Finalmente se realiza la media aritm-tica de los resultados de cada iteracin para obtener unnico resultado. Este mtodo es muy preciso puesto queevaluamos a partir de K combinaciones de datos de entre-namiento y de prueba, pero aun as tiene una desventaja, yes que, a diferencia del mtodo de retencin, es lento des-de el punto de vista computacional. En la prctica, la elec-

    1

    https://es.wikipedia.org/wiki/T%C3%A9cnicahttps://es.wikipedia.org/wiki/Evaluarhttps://es.wikipedia.org/wiki/An%C3%A1lisis_estad%C3%ADsticohttps://es.wikipedia.org/wiki/An%C3%A1lisis_estad%C3%ADsticohttps://es.wikipedia.org/wiki/An%C3%A1lisis_discriminantehttps://es.wikipedia.org/wiki/Media_aritm%C3%A9ticahttps://es.wikipedia.org/wiki/Evaluaci%C3%B3nhttps://es.wikipedia.org/wiki/Predicci%C3%B3nhttps://es.wikipedia.org/wiki/Estimaci%C3%B3n_estad%C3%ADsticahttps://es.wikipedia.org/wiki/Inteligencia_artificialhttps://es.wikipedia.org/wiki/M%C3%A9todo_de_retenci%C3%B3nhttps://es.wikipedia.org/wiki/M%C3%A9todo_de_retenci%C3%B3nhttps://es.wikipedia.org/wiki/Conjuntohttps://es.wikipedia.org/wiki/Subconjuntohttps://es.wikipedia.org/wiki/Funci%C3%B3n_de_aproximaci%C3%B3nhttps://es.wikipedia.org/wiki/Conjuntohttps://es.wikipedia.org/wiki/Computaci%C3%B3nhttps://es.wikipedia.org/wiki/Precisi%C3%B3nhttps://es.wikipedia.org/wiki/Evaluaci%C3%B3nhttps://es.wikipedia.org/wiki/Variable_estad%C3%ADsticahttps://es.wikipedia.org/wiki/Sobreajustehttps://es.wikipedia.org/wiki/Predicci%C3%B3nhttps://es.wikipedia.org/wiki/Iteraci%C3%B3nhttps://es.wikipedia.org/wiki/Media_aritm%C3%A9ticahttps://es.wikipedia.org/wiki/Media_aritm%C3%A9tica

  • 2 4 CLCULO DEL ERROR

    cin del nmero de iteraciones depende de la medida delconjunto de datos. Lo ms comn es utlizar la validacincruzada de 10 iteraciones (10-fold cross-validation).[5][4]

    Validacin cruzada de K iteraciones con K=4.

    3.2 Validacin cruzada aleatoria

    Este mtodo consiste al dividir aleatoriamente el conjun-to de datos de entrenamiento y el conjunto de datos deprueba. Para cada divisin la funcin de aproximacinse ajusta a partir de los datos de entrenamiento y calculalos valores de salida para el conjunto de datos de prue-ba. El resultado final se corresponde a la media aritm-tica de los valores obtenidos para las diferentes divisio-nes. La ventaja de este mtodo es que la divisin de da-tos entrenamiento-prueba no depende del nmero de ite-raciones. Pero, en cambio, con este mtodo hay algunasmuestras que quedan sin evaluar y otras que se evalanms de una vez, es decir, los subconjuntos de prueba yentrenamiento se pueden solapar.[6]

    Validacin cruzada aleatria con k iteracions

    3.3 Validacin cruzada dejando uno fuera

    La validacin cruzada dejando uno fuera o Leave-one-outcross-validation (LOOCV) implica separar los datos deforma que para cada iteracin tengamos una sola muestrapara los datos de prueba y todo el resto conformando losdatos de entrenamiento. La evaluacin viene dada por elerror, y en este tipo de validacin cruzada el error es muybajo, pero en cambio, a nivel computacional es muy cos-toso, puesto que se tienen que realizar un elevado nmerode iteraciones, tantas como N muestras tengamos y paracada una analizar los datos tanto de entrenamiento comode prueba. [7]

    Validacin cruzada dejando uno fuera (LOOCV)

    4 Clculo del error

    La evaluacin de las diferentes validaciones cruzadasnormalmente viene dada por el error obtenido en cadaiteracin, ahora bien, por cada uno de los mtodos pue-de variar el nmero de iteraciones, segn la eleccin deldiseador en funcin del nmero de datos total.[8]

    4.1 Error de la validacin cruzada de Kiteraciones

    En cada una de las k iteraciones de este tipo de valida-cin se realiza un clculo de error. El resultado final loobtenemos a partir de realizar la media aritmtica de losK valores de errores obtenidos, segn la frmula:

    E =1

    K

    Ki=1

    Ei.

    Es decir, se realiza el sumatorio de los K valores de errory se divide entre el valor de K.

    4.2 Error de la validacin cruzada aleato-ria

    En la validacin cruzada aleatoria a diferencia del mtodoanterior, cogemos muestras al azar durante k iteraciones,aunque de igual manera, se realiza un clculo de error pa-ra cada iteracin. El resultado final tambin lo obtenemosa partir de realizar la media aritmtica de los K valoresde errores obtenidos, segn la misma frmula:

    E =1

    K

    Ki=1

    Ei.

    4.3 Error de la validacin cruzada dejandouno fuera

    En la validacin cruzada dejando uno fuera se realizantantas iteraciones comomuestras (N) tenga el conjunto de

    https://es.wikipedia.org/wiki/Aleatoriedadhttps://es.wikipedia.org/wiki/Funci%C3%B3n_de_aproximaci%C3%B3nhttps://es.wikipedia.org/wiki/Media_aritm%C3%A9ticahttps://es.wikipedia.org/wiki/Media_aritm%C3%A9ticahttps://es.wikipedia.org/wiki/Evaluaci%C3%B3nhttps://es.wikipedia.org/wiki/Iteraci%C3%B3nhttps://es.wikipedia.org/wiki/Media_aritm%C3%A9ticahttps://es.wikipedia.org/wiki/Sumatoriohttps://es.wikipedia.org/wiki/Azarhttps://es.wikipedia.org/wiki/Media_aritm%C3%A9tica

  • 3

    datos. De forma que para cada una de las N iteraciones serealiza un clculo de error. El resultado final lo obtenemosrealizando la media aritmtica de los N valores de erroresobtenidos, segn la frmula:

    E =1

    N

    Ni=1

    Ei.

    Donde se realiza el sumatorio de los N valores de error yse divide entre el valor de N.

    5 Medidas de ajuste

    El objetivo de la validacin cruzada consiste en estimar elnivel de ajuste de un modelo a un cierto conjunto de datosde prueba independientes de las utilizadas para entrenarel modelo. Estas medidas obtenidas pueden ser utiliza-das para estimar cualquier medida cuantitativa de ajusteapropiada para los datos y el modelo. Por ejemplo, en unmodelo basado en clasificacin binaria, cada muestra seprev como correcta o incorrecta (si pertenece a la tem-tica o no), de forma que en este caso, se puede usar la 'tasade error de clasificacin' para resumir el ajuste del mode-lo. As mismo, se podran utilizar otras medidas como elvalor predictivo positivo. Cuando el valor a predecir sedistribuido de forma continua se puede calcular el errorutilizando medidas como: el error cuadrtico medio, ladesviacin de la media cuadrada o la desviacin absolutamedia.

    6 Ejemplos de aplicacin

    La validacin cruzada se puede utilizar para comparar losresultados de diferentes procedimientos de clasificacinpredictiva. Por ejemplo, supongamos que tenemos un de-tector que nos determina si una cara pertenece a una mu-jer o a un hombre y consideramos que han sido utilizadosdos mtodos diferentes, por ejemplo, mquinas de vecto-res de soporte (SVM) y k-vecinos ms cercanos (KNN),ya que ambos nos permiten clasificar las imgenes. Conla validacin cruzada podramos comparar los dos proce-dimientos y determinar cul de los dos es el ms preciso.Esta informacin nos la proporciona la tasa de error queobtenemos al aplicar la validacin cruzada por cada unode los mtodos planteados.La validacin cruzada de k iteraciones (k-fold cross va-lidation) nos permite evaluar tambin modelos en los quese utilizan varios clasificadores. Continuando con el ejem-plo anterior, si tenemos un detector que nos determina sien una imagen aparece un hombre o una mujer, y steutiliza cuatro clasificadores binarios para detectarlo, tam-bin podemos utilizar la validacin cruzada para evaluarsu precisin. Si tenemos un total de 20 datos (imgenes),y utilizamos el mtodo 4-fold cross validation, se llevarn

    a cabo cuatro iteraciones, y en cada una se utilizarn unosdatos de entrenamiento diferentes, que sern analizadaspor cuatro clasificadores, que posteriormente evaluarnlos datos de prueba. De este modo por cada muestra ob-tendremos cuatro resultados, y si hacemos la media entrelos resultados de cada clasificador y entre las cuatro ite-raciones realizadas, obtendremos el valor resultante final.

    k-fold cross validation, con k=4 i con 4 clasificadores.

    7 Cuestiones computacionales

    La mayora de las formas de validacin cruzada son f-ciles de implementar, siempre y cuando una implemen-tacin del mtodo de prediccin objeto de estudio estdisponible. En particular, el mtodo de prediccin slonecesitan estar disponibles como una "caja negra" no haynecesidad de tener acceso a las partes internas de su apli-cacin. Si el mtodo de prediccin es costoso de entrenar,la validacin cruzada puede ser muy lenta ya que el en-trenamiento deber llevarse a cabo en varias ocasiones.En algunos casos como el de mnimos cuadrados oregresin kernel (del ncleo), la validacin cruzada sepuede acelerar de manera significativa por el pre-clculode ciertos valores que son necesarios en varias ocasio-nes en el entrenamiento, o mediante el uso rpido reglasde actualizacin como la frmula de Sherman-Morrison.Sin embargo hay que tener cuidado para preservar com-pletamente el conjunto de validacin del procedimientode entrenamiento, de lo contrario se puede dar lugar a unsesgo.Un ejemplo extremo de la aceleracin de la validacincruzada se produce en la regresin lineal, donde los resul-tados de la validacin cruzada son expresiones de formacerrada conocidas como suma de cuadrados del error deprediccin residual (PRENSS).

    8 Limitaciones y uso no adecuado

    La validacin cruzada slo produce resultados significa-tivos si el conjunto de validacin y prueba de conjunto se

    https://es.wikipedia.org/wiki/Media_aritm%C3%A9ticahttps://es.wikipedia.org/wiki/Sumatoriohttps://es.wikipedia.org/wiki/Estimaci%C3%B3n_estad%C3%ADsticahttps://es.wikipedia.org/wiki/Independenciahttps://es.wikipedia.org/wiki/Binariahttps://en.wikipedia.org/wiki/Positive%2520predictive%2520valuehttps://en.wikipedia.org/wiki/Mean_squared_errorhttps://en.wikipedia.org/wiki/Root-mean-square%2520deviationhttps://en.wikipedia.org/wiki/Median%2520absolute%2520deviationhttps://en.wikipedia.org/wiki/Median%2520absolute%2520deviationhttps://es.wikipedia.org/wiki/Clasificaci%C3%B3nhttps://es.wikipedia.org/wiki/Predicci%C3%B3nhttps://es.wikipedia.org/wiki/M%C3%A1quinas_de_vectores_de_soportehttps://es.wikipedia.org/wiki/M%C3%A1quinas_de_vectores_de_soportehttps://es.wikipedia.org/wiki/Knnhttps://es.wikipedia.org/wiki/Evaluaci%C3%B3nhttps://es.wikipedia.org/wiki/Clasificadorhttps://es.wikipedia.org/wiki/Iteraci%C3%B3nhttps://es.wikipedia.org/wiki/Media_aritm%C3%A9ticahttps://es.wikipedia.org/wiki/Caja_negra_(sistemas)https://es.wikipedia.org/wiki/M%C3%ADnimos_cuadradoshttps://en.wikipedia.org/wiki/Kernel%2520regressionhttps://es.wikipedia.org/wiki/Sherman%E2%80%93Morrison_formulahttps://es.wikipedia.org/wiki/Regresi%C3%B3n_linealhttps://es.wikipedia.org/wiki/Forma_cerrada_(matem%C3%A1tica)https://es.wikipedia.org/wiki/Forma_cerrada_(matem%C3%A1tica)https://en.wikipedia.org/wiki/PRESS%2520statistic

  • 4 11 REFERENCIAS

    han extrado de la misma poblacin. En muchas aplica-ciones de modelado predictivo, la estructura del sistemaque est siendo estudiado evoluciona con el tiempo. Estopuede introducir diferencias sistemticas entre los con-juntos de entrenamiento y validacin. Por ejemplo, si unmodelo para predecir el valor de las acciones est entre-nado con los datos de un perodo de cinco aos deter-minado, no es realista para tratar el siguiente perodo decinco aos como predictor de la misma poblacin.Otro ejemplo, supongamos que se desarrolla un mo-delo para predecir el riesgo de un individuo para serdiagnosticado con una enfermedad en particular en el pr-ximo ao. Si el modelo se entrena con datos de un estudioque slo afecten a un grupo poblacional especfico (porejemplo, solo jvenes o solo hombres varones), pero seaplica luego a la poblacin en general, los resultados dela validacin cruzada del conjunto de entrenamiento po-dran diferir en gran medida de la clasificacin real.Si se lleva a cabo correctamente, y si el conjunto de va-lidacin y de conjunto de entrenamiento son de la mis-ma poblacin, la validacin cruzada es casi imparcial. Sinembargo, hay muchas maneras en que la validacin cru-zada puede ser mal utilizada. Si se abusa y posteriormentese lleva a cabo un estudio real de validacin, es probableque los errores de prediccin en la validacin real seanmucho peores de lo esperado sobre la base de los resulta-dos de la validacin cruzada.Estas son algunas formas en que la validacin cruzadapuede ser mal utilizada:

    Mediante el uso de la validacin cruzada para eva-luar varios modelos, y slo indicando los resultadospara el modelo con los mejores resultados.

    Al realizar un anlisis inicial para identificar lascaractersticas ms informativas utilizando el con-junto de datos completo, si la seleccin de caracte-rstica o el ajuste del modelo lo requiere por el pro-pio procedimiento de modelado, esto debe repetir-se en cada conjunto de entrenamiento. Si se utilizala validacin cruzada para decidir qu caractersti-cas se van a utilizar, se deber realizar un procesointerno de validacin cruzada para llevar a cabo laseleccin de caractersticas en cada conjunto de en-trenamiento.

    Al permitir que algunos de los datos de entrena-miento est tambin incluido en el conjunto de prue-ba, esto puede suceder debido a hermanamientoen el conjunto de datos, con lo que varias muestrasexactamente idnticas o casi idnticas pueden estarpresentes en el conjunto de datos.

    9 Vase tambin Doble ciego

    Inteligencia artificial

    Aprendizaje automtico

    Aprendizaje supervisado

    Mquinas de vectores de soporte

    K-vecinos ms prximos

    Regresin lineal

    10 Enlaces externos Smarter-than-you machines, creado por V.V.V. (Eningls)

    Scientists worry machines may outsmart man, crea-do por John Markoff (En ingls)

    Inteligencia artificial. El hombre y las mquinas pen-santes, creado por Edith Delgado (En castellano)

    The man-machine and artificial intelligence, creadopor Bruce Mazlish. Ideas del ao 1995. (En ingls)

    The concept of k-fold cross-validation. (En ingls)

    11 Referencias[1] Devijver, P. A., and J. Kittler, Pattern Recognition: A Sta-

    tistical Approach, Prentice-Hall, Londres, 1982

    [2] Jean-Philippe Lang, Predictors tutorial, Bioinformatic De-partment Projects

    [3] Jeff Schneider, The holdout method, The school of com-puter science, 7 de febrero de 1997

    [4] Payam Refaeilzadeh, Lei Tang, Huan Lui, k-fold Cross-Validation, Arizona State University, 6 de noviembre de2008

    [5] FH Joanneum, Cross-Validation Explained, Institute forGenomics and Bioinformatics, 2005-2006

    [6] Andrew W. Moore, Cross-validation for detecting andpreventing overfitting, Carnegie Mellon University

    [7] Charles Elkan, Evaluating Classifiers University of Cali-fornia, San Diego, 18 de enero de 2011

    [8] Ricardo Gutirrez-Osuna,Leave-one-out Cross ValidationWright State University

    https://en.wikipedia.org/wiki/Stock%2520market%2520predictionhttps://es.wikipedia.org/wiki/Diagn%C3%B3stico_m%C3%A9dicohttps://en.wikipedia.org/wiki/Features%2520(pattern%2520recognition)https://es.wikipedia.org/wiki/Doble_ciegohttps://es.wikipedia.org/wiki/Inteligencia_artificialhttps://es.wikipedia.org/wiki/Aprendizaje_autom%C3%A1ticohttps://es.wikipedia.org/wiki/Aprendizaje_supervisadohttps://es.wikipedia.org/wiki/M%C3%A1quinas_de_vectores_de_soportehttps://es.wikipedia.org/wiki/K-vecinos_m%C3%A1s_pr%C3%B3ximoshttps://es.wikipedia.org/wiki/Regresi%C3%B3n_linealhttp://www.economist.com/blogs/prospero/2011/03/artificial_intelligencehttp://www.nytimes.com/2009/07/26/science/26robot.htmlhttp://www.gestiopolis.com/canales8/ger/inteligencia-artificial-maquinas-pensantes.htmhttp://www.gestiopolis.com/canales8/ger/inteligencia-artificial-maquinas-pensantes.htmhttp://www.stanford.edu/group/SHR/4-2/text/mazlish.htmlhttp://animation.yihui.name/dmml:k-fold_cross-validationhttp://docs.bioinfo.cipf.es/projects/1/wiki/Predictors_methodshttp://www.cs.cmu.edu/~schneide/tut5/node42.htmlhttp://www.public.asu.edu/~ltang9/papers/ency-cross-validation.pdfhttp://www.public.asu.edu/~ltang9/papers/ency-cross-validation.pdfhttp://genome.tugraz.at/proclassify/help/pages/XV.htmlhttp://www.autonlab.org/tutorials/overfit10.pdfhttp://www.autonlab.org/tutorials/overfit10.pdfhttp://cseweb.ucsd.edu/~elkan/250B/classifiereval.pdfhttp://courses.cs.tamu.edu/rgutier/ceg499_s02/l13.pdf

  • 5

    12 Text and image sources, contributors, and licenses

    12.1 Text Validacin cruzada Fuente: http://es.wikipedia.org/wiki/Validaci%C3%B3n%20cruzada?oldid=72789547 Colaboradores: Oblongo,

    BOT-Superzerocool, Jesuja, Pinar, PabloCastellano, JAnDbot, CommonsDelinker, VolkovBot, Muro Bot, SieBot, Bigsus-bot, HUB, Bo-telln, Alecs.bot, Juan Mayordomo, Fidelbotquegua, SpBot, FariBOT, DiegoFb, Xqbot, FrescoBot, ZroBot, Grillitus, Lupianiedu, Wiki-tanvirBot, KLBot2, Argoncalves, Joan.domenech91, Ana.olive, Acratta, Johnbot, Elvisor, Heraclitvs, Makecat-bot, Addbot y Annimos:3

    12.2 Images Archivo:4fold3class.jpg Fuente: http://upload.wikimedia.org/wikipedia/commons/f/fc/4fold3class.jpg Licencia: CC BY-SA 3.0 Colabo-

    radores: Trabajo propio Artista original: Joan.domenech91 Archivo:Esquema_castell.jpg Fuente: http://upload.wikimedia.org/wikipedia/commons/1/18/Esquema_castell%C3%A0.jpg Licencia:

    CC BY-SA 3.0 Colaboradores: Trabajo propio Artista original: Joan.domenech91 Archivo:K-fold_cross_validation.jpg Fuente: http://upload.wikimedia.org/wikipedia/commons/f/f2/K-fold_cross_validation.jpg Li-

    cencia: CC BY-SA 3.0 Colaboradores: Trabajo propio Artista original: Joan.domenech91 Archivo:Leave-one-out.jpg Fuente: http://upload.wikimedia.org/wikipedia/commons/2/2d/Leave-one-out.jpg Licencia: CC BY-SA 3.0

    Colaboradores: Trabajo propio Artista original: Joan.domenech91 Archivo:Metodo_de_retencin.jpg Fuente: http://upload.wikimedia.org/wikipedia/commons/4/48/Metodo_de_retenci%C3%B3n.jpg

    Licencia: CC BY-SA 3.0 Colaboradores: Trabajo propio Artista original: Joan.domenech91 Archivo:Random_cross_validation.jpg Fuente: http://upload.wikimedia.org/wikipedia/commons/b/b2/Random_cross_validation.jpg

    Licencia: CC BY-SA 3.0 Colaboradores: Trabajo propio Artista original: Joan.domenech91

    12.3 Content license Creative Commons Attribution-Share Alike 3.0

    http://es.wikipedia.org/wiki/Validaci%25C3%25B3n%2520cruzada?oldid=72789547http://upload.wikimedia.org/wikipedia/commons/f/fc/4fold3class.jpg//commons.wikimedia.org/w/index.php?title=User:Joan.domenech91&action=edit&redlink=1http://upload.wikimedia.org/wikipedia/commons/1/18/Esquema_castell%25C3%25A0.jpg//commons.wikimedia.org/w/index.php?title=User:Joan.domenech91&action=edit&redlink=1http://upload.wikimedia.org/wikipedia/commons/f/f2/K-fold_cross_validation.jpg//commons.wikimedia.org/w/index.php?title=User:Joan.domenech91&action=edit&redlink=1http://upload.wikimedia.org/wikipedia/commons/2/2d/Leave-one-out.jpg//commons.wikimedia.org/w/index.php?title=User:Joan.domenech91&action=edit&redlink=1http://upload.wikimedia.org/wikipedia/commons/4/48/Metodo_de_retenci%25C3%25B3n.jpg//commons.wikimedia.org/w/index.php?title=User:Joan.domenech91&action=edit&redlink=1http://upload.wikimedia.org/wikipedia/commons/b/b2/Random_cross_validation.jpg//commons.wikimedia.org/w/index.php?title=User:Joan.domenech91&action=edit&redlink=1http://creativecommons.org/licenses/by-sa/3.0/

    Contexto Objetivo de la validacin cruzada Tipos de validaciones cruzadas Validacin cruzada de K iteraciones Validacin cruzada aleatoria Validacin cruzada dejando uno fuera

    Clculo del error Error de la validacin cruzada de K iteraciones Error de la validacin cruzada aleatoria Error de la validacin cruzada dejando uno fuera

    Medidas de ajuste Ejemplos de aplicacin Cuestiones computacionales Limitaciones y uso no adecuado Vase tambin Enlaces externos Referencias Text and image sources, contributors, and licensesTextImagesContent license