Introducción Primer trabajo Segundo trabajo Conclusiones

Aprendizaje automático para la discriminación demalas hierbas en girasol

Maŕıa Pérez-Ortiz, Francisca López GranadosHito 1.1.2 Monitorización de cultivos y malas hierbasmediante tecnoloǵıas aéreas con sensores en infrarrojo

para la mejora de la gestión agŕıcola.Instituto de Agricultura Sostenible, CSIC

Córdoba, Spainmperezortiz@ias.csic.es6 de Marzo de 2015

M. Pérez-Ortiz et al. Aprendizaje automático para discriminación de malas hierbas

Introducción Primer trabajo Segundo trabajo Conclusiones

Objetivos

Aprender un modelo de forma automática para discriminarmalas hierbas.

M. Pérez-Ortiz et al. Aprendizaje automático para discriminación de malas hierbas

Introducción Primer trabajo Segundo trabajo Conclusiones

Objetivos

Aprender un modelo de forma automática para discriminarmalas hierbas.

¿Cuánta información es necesaria para entrenar los modelos?¿Qué tipo de información debeŕıa recibir el modelo?¿Qué tipo de modelo seŕıa el adecuado?¿Cómo podŕıamos hacer que el procedimiento fuese lo menoscostoso computacionalmente?

M. Pérez-Ortiz et al. Aprendizaje automático para discriminación de malas hierbas

Introducción Primer trabajo Segundo trabajo Conclusiones

¿Qué se ha planteado hasta ahora?

Estudiar distintos modelos de aprendizaje.Unsupervised learning Supervised learning Semisupervised learning

Estudiar distintas caracteŕısticas (espectral, ı́ndices devegetación, etc).

Estudiar distintas representaciones de los datos (ṕıxeles,objectos, etc).

M. Pérez-Ortiz et al. Aprendizaje automático para discriminación de malas hierbas

Introducción Primer trabajo Segundo trabajo Conclusiones

Propuesta

Etiquetado de una porción reducidade terreno.

Sistema fácilmente paralelizable yoptimización de parámetrosautomática.

Uso de una técnica muy flexible paradetección de ĺıneas de cultivo.

Acquire imagesLabel set of pixels

Binarise vegetation indexesvia the Otsu's algorithm

Crop row detection

Set parameters

Optimisation of parametersfor the learning algorithm

and classification

Image partition

Compute vegetation indexes

Tasks to be performed by the user

Proposed image analysis

M. Pérez-Ortiz et al. Aprendizaje automático para discriminación de malas hierbas

Introducción Primer trabajo Segundo trabajo Conclusiones

Propuesta

Inclusión de tres tipos decaracteŕısticas diferentes en elmodelo:

Caracteŕısticas espectrales

Índice de vegetacion (ExG oNDVI).

Pertenencia a la ĺınea decultivo e ı́ndice.

M. Pérez-Ortiz et al. Aprendizaje automático para discriminación de malas hierbas

Introducción Primer trabajo Segundo trabajo Conclusiones

Propuesta

Tres tipos de modelos:

No supervisados inicializados.

Supervisados.

Semisupervisados.

Crop CropSoil SoilWeed WeedTetracam Olympus

M. Pérez-Ortiz et al. Aprendizaje automático para discriminación de malas hierbas

Introducción Primer trabajo Segundo trabajo Conclusiones

Resultados

Mejores resultados obtenidos usando:

Método semisupervisado (en torno a un 4% de desviación delos porcentajes reales).Uso de ĺıneas de cultivo.30m (aunque hay pocas diferencias con 60m).Cámara TTC.

M. Pérez-Ortiz et al. Aprendizaje automático para discriminación de malas hierbas

Introducción Primer trabajo Segundo trabajo Conclusiones

Resultados

M. Pérez-Ortiz et al. Aprendizaje automático para discriminación de malas hierbas

Introducción Primer trabajo Segundo trabajo Conclusiones

Propuesta

Analizar las diferencias entre una clasificación basada enṕıxeles y una basada en objectos (tiempo y resultados).

Analizar las caracteŕısticas del objeto a incluir (media másdesviación t́ıpica, histogramas).

1. Image acquiquisition 2. Image segmentation 3. Data labelling

4. Data classification

Pixel-based approach Object-based approach

Feature extraction-Spectral information-Vegetation index-Objects shape

Feature extraction -Spectral information

Two approximations:

1. Statistic computation2. Histogram computation

Two approximations:

1. Classification of all pixels2. Classification of one pixel per object

M. Pérez-Ortiz et al. Aprendizaje automático para discriminación de malas hierbas

Introducción Primer trabajo Segundo trabajo Conclusiones

Propuesta

Etiquetado de 100 objetos aleatorios por clase.

Caracteŕısticas consideradas para los ṕıxeles: Espectrales.

Caracteŕısticas consideradas para los objetos: Espectrales,ı́ndices de vegetación y forma.

Object pixels

Neighbouring pixels

Other pixels

M. Pérez-Ortiz et al. Aprendizaje automático para discriminación de malas hierbas

Introducción Primer trabajo Segundo trabajo Conclusiones

Resultados

Table : Resultados para Acc, MS y tiempo de ejecución para las distintasconfiguraciones.

Dataset Characteristics Acc MS TimePixel-based analysis

One pixel per object Spect. 87.33± 8.29 76.00± 14.30 4.53± 0.02All pixels Spect. 90.89± 0.77 84.56± 1.76 1122.01± 299.37

Object-based analysisStatistical metrics Spect. 93.33± 3.51 86.00± 5.16 4.66± 0.04Statistical metrics Spect. + VI 94 .33 ± 3 .87 89 .00 ± 5 .68 4.86± 0.02Statistical metrics Spect. + VI + Shape 96.33± 3.67 93.00± 6.75 5.03± 0.06

Histograms Spect. 92.67± 5.62 87.00± 8.23 6.73± 0.04Histograms Spect. + VI 93.00± 5.54 85.00± 11.79 6.98± 0.04Histograms Spect. + VI + Shape 92.67± 5.62 85.00± 12.69 6.90± 0.06

Los mejores resultados están en negrita, y los segundos mejores en cursiva.

M. Pérez-Ortiz et al. Aprendizaje automático para discriminación de malas hierbas

Introducción Primer trabajo Segundo trabajo Conclusiones

Resultados

Prueba adicional con menos objetos para entrenamiento →Resultados similares.

M. Pérez-Ortiz et al. Aprendizaje automático para discriminación de malas hierbas

Introducción Primer trabajo Segundo trabajo Conclusiones

Conclusiones

Se necesita muy poca información de entrenamiento, pero serequiere que esta explore todo el espectro de posibilidades.

Los métodos semisupervisados muestran buenos resultados eneste caso y complementan la información de entrenamiento.

La inclusión de información de forma, pertenencia a ĺıneas decultivo y ı́ndices de vegetación ayuda a mejorar los resultados.

Los modelos de aprendizaje automático son flexibles ypresentan potencial para discriminar bien las malas hierbascerca o en las ĺıneas de cultivo.

La clasificación basada en objetos llega a unos mejoresresultados (en términos de precisión y tiempo).

Parámetros tales como el buffer de la ĺınea de cultivo sepueden optimizar de forma automática con buenos resultados.

M. Pérez-Ortiz et al. Aprendizaje automático para discriminación de malas hierbas

Introducción Primer trabajo Segundo trabajo Conclusiones

Trabajo futuro

Explorar métodos para seleccionar las regiones a etiquetar.

Analizar qué estad́ısticos son más útiles para la discriminaciónpor objetos.

Estudiar métodos diseñados espećıficamente para clasificarhistogramas.

Diseñar un modelo paralelizado y analizar el tiempo deprocesamiento necesario.

Estudiar si todo lo anterior se aplica a otros cultivos.

Estudiar otros paradigmas de aprendizaje automático:Aprendizaje por refuerzo para generalizar en campos distintos.

M. Pérez-Ortiz et al. Aprendizaje automático para discriminación de malas hierbas

Introducción Primer trabajo Segundo trabajo Conclusiones

M. Pérez-Ortiz et al. Aprendizaje automático para discriminación de malas hierbas