disciplina de robôs móveis autônomos ssc-5888fosorio/ssc5888/aula04-rma-pg.pdf · ssc 5888 (rma)...

1

USP – ICMC – SSC5888 - Turma 2009/1Robôs Móveis Autônomos (PG_CCMC)Prof. Fernando Osório

Maio 2009

1

Prof. Fernando Santos OsórioProf. Fernando Santos Osório

Email: fosorio [at] { icmc. usp. br , gmail. com }Email: fosorio [at] { icmc. usp. br , gmail. com }

Web: http://www.icmc.usp.br/~fosorio/Web: http://www.icmc.usp.br/~fosorio/

Aula Aula 0404

USP - ICMC - SSC – Pós-Grad. CCMCSSC 5888 (RMA) - 1o. Semestre 2009

Disciplina de

Robôs Móveis Autônomos

SSC-5888


Maio 2009

2

Aula 04: Visão Computacional

Agenda:

Visão Computacional e Robótica Móvel:

1. Introdução ao Processamento de Imagens

Mapa de Pixels, Amostragem, Quantização, Iluminação,

Histograma, Espaço de Cores, Ferramentas de P.I.

2. Segmentação de Imagens por Cor

Detecção de Cores e Segmentação por Cor

;avegação baseada em Marcas Visuais: Aplicações

3. Classificação de Imagens

Reconhecimento de Gestos, Reconhecimento de Objetos

4. Registro de Imagens

Baseado em Correlação de Pixels (;CC)

Baseado em Atributos e Pontos de Referência (SIFT)

2


Maio 2009

3

Visão Computacional e Robótica Móvel

1. Processamento de Imagens

Mapa de Pixels = Bitmap

Amostragem:

Resolução X-Y

Quantização:

Bits por Pixel

B&W = 1 bit/pixel

Gray Scale (níveis de cinza)= 8 bits/pixel

Palette (falsas cores) = 8 bits/pixel

TrueColor RGB = 24 bits/pixel

RGB + Alfa (Transparência) = 32 bits/pixel

Multi-espectral = Canais de cor


Maio 2009

4



Imagens em Tons de Cinza

Lena.bmp

- Histograma

- Brilho

- Contraste

- Formato das Imagens:

BMP, GIF, JPG,

PBM, PGM, PPM,

P;G, ...

Compactação:

- LossLess

- Lossy

3


Maio 2009

5



Imagens Coloridas: Falsas Cores (Palette)


Maio 2009

6



Imagens Coloridas: Espaço de Cores – RGB, YCM, HSV, ...

4


Maio 2009

7



Imagens Coloridas: Espaço de Cores – RGB, YCM, HSV, ...

Brightness, ContrastGamma Correction, SaturationFilters, Convolution, Equalization, ...


Maio 2009

8



Imagens Coloridas: Espaço de Cores – RGB

5


Maio 2009

9



Imagens Coloridas: Espaço de Cores – HSV

H = HUE = MATIZS = SATURATIONV = VALUE

RGB = Red, Green, Blue


Maio 2009

10



Imagens Coloridas: Espaço de Cores – HSV, HSL, Lab, ...

http://jqframework.com/jqcp/

HSV

L a*b*

6


Maio 2009

11



Imagens Coloridas: Calibrando as Cores

What you see is not always what you really want to see!

GRETAG MACBETH PATTERN => US$ 90,- !!!

CALIBRAGEM DE CORES...


Maio 2009

12



Ferramentas para o processamentos de Imagens:

Apenas alguns exemplos...

* IrfanView: Simples, rápido, limitado [Windows, Free]

* Gimp: Completo, Inúmeras Opções [Linux, Windows, Open Source]

* MatLab: Ferramenta Profissional [Linux, Windows, Proprietary]

* OpenCV: Ferramenta Profissional [Linux, Windows, Open Source]

7


Maio 2009

13



Identificando uma cor alvo em uma imagem...

CONTROLE SERVO - VISUAL


Maio 2009

14




Pico:210Faixa200 - 217

Pico:225Faixa213 - 235

Como identificar uma cor?Pelo valor RGB do Pixel?

CALIBRAR OU ;ÃO CALIBRAR EIS A QUESTÃO!

8


Maio 2009

15



Identificando uma cor alvo em uma imagem...CALIBRAR: Modelos Estatísticos

Modelo VRMLDo Espaço de Cores RGBDe um Padrão (Bitmap)

Cada ponto representa acor de um determinado pixel no espaço RGB(agrupados em 5 clusters)

[Bender, Túlio 2003]


Maio 2009

16




OPE;CV

Segmentação no Espaço RGB:Preto => VermelhoBranco => Azul

9


Maio 2009

17




Aplicações:

� Auto-Localização

� Visual Servoing

� Follow-me (Comboio)

� Lane Follow (Seguir marcação)

� Target Tracking

� Robot Soccer

� HCI (Interação Humano-Maq.)


Maio 2009

18



Reconhecimento de Elementos na Imagem

- Reconhecimento de Padrões (Sinalização)

- Reconhecimento de Gestos (Interface)

- Reconhecimento e Tratamento de Imagens

Uso de Técnicas de Reconhecimento de Padrões

- Técnicas estatísticas

- Redes ;eurais ArtificiaisSegmentação de Imagens, Classificação de Padrões

- Placas de Carro- Objetos (cor: assinatura)- Detecção de cor-de-pele- Imagens de Satélite...

10


Abr. 2009

19

3. Classificação de Imagens - Redes ;eurais Artificiais:

Reconhecimento de Padrões

Dissertação de Mestrado: Fernando Santos Osório - UFRGS - PPGCC [1990]Título: "Um Estudo sobre Reconhecimento Visual de Caracteres através de Redes Neurais"



Abr. 2009

20

Aplicações de Redes ;eurais Artificiais:

Reconhecimento de Padrões / Classificação / Aproximação Fçs

Original Filtro Convencional Filtro ;eural


11


Abr. 2009

21


Reconhecimento de Padrões / Classificação / Aproximação Fçs


DETECÇÃO DE TONS DE PELE


Abr. 2009

22


Reconhecimento de Padrões

Bender/Osório 2003, Bittencourt/Osório 2002Ponfac Sistemas de Visão


12


Abr. 2009

23

Reconhecimento em Tempo Real: Imagens – Postura das Mãos



Abr. 2009

24


MatlabAquisição,procesamento e medidas

TreinamentoRNA

[SNNS/C++]

ClassificadorRNA[C++]

Aplicaçãode multidõesde humanosvirtuais [C++]

= Sockets e Memória

Compartilhada

Integração: Aquisição das Imagens, Classificação, Ações

Animando Humanos Virtuais em Tempo-Real usando Visão Computacional e Redes ;eurais elson F. Souza Jr. et al. – IX Symposium on Virtual and Augmented Reality SVR’2007


13


Abr. 2009

25


1 Reconhecimento de Posturas

2 Extração de Atributos

3 Aprendizado e Classificação ;eural (A;;)

4 Resultados: Rede ;eural

Posturas escolhidas para utilização no experimento

• 5 dedos (mão aberta)

• 0 dedos (mão fechada)

• 1 dedo (indicador)

• 1 dedo (polegar)

• 2 dedos (v – vitória)

• 1 dedo (mínimo)

Aquisição das imagens:

- Aquisição das imagens a partir da Webcam

- Pré-processamento das imagens no MATLAB

-A limiarização e segmentação das imagens

- Extração das referência (métricas/atributos)



Abr. 2009

26







14


Abr. 2009

27






Extração de Atributos (feições): Procedimentos que, aplicados a uma imagem retornam um valor numérico capaz de diferenciar os tipos de imagens- Histograma Vertical - Histograma Horizontal- Densidade de P/B- Alternância de P/B- Bounding Box








Abr. 2009

28

Reconhecimento em Tempo Real: Postura das Mãos











Histograma Horizontal


15








Abr. 2009

29

Reconhecimento em Tempo Real: Postura das Mãos




4 Resultados: Rede ;euralHistograma Vertical



Abr. 2009

30




3 Aprendizado e Classificação eural (A )


Entradas adotadas: Atributos das imagensAtributos das imagens10 projeções verticais10 projeções horizontais Dimensões da largura e altura do bounding box

Base de treinamento e teste/validação do classificador:22 entradas e 1 saída (a sua respectiva classe (1 dentre as 6 posturas)600 exemplos (imagens) - 420 de treino (70%) e 180 de validação (30%)70 exemplos de cada classe = 70 x 6 = 420 exemplos na base de treino

Rede Neural: 22-22-6 (22 Input, 22 Hidden, 6 Output)Aprendizado: RProp (Resilent Propagation ~ BackProp acelerado)


16


Abr. 2009

31





4 Resultados: Rede eural

Taxa média de acertos - aprendizado : 99,95% Taxa média de erro - abaixo de 0,05%. Taxa de acertos (treino/teste):muito próxima a 100%



Abr. 2009

32





4 Resultados: Rede eural

Taxa média de acertos - aprendizado : 99,95% Taxa média de erro - abaixo de 0,05%. Taxa de acertos (treino/teste):muito próxima a 100%


17


Abr. 2009

33

Proc. Imagens / Visualização 3D



Abr. 2009

34

ARToolKit:

Reconhecimento de Padrões – Marcas Fiduciais


http://www.hitl.washington.edu/artoolkit/

18


Maio 2009

35



Reconhecimento de Imagem / CBIR

Bases de Dados

> COIL - Columbia Object Image Library

> ALOI - Amsterdam Library of Object Images

http://www.cs.cmu.edu/~cil/v-images.html


Maio 2009

36


4. Registro de Imagens

Comparação Pixel-a-Pixel

Correlação de Imagens

> ;CC: ;ormalized Cross-Correlation => MATLAB

Extração de Atributos (Features)

> SIFT Features: Scale Invariant Feature Transform

19


Navegação Visual Autônoma (Visual Navigation)

ImagemAtual

Próxima Imagem

Base de Imagens: Seqüência de Deslocamentos

Imagemcapturadapelo robô

NCC(match)

ImagemAtual

Próxima Imagem

Base de Imagens: Seqüência de Deslocamentos

Imagemcapturadapelo robô

NCC(match)

Navegação baseada em Imagens Monocromáticas [Jones et al. 1997]

Algoritmo: NCC – Normalized Cross-Correlation


Maio 2009

37


[Righes 2004, 2005]

ICR:Imagem CapturadaPelo Robô

Navegação Visual: NCC – Normalized Cross-Correlation

[Matsumoto et al. 1996]

Matlab Code

IR:Imagem de Referência


Maio 2009

38

20


[Righes 04]


Maio 2009

39



Using Omnidirectional Cameras



Maio 2009

40

21



Navegação Visual: SIFT – Scale Invariant Feature Transform

SIFT : http://www.cs.ubc.ca/~lowe/keypoints/

Matthew Brown http://www.cs.ubc.ca/~mbrown/

AutoStitch: http://www.cs.ubc.ca/~mbrown/autostitch/autostitch.html

Panoramas: http://osorio.wait4.org/oldsite/vr/panorama/list.html


Mobile Robot Localization and Mapping with Uncertainty using Scale-Invariant Visual Landmarks

Stephen Se, David Lowe, Jim Little (UBC, CA)

Algoritmo:SIFT

ReferenceInt. Journal of Robotics ResearchVol. 21, ;o. 8, August 2002, pp. 735-758,

OpenCVOpenCV



22


Sistema de Visão para Veículos Aéreos Não Tripulados

Correlação entreimagem de satélitee imagem aérea (helicóptero)

Resultados não foram bons !

Mas...



Maio 2009

43


Referencial

Correlação entre imagensdo helicóptero(cruzamento da rota)



Navegação Visual: SIFT

Maio 2009

44

23


Referêncial e Deslocamento

Correlação entre imagens do helicóptero (cruzamento da rota)




Maio 2009

45


Referêncial e Deslocamento

Correlação entre imagensdo helicóptero(cruzamento da rota)




Maio 2009

46

24



SIFT: Qual é o truque?

Abordagem Multi-Escala

Descritor Local = Assinatura do pixel!

Maio 2009

47



Maio 2009

48

5. Processamento de Imagens: Aplicação em Robótica

- Segmentação por Cor

- Reconhecimento e Classificação de Padrões

- Registro de Imagens:

> Correlação

> Pontos de Interesse

25


Maio 2009

49

Referências: Planejamento e ;avegação

Referências – Processamento de Imagens:

>> Ferramentas* OpenCV* MATLAB* ARToolKit

>> Algoritmos * Segmentação por Cor* Reconhecimento de Padrões: RNA* NCC* SIFT

>> Bases de Imagens* COIL* ALOI


Maio 2009

50

I;FORMAÇÕES SOBRE A DISCIPLI;A

USP USP -- Universidade de São Paulo Universidade de São Paulo -- São Carlos, SPSão Carlos, SPICMC ICMC -- Instituto de Ciências Matemáticas e de Computação Instituto de Ciências Matemáticas e de Computação

SSC SSC -- Departamento de Sistemas de ComputaçãoDepartamento de Sistemas de Computação

Prof. Fernando Santos OSÓRIOProf. Fernando Santos OSÓRIO

Web institucional: Http://www.icmc.usp.br/ssc/Web institucional: Http://www.icmc.usp.br/ssc/

Página pessoal: Http://www.icmc.usp.br/~fosorio/Página pessoal: Http://www.icmc.usp.br/~fosorio/

EE--mailmail: : fosoriofosorio [[atat] ] icmcicmc. . uspusp. . brbr ou ou fosoriofosorio [[atat] ] gmailgmail. com. com

Disciplina de Robôs Móveis AutônomosDisciplina de Robôs Móveis Autônomos

Web Disciplinas: Http://www.icmc.usp.br/~fosorio/Web Disciplinas: Http://www.icmc.usp.br/~fosorio/

Web Web CoTeiaCoTeia: Http://coteia.icmc.usp.br/mostra.: Http://coteia.icmc.usp.br/mostra.phpphp??identident=575=575

> Programa, Material de Aulas, Critérios de Avaliação,> Programa, Material de Aulas, Critérios de Avaliação,

> Material de Apoio, Trabalhos Práticos> Material de Apoio, Trabalhos Práticos

disciplina de robôs móveis autônomos ssc-5888fosorio/ssc5888/aula04-rma-pg.pdf · ssc 5888 (rma)...

Documents