grupo de arquitectura y tecnología de computadores (gatcom) universidad miguel hernández miguel...
TRANSCRIPT
Gru
po d
e A
rqu
itectu
ra y
Tecn
olo
gía
d
e C
OM
pu
tad
ore
s (
GA
TC
OM
)U
niv
ers
idad
Mig
uel H
ern
án
dez
Miguel Martínez-RachMiguel Martínez-Rach
Otoniel LópezOtoniel López
Pablo PiñolPablo Piñol
Manuel Perez MalumbresManuel Perez Malumbres
José OliverJosé Oliver
Carlos T. CalafateCarlos T. Calafate
Métricas de calidad objetivas Métricas de calidad objetivas para imagen y vídeopara imagen y vídeo
Universidad Miguel Hernández
Elche (Spain)
Universidad Politécnica de Valencia
Valencia (Spain)
Un
idad
docen
te d
e
Red
es d
e C
om
pu
tad
ore
sG
rup
o d
e A
rqu
itectu
ra y
Tecn
olo
gía
d
e C
OM
pu
tad
ore
s (
GA
TC
OM
)U
niv
ers
idad
Mig
uel H
ern
án
dez
El mismo PSNR pero distinta percepciónEl mismo PSNR pero distinta percepción
2
Un
idad
docen
te d
e
Red
es d
e C
om
pu
tad
ore
sG
rup
o d
e A
rqu
itectu
ra y
Tecn
olo
gía
d
e C
OM
pu
tad
ore
s (
GA
TC
OM
)U
niv
ers
idad
Mig
uel H
ern
án
dez
RateRate Distortion usando Distortion usando PSNR como métrica de calidad.PSNR como métrica de calidad.
Un
idad
docen
te d
e
Red
es d
e C
om
pu
tad
ore
sG
rup
o d
e A
rqu
itectu
ra y
Tecn
olo
gía
d
e C
OM
pu
tad
ore
s (
GA
TC
OM
)U
niv
ers
idad
Mig
uel H
ern
án
dez
4
Quality Assessment MetricsQuality Assessment Metrics
• QAM difieren unas de otras en su propio diseño– Existen diferentes aproximaciones o
frameworks que tratan de emular al Sistema Visual Humano o bien tratan de adaptarse a distorsiones concretas.
• QAM Se clasifican en función de cómo realizan la medición de calidad como:– Full Reference (FR), – No Reference (NR), – Reduced Reference (RR)
• Aplicamos métricas de calidad de imágen a secuencias aplicándolas frame a frame.
NRJPEGQS
NRJPEG2000
PSNR-DMOSp
MSSIM
VIF
RRIQA – f.e.
RRIQA – eval.
Un
idad
docen
te d
e
Red
es d
e C
om
pu
tad
ore
sG
rup
o d
e A
rqu
itectu
ra y
Tecn
olo
gía
d
e C
OM
pu
tad
ore
s (
GA
TC
OM
)U
niv
ers
idad
Mig
uel H
ern
án
dez
5
Cómo comparar distintas métricasCómo comparar distintas métricas
• El valor objetivo de calidad proporcionado por cada métrica no puede ser comparado directamente pues está en escalas diferentes.
• El proceso de comparación se basa en el realizado por el VQEG y otros tests de comparación de métricas relevantes.
• Básicamente, se utiliza una ecuación no lineal parametrizada para traducir el valor objetivo dado por la métrica a una escala común para todas ellas, la escala DMOSp.
• Los parámetros de dicha ecuación se obtienen mediante ajuste de curvas contra valores subjetivos reales.
DM
OS
VIF objective scores
Un
idad
docen
te d
e
Red
es d
e C
om
pu
tad
ore
sG
rup
o d
e A
rqu
itectu
ra y
Tecn
olo
gía
d
e C
OM
pu
tad
ore
s (
GA
TC
OM
)U
niv
ers
idad
Mig
uel H
ern
án
dez
6
Cómo comparar distintas métricasCómo comparar distintas métricas
• Así para cada métrica tenemos una ecuación de conversión a la escala DMOSp.
• La ecuación tiene distintos parámetros en función de la métrica.
ConversionEquation
NRJPEGQS
NRJPEG2000
PSNR-DMOSp
MSSIM
VIF
RRIQA – f.e.
RRIQA – eval.
0.9377
0.6553
20.3251
8.9222
74.9903
4.4060
…
…
…
…
…
…
Un
idad
docen
te d
e
Red
es d
e C
om
pu
tad
ore
sG
rup
o d
e A
rqu
itectu
ra y
Tecn
olo
gía
d
e C
OM
pu
tad
ore
s (
GA
TC
OM
)U
niv
ers
idad
Mig
uel H
ern
án
dez
Parámetros, Rendimiento, SecuenciasParámetros, Rendimiento, Secuencias
7
… …Incremento de la compresión / Decremento del bit-rate
Un
idad
docen
te d
e
Red
es d
e C
om
pu
tad
ore
sG
rup
o d
e A
rqu
itectu
ra y
Tecn
olo
gía
d
e C
OM
pu
tad
ore
s (
GA
TC
OM
)U
niv
ers
idad
Mig
uel H
ern
án
dez
CodecsCodecs
• H264 AVC– Video Codec basado en la DCT.
• Motion-JPEG2000– Image Codec basado en la transformada Wavelet.
• Motion-LTW– Image Codec basado en la transformada Wavelet.
Ejecución sólo en modo intra
8
Un
idad
docen
te d
e
Red
es d
e C
om
pu
tad
ore
sG
rup
o d
e A
rqu
itectu
ra y
Tecn
olo
gía
d
e C
OM
pu
tad
ore
s (
GA
TC
OM
)U
niv
ers
idad
Mig
uel H
ern
án
dez
ComportamientoComportamiento
9
H264 & Foreman QCIF
-10
0
10
20
30
40
50
60
70
80
90
100
0 150 300 450 600 750 900 1050 1200 1350 1500
Bitrate (Kbps)
DM
OS
p
SSIM
VIF
NRJPEGQS
RRIQA
PSNR
VQM
VQM SSIMVIFRRIQADMOSp-PSNR
NRJPEGQS
Un
idad
docen
te d
e
Red
es d
e C
om
pu
tad
ore
sG
rup
o d
e A
rqu
itectu
ra y
Tecn
olo
gía
d
e C
OM
pu
tad
ore
s (
GA
TC
OM
)U
niv
ers
idad
Mig
uel H
ern
án
dez
ComportamientoComportamiento
10
H264 & Foreman QCIF
-10
0
10
20
30
40
50
60
70
80
90
100
0 150 300 450 600 750 900 1050 1200 1350 1500
Bitrate (Kbps)
DM
OS
p
SSIM
VIF
NRJPEGQS
RRIQA
PSNR
VQM
Entonces, ¿Cual es mejor?
Un
idad
docen
te d
e
Red
es d
e C
om
pu
tad
ore
sG
rup
o d
e A
rqu
itectu
ra y
Tecn
olo
gía
d
e C
OM
pu
tad
ore
s (
GA
TC
OM
)U
niv
ers
idad
Mig
uel H
ern
án
dez
ComportamientoComportamiento
11
H264 & Foreman QCIF
-10
0
10
20
30
40
50
60
70
80
90
100
0 150 300 450 600 750 900 1050 1200 1350 1500
Bitrate (Kbps)
DM
OS
p
SSIM
VIF
NRJPEGQS
RRIQA
PSNR
VQM
En la comparativa R/D ¿Cuáles son las exigencias a una métrica objetiva?
¿Qué métrica cumple mejor las exigenciasen este ámbito de estudio de la calidad ?
Un
idad
docen
te d
e
Red
es d
e C
om
pu
tad
ore
sG
rup
o d
e A
rqu
itectu
ra y
Tecn
olo
gía
d
e C
OM
pu
tad
ore
s (
GA
TC
OM
)U
niv
ers
idad
Mig
uel H
ern
án
dez
ExpectativasExpectativas
• Expectativa A :– Existen umbrales (bitrate) para los cuales la percepción de la
calidad satura. Umbral alto y bajo.– Los valores de las métricas por encima y debajo de los
umbrales debería permanecer prácticamente constante.
• Expectativa B – Dentro de los umbrales la calidad debe decrecer
monotónicamente conforme decrece el bitrate.
• Expectativa C– Para un determinado bitrate, la ordenación objetiva de
diferentes codecs debería coincidir con la ordenación perceptual.
12
Un
idad
docen
te d
e
Red
es d
e C
om
pu
tad
ore
sG
rup
o d
e A
rqu
itectu
ra y
Tecn
olo
gía
d
e C
OM
pu
tad
ore
s (
GA
TC
OM
)U
niv
ers
idad
Mig
uel H
ern
án
dez
Simple Subjective TestsSimple Subjective Tests
13
Un
idad
docen
te d
e
Red
es d
e C
om
pu
tad
ore
sG
rup
o d
e A
rqu
itectu
ra y
Tecn
olo
gía
d
e C
OM
pu
tad
ore
s (
GA
TC
OM
)U
niv
ers
idad
Mig
uel H
ern
án
dez
SaturaciónSaturación
• Todas las métricas muestran el efecto de saturación La calidad desciende a medida que lo hace el bit-rate.
14
H264 & Foreman QCIF
-10
0
10
20
30
40
50
60
70
80
90
100
0 150 300 450 600 750 900 1050 1200 1350 1500
Bitrate (Kbps)
DM
OS
p
SSIM
VIF
NRJPEGQS
RRIQA
PSNR
VQM
Qu
alit
y
-
+
Un
idad
docen
te d
e
Red
es d
e C
om
pu
tad
ore
sG
rup
o d
e A
rqu
itectu
ra y
Tecn
olo
gía
d
e C
OM
pu
tad
ore
s (
GA
TC
OM
)U
niv
ers
idad
Mig
uel H
ern
án
dez
Fallos a Expectativa BFallos a Expectativa B
15
M-JPEG2000 & Foreman QCIF
-10
0
10
20
30
40
50
60
70
80
90
100
0 200 400 600 800 1000 1200 1400 1600Bitrate (Kbps)
DM
OS
p
SSIM
VIF
NRJPEG2000
RRIQA
PSNR
VQM
70.98 Kbps
135.65 Kbps
Un
idad
docen
te d
e
Red
es d
e C
om
pu
tad
ore
sG
rup
o d
e A
rqu
itectu
ra y
Tecn
olo
gía
d
e C
OM
pu
tad
ore
s (
GA
TC
OM
)U
niv
ers
idad
Mig
uel H
ern
án
dez
Fallos a Expectativa BFallos a Expectativa B
HRC /Métrica (Kbs) NRJPEGQS NRJPEG2000 RRIQA
Foreman QCIF - M-JPEG2000 71-136 71-136
Container QCIF - M-JPEG2000 83-137 * 83-137
Container QCIF - M-LTW83-137 *
137-232 *
Foreman CIF - M-JPEG2000209-371 *
371-639 *
Container CIF - M-JPEG2000 438-733 * 270-438
Container CIF - M-LTW270-438 *
438-733 *
Mobile ITU - M-JPEG2000 542-1142 *
16
Dentro de los umbrales la calidad debe decrecer monotónicamente conforme decrece el bitrate.
Un
idad
docen
te d
e
Red
es d
e C
om
pu
tad
ore
sG
rup
o d
e A
rqu
itectu
ra y
Tecn
olo
gía
d
e C
OM
pu
tad
ore
s (
GA
TC
OM
)U
niv
ers
idad
Mig
uel H
ern
án
dez
Comparativa incorrecta de una métricaComparativa incorrecta de una métrica
17
Un
idad
docen
te d
e
Red
es d
e C
om
pu
tad
ore
sG
rup
o d
e A
rqu
itectu
ra y
Tecn
olo
gía
d
e C
OM
pu
tad
ore
s (
GA
TC
OM
)U
niv
ers
idad
Mig
uel H
ern
án
dez
Comparativa de codecsComparativa de codecs
18
Un
idad
docen
te d
e
Red
es d
e C
om
pu
tad
ore
sG
rup
o d
e A
rqu
itectu
ra y
Tecn
olo
gía
d
e C
OM
pu
tad
ore
s (
GA
TC
OM
)U
niv
ers
idad
Mig
uel H
ern
án
dez
Comparación – Subjetivos y ResultadosComparación – Subjetivos y Resultados
19
1º 2º 3º
A B C
Se ve mejor
Se ve peor
Un
idad
docen
te d
e
Red
es d
e C
om
pu
tad
ore
sG
rup
o d
e A
rqu
itectu
ra y
Tecn
olo
gía
d
e C
OM
pu
tad
ore
s (
GA
TC
OM
)U
niv
ers
idad
Mig
uel H
ern
án
dez
20
Model Description and MANET ScenariosModel Description and MANET Scenarios
• Se ha usado un modelo HMM específicamente parametrizado para reproducir los patrones de perdidas de paquetes en distintos escenarios MANET’s:– Escenarios de Congestión
• Son 6 escenarios (M1-M6) con nodos estáticos. Cada escenario incrementea el número de fuentes de video.
– Escenarios de Movilidad• Son 3 escenarios (S1-S3) con una úncia fuente de video, pero cada escenario
incrementa la mobilidad de sus nodos (1-3 m/s).
• La MANET está modelada como sigue:– 50 nodos moviéndose en una rea de 870m2 – Movilidad basad en el modelo random way-point.– Routing protocol is DSR– Nodos equipados con IEEE 802.11g/e transmitiendo a at 54 Mbit/s hasta
250 m.– Tráfico de fondo – transmitiendo por FTP/TCP. – Tráfico son bitstreams codificados con H.264 a 1Mbit/s.
Un
idad
docen
te d
e
Red
es d
e C
om
pu
tad
ore
sG
rup
o d
e A
rqu
itectu
ra y
Tecn
olo
gía
d
e C
OM
pu
tad
ore
s (
GA
TC
OM
)U
niv
ers
idad
Mig
uel H
ern
án
dez
21
Tipos de ráfagas de perdida de paquetesTipos de ráfagas de perdida de paquetesConsecutives Packets Lost (CPL)Consecutives Packets Lost (CPL)
• Analizando la salida del modelo HMM para cada escenario, clasificamos las ráfagas de paquetes perdidos como:– Isolated bursts
• Menos de 7 CPL (1-frame)
– Consecutive Small Bursts • Varias Isolated consecutivas separadas por hasta máximo 14
paquetes enviados.
– Wide bursts • De más de 7 CPL hasta incluso mayores de 1000 CPL
Un
idad
docen
te d
e
Red
es d
e C
om
pu
tad
ore
sG
rup
o d
e A
rqu
itectu
ra y
Tecn
olo
gía
d
e C
OM
pu
tad
ore
s (
GA
TC
OM
)U
niv
ers
idad
Mig
uel H
ern
án
dez
22
Componiendo la secuencia recibidaComponiendo la secuencia recibida
La secuencia original : • Foreman repetida N veces hasta un total de 5000 frames • Con el H.264/AVC RTP bitstremas a diferentes bit-rates.• El codificador se configura :
– Codificar un frame I cada 30 frames P – Sin frames de tipo B – 7 slices por frame Forzando a que cada slice en un paquete separado.– Error resilience and concealment options have been enabled – 1/3 de los macrobloclks se codifican intra.
• Con esta configuración el decodificador ha podido reconstruir secuencias con más de 1000 paquetes consecutivos perdidos.
La secuencia recibida:• Si la ráfaga de paquetes perdidos completa un frame:
– En la secuencia de salida del decodificador se inserta un frame en el lugar del perdido, siendo el frame replicado el último recibido.
• De esta forma la secuencia recibida tendrá la misma longitud que la original.
Un
idad
docen
te d
e
Red
es d
e C
om
pu
tad
ore
sG
rup
o d
e A
rqu
itectu
ra y
Tecn
olo
gía
d
e C
OM
pu
tad
ore
s (
GA
TC
OM
)U
niv
ers
idad
Mig
uel H
ern
án
dez
23
Análisis del comportamiento de las MétricasAnálisis del comportamiento de las Métricas
• Comparación del PSNR a diferentes niveles de compresión ante una ráfaga larga de paquetes perdidos (Wide burst).
0
5
10
15
20
25
30
35
40
45
2325 2345 2365 2385 2405 2425 2445 2465 2485 2505 2525 2545 2565 2585
Frame Number
PS
NR
-y (
dB
)
Model 2 High Compression
Model 2 Medium Compression
Model 2 Low Compression
Un
idad
docen
te d
e
Red
es d
e C
om
pu
tad
ore
sG
rup
o d
e A
rqu
itectu
ra y
Tecn
olo
gía
d
e C
OM
pu
tad
ore
s (
GA
TC
OM
)U
niv
ers
idad
Mig
uel H
ern
án
dez
24
Metric Comparison for a Wide BurstMetric Comparison for a Wide Burst
Comportamiento de las QAM ante la misma ráfaga anterior.
Un
idad
docen
te d
e
Red
es d
e C
om
pu
tad
ore
sG
rup
o d
e A
rqu
itectu
ra y
Tecn
olo
gía
d
e C
OM
pu
tad
ore
s (
GA
TC
OM
)U
niv
ers
idad
Mig
uel H
ern
án
dez
25
Metric Comparison for a Wide BurstMetric Comparison for a Wide Burst
First frame after the burst. P frame.
Frozen frame
original sequence distorted sequence
Un
idad
docen
te d
e
Red
es d
e C
om
pu
tad
ore
sG
rup
o d
e A
rqu
itectu
ra y
Tecn
olo
gía
d
e C
OM
pu
tad
ore
s (
GA
TC
OM
)U
niv
ers
idad
Mig
uel H
ern
án
dez
26
Metric Comparison for Isolated Short BurstsMetric Comparison for Isolated Short Bursts
• Solo SSIM, VIF y PSNR-DMOSp reaccionan ante la leve perdida de calidad.
15
20
25
30
35
40
45
10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
Frame Number
DM
OS
p
SSIM
VIF
NRJPEGQS
NRJPEG2000
RRIQA
PSNR-DMOSp
Un
idad
docen
te d
e
Red
es d
e C
om
pu
tad
ore
sG
rup
o d
e A
rqu
itectu
ra y
Tecn
olo
gía
d
e C
OM
pu
tad
ore
s (
GA
TC
OM
)U
niv
ers
idad
Mig
uel H
ern
án
dez
27
Metric Comparison for Consecutive Short BurstsMetric Comparison for Consecutive Short Bursts
15
20
25
30
35
40
45
50
55
60
65
70
75
80
305 310 315 320 325 330 335 340 345 350 355 360 365 370 375
Frame Number
DM
OS
p
SSIM
VIF
NRJPEGQS
NRJPEG2000
RRIQA
PSNR-DMOSp
• Las últimas dos ráfagas solo son detectadas como ráfagas independientes por VIF y SSIM
• La NRJPEGQS detecta algunas de las ráfagas, cuando el efecto blocking es mayor.
Un
idad
docen
te d
e
Red
es d
e C
om
pu
tad
ore
sG
rup
o d
e A
rqu
itectu
ra y
Tecn
olo
gía
d
e C
OM
pu
tad
ore
s (
GA
TC
OM
)U
niv
ers
idad
Mig
uel H
ern
án
dez
28
Metric Comparison for Consecutive Short BurstsMetric Comparison for Consecutive Short Bursts
15
20
25
30
35
40
45
50
55
60
65
70
75
80
305 310 315 320 325 330 335 340 345 350 355 360 365 370 375
Frame Number
DM
OS
p
SSIM
VIF
NRJPEGQS
NRJPEG2000
RRIQA
PSNR-DMOSp
Original Sequence for frames 362 & 363
Frame 362 Frame 363
Un
idad
docen
te d
e
Red
es d
e C
om
pu
tad
ore
sG
rup
o d
e A
rqu
itectu
ra y
Tecn
olo
gía
d
e C
OM
pu
tad
ore
s (
GA
TC
OM
)U
niv
ers
idad
Mig
uel H
ern
án
dez
29
ConclusionesConclusiones
• Escenario de Compresión1. Todas las métricas cumplen la Expectativa A 2. Solo RRIQA y NRJPEG2000 fallan en la Expectativa B.
1. RRIQA solo falla con un HRC QCIF2. NRJPEG2000 falla con más HRCs y de distinto tamaño.
3. En la Expectativa C los mejores resultados son para 1. MMSIM para FR 2. RRIQA cuando no hay Referencia.
• Escenario de Perdida de Paquetes1. Métricas NR no detectan la caída de calidad producida por la perdida
de varios frames consecutivos. 2. La métrica RR tiene un comportamiento no determinista ante la
perdida de paquetes, teniendo dificultad en la identificación de este hecho cuando el video tiene tasas de compresión medias-altas.
3. Las métricas MSSIM, PSNR-DMOSp y VIF muestran un comportamiento equivalente excepto en determinados casos
Accuracy Computational Cost
MSSIMProponemos MSSIM como compromiso entre alta fidelidad a la valoración subjetiva (VIF) y coste computacional (PSNR-DMOSp).