Medidas de calidad en vídeo

Dr. José Ramón Cerquides BuenoDepartamento de Teoría de la Señal y Comunicaciones

Escuela Técnica de IngenieríaUniversidad de Sevilla

Organización• Introducción• Tipos de medida• Algunas métricas populares• UHD y la experiencia en el 4K Summit de Sevilla• Conclusiones• Referencias• Turno de preguntas

Infinidad de plataformas

Cientos de codecs

Decenas de contenedores

Múltiples sistemas de transmisión

Introducción• Preocupación creciente

por la QoE (Calidad de la Experiencia) de usuario.• Necesidad de herramientas para medir la calidad del material de vídeo.

Tipos de medidas• Subjetivas:

• Costosas• Lentas• Fiables

• Técnicas• Estímulo sencillo (ACR, ACR-

HR, SSCQE…)• Doble estímulo (DSIM, DSCQS,

PC…)• Resultados:

• MOS• DMOS

• Objetivas:• Baratas• Rápidas• Fiabilidad relativa

• Técnicas• Full-Reference• Reduced-Reference• No-Reference

• Resultados:• Según el métodoCorrelación

Medidas objetivasFull-Reference

Reduced-Reference No-Reference

Evaluación de la

calidad

Q Q

Evaluación de la

calidad

Extracción de

parámetros

Q

Evaluación de la

calidad

Algunas métricas popularesFull and Reduced

Reference

Métricas tradicionales

MSE, PSNR

Características visuales naturales

Estadísticas

SSIM, MS-SSIM…

Características

VQM, NTT…

Características perceptuales

(HVS)

Dominio frecuencial

MOVIE, MPQM…

Dominio espacial

PEVQ, VSNR

Algunas métricas popularesMétrica PCC (Pearson

Correlation Coefficient)SROCC (Spearman Rank Order Correlation Coefficient)

PSNR 0,5489 0,5233SSIM 0,5423 0,5251VSNR 0,6884 0,6725MS-SSIM 0,7387 0,7321VQM 0,72361 0,7026MOVIE 0,8116 0,7980

Experiencia en el 4K Summit de Sevilla

• Colaboración:

• Hitos:• Establecimiento de un canal de pruebas DVB-T2 con señales 4K y HD• Puesta en marcha de un servicio de TV Interactiva (HbbTV) en formato

4K• Evaluación de la calidad de la codificación de video 4K

Experiencia en el 4K Summit de Sevilla• OBJETIVO: evaluar la calidad de video 4K codificados

a diferentes bitrates • HERRAMIENTAS:

Material de video analizado4K - Original

4K – 40 Mbps

4K-25 Mbps 4K-10 Mbps HD-6 Mbps

Duración 01:26:17 01:26:17 01:26:17 01:26:17 01:26:17

Tamaño 4K (3840 x 2160) 4K (3840 x 2160) 4K (3840 x 2160) 4K (3840 x 2160) HD1080i (1920x1080)

Profundidad de color 10 bits 8 bits 8 bits 8 bits 8 bits

Fps 50 50 50 50 25 (50 campos/s)

Bitrate 1453857 Kbps 40325 Kbps 25140 Kbps 10408 Kbps 6164 Kbps

Códec 4:2:2 4:2:0 YUV Full Scale 4:2:0 YUV Full Scale 4:2:0 YUV Full Scale 4:2:0 YUV

Chroma subsampling Apple ProRes 422 H265 H265 H265 H264

Tamaño 943 Gbytes 25’5 GBytes 16’5 GBytes 6’5 GBytes 3’9 GBytes

Experiencia en el 4K Summit de Sevilla• PROCEDIMIENTO:

FFMPEG• Extracción

de una secuencia de video sin comprimir a 1fps

Matlab•Alineación espacio-temporal de las dos secuencias a comparar

VQMT - BVQM•Evaluación de diferentes métricas de calidad (PSNR, SSIM, MS-SSIM, VIFP, VPSNR, VQM)

EXCEL - Matlab •Presentación de resultados

Experiencia en el 4K Summit de Sevilla• RESULTADOS:

• CONCLUSIONES:• Hay una diferencia apreciable de calidad entre 4K y HD• Incrementar el bitrate por encima de 15 Mbps en 4K no

parece introducir mejoras claramente apreciables

4K-40 Mbps 4K-25 Mbps 4K-10 Mbps HD – 6 MbpsPSNR 46,94 46,41 44,48 37,61SSIM 0,9889 0,9879 0,9835 0.9406MS-SSIM 0,9953 0,9946 0,991 0,9666VQM 0,1138 0,1297 0,2022 0,3924

Referencias• Chikkerur, S., Sundaram, V., Reisslein, M., & Karam, L. J. (2011).

Objective video quality assessment methods: A classification, review, and performance comparison. IEEE Transactions on Broadcasting, 57(2), 165-182.• Cisco Visual Networking Index: Forecast and Methodology, 2015–2020• Qualinet White Paper on Definitions of Quality of Experience (2012). 

European Network on Quality of Experience in Multimedia Systems and Services (COST Action IC 1003), Patrick Le Callet, Sebastian Möller and Andrew Perkis, eds., Lausanne, Switzerland, Version 1.2, March 2013.• Methodology for the Subjective Assessment of the Quality of Television

Pictures, ITU-R Recommendation BT.500-11.

Referencias• Objective perceptual multimedia video quality

measurement in the presence of a full reference, ITU-T Recommendation J.247, Aug 2008.• Image and Video QUality Evaluation SofTware

http://lab.engineering.asu.edu/ivulab/software/ivquest/• 4K SUMMIT, Sevilla, Nov. 2016,

http://www.4ksummit.com/• Cerquides, J.R.,“Análisis de calidad de vídeo 4K y HD a

diferentes bitrates para el 4K Summit 2016”, Noviembre 2016

Gracias por su atención