el estandar mpeg-4 pid jose baena roca el estándar mpeg-4 introducción. funcionalidades....
Post on 23-Jan-2016
228 Views
Preview:
TRANSCRIPT
EL ESTANDAR MPEG-4
PID JOSE BAENA ROCA
El estándar MPEG-4El estándar MPEG-4
• Introducción.
• Funcionalidades.
• Estructura y sintaxis.
• Codificación y decodificación.
• Escalabilidad.
• Manipulación y reutilización de objetos.
La TV analógicaLa TV analógica• Ha sido el único sistema de comunicación
de vídeo.
• No ha experimentado cambios sustanciales en cuarenta y tantos años.
• Es el primer sistema de compresión.
• Sistema de comunicación unidireccional.
• El usuario es un simple espectador.
Hacia donde vamosHacia donde vamos• La TV está cambiando a digital.
• Este cambio supone una nueva era en los sistemas de vídeo.
• El usuario dejará de ser un mero espectador.
• Se permite la interacción con el medio.
• Puede incluso crear y trasmitir sus contenidos.
• Existirán bases de datos con material para la composición de contenidos por parte del usuario.
Estándares de Estándares de codificacióncodificación 19981984 1988 1990 1992 1994 19961986
H.261 H.263
ITU
MPEG-4MPEG-1
MPEG-2ISO
EvoluciónEvoluciónTV analógica
Compresión de imagen y vídeo
•Esquemas basados en el pixel
•JPEG, H.26x, MPEG-1,2
Análisis de la imagen
•Detección y seguimiento de objetos
•Reconocimiento de objetos
MPEG-4
Areas de aplicaciónAreas de aplicación
• TV digital
• Contenidos multimedia para móviles
• Producción de TV (p.e. efectos especiales)
• Juegos
• Vídeo en la red
¿Qué nos ofrece MPEG-4?¿Qué nos ofrece MPEG-4?
Compresión
Interactividad
basada en el contenidoAcceso Universal
Ámbito y Ámbito y característicascaracterísticas
• Representar unidades de audio, vídeo y audiovisuales, que reciben el nombre de “media objects”
• Describir la composición de estos objetos para crear media objects compuestos que formarán las escenas audiovisuales.
• Multiplexar y sincronizar los datos asociados con los media objects.
• Interactuar con la escena audiovisual generada en el receptor final.
MPEG-4 permite:
Ámbito y Ámbito y característicascaracterísticasMPEG-4 intenta satisfacer las necesidades de los
autores, de los proveedores de servicio y de los usuarios.
Para los autores:
•permite la reutilización de contenidos y una gran
flexibilidad en su uso, dedicando una parte importante a
los derechos de autor.
Para los proveedores de servicios:
•permite un manejo de la información fácil para su uso
en redes heterogéneas.
Para los usuarios finales:
•ofrece altos niveles de interacción con el contenido
Representación Representación codificadacodificada
Media Objects Primitivos
SintéticosNaturales
Imágenes estáticasp.e. Un fondo fijo
Objetos de vídeop.e. Una persona
hablando
Objetos de audiop.e. La voz asociada a
una persona
Texto y gráficos
Cabezas parlantes sintéticas y el texto
asociado para el habla
Sonido sintético
EscenaEscenaMPEG-4MPEG-4
Cadenas de datosCadenas de datos•El descriptor del objeto identifica todas las
cadenas asociadas a un media object, lo que
permite el manejo jerárquico de los datos
codificados.
•Las cadenas de datos transportan marcas para
su sincronización e identificación.
•La capa de sincronización permite identificar el
tipo de la unidad de acceso en cadenas
elementales.
Interacción con los media Interacción con los media objectsobjectscambiar el punto de vista y/o recepción del sonido en la
escena, p.e. navegando a través de ella;
mover objetos de la escena a una posición diferente;
programar una serie de eventos pinchando sobre un objeto específico,
p.e. comienzo o parada de una secuencia de vídeo;
seleccionar el lenguaje deseado cuando esté habilitada la posibilidad de múltiples idiomas;
se pueden programas además clases de conducta más complejas,
p.e. un teléfono virtual suena, el usuario contesta y se establece
un enlace de comunicación
Principales Principales FuncionalidadesFuncionalidades
• DMIF (Delivery Multimedia Integration
Framework)
• Sistemas
• Audio
• Visual
• Interface de aplicación transparente para el punto distante.
• Control del establecimiento de los canales FlexMux.
• Uso de redes heterogéneas para la comunicación.
DMIFDMIF
• BIFS (Binary Format for Scenes).
• ODs (Object Descriptors).
• Interactividad.
• Herramienta FlexMux.
• Interfaces para terminales y redes. (MPEG-J).
• Capa de transporte independiente.
• Representación de texto.
• Control de los buffers de recepción.
• Identificación temporal, sincronización y mecanismos de recuperación.
• Encubrimiento de los datos de los Derechos de la Propiedad Intelectual.
SistemasSistemas
•Escalabilidad de la velocidad de transmisión.
•Escalabilidad del ancho de banda
•Escalabilidad de la complejidad del codificador y del decodificador.
•Escalabilidad de grano fino.
•Codificación de Audio Paramétrico.
Audio (1)Audio (1)
• Incremento de la robutez al error.
• Codificación de audio que combina alta calidad y bajo retraso.
• Espacialización ambiental.
• Canal de retorno.• Compresión CELP Silence, para las bajas
velocidades en la codificación del habla.• Bajo overhead.
Audio (2)Audio (2)
Visual (1)Visual (1)• Soporte de formatos y velocidades
diversas.
• Eficiencia de la compresión.
• Funcionalidades basadas en el contenido.
• Escalabilidad de texturas, imágenes y video.
• Codificación del contorno y del Alpha Channel.
Visual (2)Visual (2)• Seguridad en entornos propensos al error.
• Animación de caras.
• Animación de mallas 2D con Estructura implícita.
• Video natural.
• Animación de cuerpos.
• Codificación de mallas poligonales 3D.
Terminal MPEG-4Terminal MPEG-4
Derechos de AutorDerechos de Autor
Stream flow controller
Demux
SceneDescriptor
Graph
AVODecode
ObjectDescriptors
MPEG-4bitstream
IPMPS
Compositeand
Render
MPEG-JMPEG-J
El MPEG-4 VisualEl MPEG-4 Visual
Estructura y sintaxisEstructura y sintaxisVideoSession (VS)
VideoObject (VO)
VideoObjectLayer (VOL)
GroupOfVOP’s (GOV)
VideoObjectPlane (VOP)
VS1
VO1
VS1VS1
VS2
VS2...VSN
VOL1
GOV1
VO2
VO2...VON
VS1VS1
VOL2
VOL2...VOLN
VS1GOV2
GOV2...GOVN
VOP1VOP1 VOPK
VOP1... VOPK
VOP1VOPK+1
VOPK+1... VOPN
VOP1 VOP1VOP1
VOP1
VOP1... VOPN
Capa 1 Capa 2
Secuencia de VO’sSecuencia de VO’s
Secuencia de VO’sSecuencia de VO’s
Escena final
Codificación y Codificación y DecodificaciónDecodificación
• Una imagen es la suma de los objetos, el texto y el fondo que la conforman (VO’s).
• La codificación de los objetos se hace por separado.
• Los objetos son manipulables.
IMAGEN = +Text
o+
Codificación y Codificación y DecodificaciónDecodificación
Codificaciónde VO0
Codificaciónde VO1
Codificaciónde VOn
Decodificación de VO0
Decodificación de VO1
Decodificación de VOn
MUX
MUX
DComposiciónde VO’s
Salida de vídeo
Interacción del usuario Interacción del usuario
Formación de VO’s
Información de Vídeo
Cadena de datos
Codificación yCodificación y DecodificaciónDecodificación
Codificaciónde contornos
Codificaciónde textura
Codificaciónde
movimiento
Secuencia de vídeo
Formación del VOP
VOP 1
VOP n
VOP 3
VOP 2
Codificación y Codificación y DecodificaciónDecodificaciónD
E M
U L
T I P
L E
X O
R
Memoria VOP
Compensación del
movimiento
Decodificación
de la textura
Decodificación
del movimiento
Decodificación
del contorno
Compositor
Cadena d
e b
its Salida de Vídeo
Información del contorno
VOP Reconstruido
EJEMPLO DE DECODIFICACIÓN DE UN VOP
Codificador MPEG-4Codificador MPEG-4
Codificación de Codificación de contornoscontornos
• Codificación de contornos binaria.
Se trabaja con una matriz binaria que representa el
contorno del VOP (máscara binaria), si contiene el pixel contiene al VOP valdrá 255, y 0 en caso contrario.
• Codificación de contornos en escala de grises.
Cada elemento de la matriz puede tomar un valor dentro de un rango. Normalmente el rango suele ser de 0 a 255.
Codificación de Codificación de contornoscontornosCada VOP se divide en bloques más pequeños,
llamados macro bloques.
VOP
Ventana Rectangular que engloba el VOP
Binary Alpha Block, BAB(16x16 pixeles)
Tamaño múltiplo de 16
Codificación de Codificación de contornoscontornos
Cada BAB se codifica separadamente, y pueden ser codificados dentro de uno de los siguientes modos:
• El bloque se considera Transparente.• El bloque se considera Opaco.• Usando IntraCAE.• Usando InterCAE.• La MVD(*) es cero pero el bloque no se
actualiza.• La MVD no es cero, pero el bloque no se
codifica.• La MVD no es cero, pero el bloque se codifica.(*) Motion Vector Difference
Estimación del Estimación del movimiento y movimiento y
herramientas de herramientas de compensacióncompensación
Tiempo
I-VOP
B-VOP
P-VOP
Codificación de Codificación de texturatextura
luminancia
8
88
8luminancia
luminancia luminancia
crominancia crominancia
Proceso de Proceso de codificación de codificación de
textura de un VOPtextura de un VOP
DCT CuantificaciónCoeficiente de
predicción
Textura VOP
Coeficiente de escaneo
Codificación de longitud variable
Cadena de bits
Codificación de Codificación de texturatextura
+trama I
vector de movimiento
Predicción hacia
delante
compensación del error de la predicción
resultado
Codificación de Codificación de texturatextura
+
Error resilienceError resilience
• Resincronización
• Particionado de datos
• Código de extensión de la cabecera
• VLC’s reversibles
Codificación spriteCodificación sprite• Consiste esencialmente en una imagen
estática que podría ser transmitida una
vez solamente.
• Usualmente se emplea con objetos
sintéticos.
• El contorno y la textura se codifican como
un I-VOP.
EscalabilidadEscalabilidad
Preprocesadorde escalabilidad
MPEG-4EnhancementLayer Encoder
MPEG-4Base Layer
Encoder
MidprocessorPostprocesadorde escalabilidad
Midprocessor
MPEG-4EnhancementLayer Decoder
MPEG-4Base Layer
Decoder
M u
l t
i p
l e
x e
r
D e
m u
l t
i p
l e
x e
r
EscalabilidadEscalabilidadPermite decodificar solo una parte de una
cadena de bits y reconstruir imágenes o secuencias de imágenes con:
•la complejidad del decodificador reducida y por tanto de calidad reducida
•resolución espacial reducida
•resolución temporal reducida
•con igual resolución temporal y espacial pero con la calidad reducida
Manipulación de Manipulación de objetosobjetos
Los objetos de una escena son manipulados por separado
Manipulación de Manipulación de objetosobjetosPermite jugar con los sprites
+
Reutilización de Reutilización de contenidocontenido
Deco
difi
cador
Com
posi
tor
BD
Dem
ult
iple
xor
Codifi
cador
VO n
VO 1
...
Mult
iple
xor
BD
FIN
top related