representaciÓn de palabras como vectores (word vector
TRANSCRIPT
REPRESENTACIÓN DE PALABRAS COMO VECTORES(WORD VECTOR REPRESENTATIONS)
SEMINARIO DE APRENDIZAJE PROFUNDO APLICADO AL PROCESAMIENTO DE LENGUAJE NATURAL
2016
¿QUÉ TAREAS QUEREMOS HACER?
• Clasificación
• Recuperación de información (information retriveal)
• Traducción
• Reconocimiento de voz (speech recognition)
• Análisis de sentimiento (Sentiment analisys)
• Otros NER, SRL, POS, etc…
¿CÓMO LO HACEMOS?
Entrada (texto)
Algoritmo de aprendizaje
Salida
EL PROBLEMA….
• La computadora no entiende
palabras.
• Podemos enumerar todas las
palabras del vocabulario V con el
que trabajamos y mapear estas
palabras con números del 1 al |V|.
Palabra Id (w)
Soleado 1
Es 2
Día 3
Un 4
Hoy 5
Vocabulario
Hoy es un día soleado
5 2 4 3 1
PERO….
• Si usamos este enfoque le estamos brindando información que seguramente es
falsa al algoritmo de aprendizaje por lo que puede llegar a resultados
erróneos.
• PRINCIPALES PROBLEMAS
• Distancia entre palabras
• Relación de orden entre palabras
ONE-HOT ENCODING
• Utilizamos vectores de tamaño |V|
• Utilizamos la representación que mapea una palabra a un número
• El vector (one-hot vector) que la palabra con un determinado id, es un vector lleno
de ceros salvo en la posición id donde contiene un 1.
• De esta forma tenemos vectores ortogonales que mantienen la distancia y no tienen
un orden implícito.
• Siguiendo el ejemplo anterior:
Día (id=3)
Soleado (id=1)
0 0 1 0 0
1 0 0 0 0
PROBLEMAS CON ONE-HOT ENCODING
• Dimensión muy alta (high-dimensional)
• La dimensión de los vectores es igual al tamaño del vocabulario
• Seguramente decenas o cientos de miles
• Los problemas
• Posibilidad de sobreajuste (Overfitting).
• Millones de entradas pueden significar millones de parámetros a ajustar
• Computacionalmente costoso
• No todas las operaciones se pueden realizar con matrices dipersas (ej reconstrucción en autoencoders)
• No agrega información
• Evita asunciones falsas por parte del algoritmo de aprendizaje, pero no aporta información verdadera acerca
de relaciones entre las palabras
WORD EMBEDDING
• Cada palabra se representa con un vector
• Vectores “densos”
• Usualmente de dimensión entre 50 y 1000
• Auto-aprendidos
• Palabras semánticamente similares tienen representaciones similares o
“cercanas”.
EJEMPLO
UN POCO DE HISTORIA…
• El término “word embedding”, nace en 2003 en un trabajo de Bengio et al.
• Los primero en demostrar la utilidad de “word embeddings” pre-entrenados
fueron Collobert y Weston en 2008
• En 2014 Mikolov et al. liberaron word2vec, lo que tuvo un gran impacto y
popularizó este método
• Decenas de trabajos se han realizado basados en word2vec, muchos de ellos
alcanzando el estado del arte para el área que trataban.
WORD EMBEDDINGS - PRINCIPALES MÉTODOS
• Latent Semantic Indexing (Deerwester et al., ’88).
• Neural Net Language Models (NN-LMs) (Bengio et al., ’06)
• Convolutional Nets for tagging (SENNA) (Collobert & Weston, ’08).
• Supervised Semantic Indexing (Bai et al, ’09).
• Wsabie (Weston et al., ’10).
• Recurrent NN-LMs (Mikolov et al., ’10).
• Recursive NNs (Socher et al., ’11).
• Word2Vec (Mikolov et al., ’13).
• Paragraph Vector (Le & Mikolov, ’14).
MODELADO DEL LENGUAJE
• Un modelo de lenguaje es un modelo probabilístico que asigna
probabilidades a cualquier secuencia de palabras p(w1, ... ,wT).
• Modelado de lenguaje es la tarea de aprender un modelo de lenguaje que asigna altas
probabilidades a oraciones bien formadas.
• Desempeña un papel crucial en los sistemas de traducción de reconocimiento de voz y de
la máquina
A smart person
Una persona inteligente
A person smart
MODELO DE N-GRAMA
• Un n-grama es una secuencia de n palabras
• Unigramas (n=1): “es”, “una”, “secuencia”, etc.
• Bigramas (n=2): [“es”, “una”], [“una”, “secuencia”], etc.
• Trigramas (n=4): [“es”, “una”, “secuencia”], [ “una”, “secuencia”, “de”], etc.
• Permiten hacer una predicción estadística del próximo elemento de cierta
secuencia de elementos sucedida hasta el momento.
• Los recuentos de n-gramas son obtenidos de un corpus de entrenamiento.
PROBLEMAS CON EL MODELO DE N-GRAMA
• Problema: Data sparsity
• Queremos un “n” grande para que el modelo sea realista
• Pero… para valores grandes de “n”, es probable que un n-grana no haya sido
observado en el corpus de entrenamiento.
• Podemos intentar “suavizar” los recuentos
• Combinar count(w1 , w2 , w3 , w4), count(w2 , w3 , w4), count(w3 , w4), and count(w4) para
estimar p(w4 |w1, w2, w3)
• Esto resuelve el problema tan solo en parte
HIPÓTESIS DISTRIBUCIONAL
• La hipótesis distribucional (Distributional Hypothesis), en lingüística se deriva
de la teoría semántica de uso del lenguaje, es decir
• Las palabras que son utilizadas y aparecen en contextos iguales tienden a tener
significados similares.
“words that are used and occur in the same contexts tend to purport similar meanings.”
Harris, Z. (1954). Distributional structure
• Conocerás una palabra por la compañía que mantiene.
‘You shall know a word by the company it keeps’. Firth, J.R. (1957). A synopsis of linguistic
theory 1930-1955
MODELO DE LENGUAJE DE REDES NEURONALES
• Modelar la probabilidad
p(wt | wt−(n−1) , ... ,wt−1)
Mediante una red neuronal
• Podremos aprender representaciones de
palabras que permitan un mapeo para n-
gramas que no han sido observados.
• Para generar una probabilidad se utiliza
una capa softmax
Classic neural language model (Bengio et al., 2003)
MODELO DEL LENGEUAJE DE REDES NEURONALES
• Potencialmente puede generalizar a contextos que no han sido observados en
el conjunto de entrenamiento.
• Ejemplo: P(“comiendo” | “el”, ”gato”, ”está”)
Imaginemos que el 4-grama [“el”, “gato”, “está”, ”comiendo” ] no está en el corpus de
entrenamiento, pero [“el”, “perro”, “está”, ”comiendo” ] sí lo está.
Si las representaciones de “gato” y “perro” son similares, entonces la red neuronal
puede ser capaz de generalizar al caso del “gato”
Las redes neuronales pueden aprender representaciones de palabras similares para
estas palabras basado en otro 4-gramas como:
[“el”, “gato”, “está”, ” durmiendo” ]
[“el”, “perro”, “está”, ”durmiendo” ]
WORD2VEC
• Herramienta para el cálculo de las representaciones de palabras distribuidas y
continuas.
• Presentado en “Efficient Estimation of Word Representations in Vector Space.”
Mikolov et al. (2013) - Google
• ¿Deep learning?
• Sin capas ocultas…
• 2 algoritmos
• Modelo CBOW (continuous bag of words)
• Red neuronal de una capa
• Modelo Skip-gram
WORD2VEC
• Diferencias con enfoques anteriores (como NNLM)
• Elimina la capa oculta no lienal
• Utiliza una ventana (toma como contexto el pasado y el futuro)
• La capa de proyección se comparte para todas las entradas
• Utiliza métodos de optimización como “negative sampling”
WORD2VEC – ESTRUCTURA GENERAL
https://iksinc.wordpress.com/tag/continuous-bag-of-words-cbow/
WORD2VEC – ESTRUCTURA GENERAL (EJEMPLO)
• Supongamos que tenemos el corpus:
• “the dog saw a cat”, “the dog chased the cat”, “the cat climbed a tree”
• Usamos vectores de dimensión tres (3 neuronas en la capa oculta)
• Por lo tantos las matrices WI and WO serán de 8×3 y 3×8 respectivamente
• Inicializamos los valores para las matrices de forma aleatoria
WI =
WO =
WORD2VEC – ESTRUCTURA GENERAL (EJEMPLO 2)
• Nos interesa aprender la relación entre las palabras “cat” y “climbed”
• O sea queremos que la red neuronal muestre con alta probabilidad “climbed” cuando la
palabra “cat” es la entrada de la red.
• Utilizamos one-hot encoding para representar las palabras.
• El vector de entrada correspondiente a la palabra “cat” es [0 1 0 0 0 0 0 0]t
• El vector objetivo correspondiente a la palabra “climbed” es [0 0 0 1 0 0 0 0 ]t
• Ht = XtWI = [-0.490796 -0.229903 0.065460]
• Ht coincide con la 3er fila de la matriz WI
WORD2VEC – ESTRUCTURA GENERAL (EJEMPLO 3)
• La salida de la red (del tamaño del vocabulario) es
• HtWO = [0.100934 -0.309331 -0.122361 -0.151399 0.143463 -0.051262 -
0.079686 0.112928]
• Siendo que lo que queremos calcular es la probabilidad Pr(wordk|wordcontext) para
k=1,..,|V|
• Para esto word2vec utiliza softmax que se puede calcular de la siguiente forma:
• activation(n) representa la salida de la n-esima neurona de la capa de salida
WORD2VEC – ESTRUCTURA GENERAL (EJEMPLO 4)
• Por lo tanto las probabilidades para las neuronas de la capa de salida:
[ 0.143073, 0.094925, 0.114441, 0.111166, 0.149289, 0.122874, 0.119431, 0.144800 ]
• Dado el vector objetivo [0 0 0 1 0 0 0 0 ]t, el vector de error se puede calcular
fácilmente restando el vector de probabilidades al vector objetivo.
• Luego simplemente mediante backpropagation se propaga el error hacia atrás y
se ajustan los valores.
• Al final la matriz WI contiene los vectores que representan las palabras.
SKIP-GRAM AND CBOW MODELS
Efficient Estimation of Word Representations in Vector Space by Tomas Mikolov, et al.
MODELO CBOW
• Dado un contexto (una ventana de palabras), busca predecir una palabra
objetivo (o palabra actual).
• Ej. Dados wi-2, wi-1, wi+1, wi+2 wi
• Tres capas
• Capa de entrada
• Capa de proyección
• Capa de salida
• Se llama “Continuous bag-of-words” ya que no tiene en cuenta el orden de
las palabras,
MODELO CBOW
• En este caso tenemos C palabras en el contexto que
se corresponden con C entradas.
ℎ =1
𝐶𝑊 𝑥1 + 𝑥2 +⋯+ 𝑥𝐶 =
1
𝐶(𝑣𝑤1 + 𝑣𝑤2 +⋯+ 𝑣𝑤𝑐)
• Donde C es el número de entradas, x1,…,xC son las
entradas, y vw1,…,vwC son los vectores de w que
corresponden a cada palabra
• Al ajustar los pesos en el backpropagation debemos
recordar que hicimos esta modificaciónword2vec Parameter Learning Explained - Xin Rong
MODELO SKIP-GRAM
• Dada una palabra intenta predecir el contexto en el que aparecerá.
• Ej. Dado wi wi-2, wi-1, wi+1, wi+2
• Tres capas
• Capa de entrada
• Capa de proyección
• Capa de salida
• Mikolov recomienda su uso junto a Negative Sampling ya que da mejores
resultados que CBOW en tareas similares.
MODELO SKIPGRAM
• En este caso tenemos C palabras en el contexto
que se corresponden con C salidas.
• Se calcula una salida para cada palabra de
contexto. Se utiliza el mismo W’ (WO), pero se
calcula el softmax para cada palabra.
• Se utiliza:
• Luego se calcula el vector de error para cada
palabra, y se suman los errores.word2vec Parameter Learning Explained - Xin Rong
OPTIMIZANDO WORD2VEC
• Hierarchical softmax – Huffman Tree
• Evita el cálculo de la probabilidad para todas las palabras del lenguaje.
• Sub-sampling de palabras frecuentes
• Algunas palabras como (“un”, “el”, en”, “y”,…) aparen mucho (incluso cientos de milllones
de veces) pero no aportan mucha información.
• Negative Sampling
• Para la fórmula p(c | w) = v_c * v_w/sum(v_c1 * v_w). Evita el cálculo de todos los
posibles conextos en denominador (sum) eligiendo unos pocos de forma aleatoria.
ALGUNAS PROPIEDADES INTERESANTES
https://www.tensorflow.org/versions/r0.7/tutorials/word2vec/index.html
ALGUNAS PROPIEDADES INTERESANTES
• Captura relaciones sintácticas y
semánticas de una forma sencilla
• vector(”King”) - vector(”Man”) +
vector(”Woman”)
Da como resultado un vector muy
cercano a vector(“Queen”)
WORD2VEC RESULTADOS
• Simplifica la arquitectura con respecto a otros modelos que se venían
utilizando hasta el momento
• Agrega optimizaciones como “Negative Sampling” que hacen los algorimos
más eficientes
• Gracias a estas optimizaciones permite entrenar el modelo con una gran
cantidad de datos en menor tiempo.
• En los papers se llega a entrenar el algoritmo para 1600 millones de
palabras (1.6 billon)
WORD2VEC RESULTADOS
Relationship pairs in a word embedding. From Mikolov et al. (2013b).
WORD2VEC RESULTADOS
Nótese que la dimensión para NNLM es 100 ya que el
entrenamiento para la dimensión 1000 tardaría mucho
tiempo.
Efficient Estimation of Word Representations in
Vector Space - Mikolov et al.
WEVI - DEMO
• Herramienta para visualizar el
mecanismo básico de trabajo de
word2vec
• Aprende vectores de palabras
utilizando word2vec (el mecanismo
más básico) en un pequeño
vocabulario.
• Puede ayudar a entender el modelo
• https://ronxin.github.io/wevi/
ALGUNAS APLICACIONES - TRADUCCIONES
• Representaciones de números
y animales en vectores de
palabras. A la izquierda en
inglés, a la derecha español.
• Los vectores fueron
proyectados a 2 dimensiones.
Se puede ver que en ambos
casos hay una estructura
similar, lo que indica que es
podría ser posible aprender
un mapeo lineal de un
espacio a otro.
Exploiting Similarities among Languages for Machine Translation – Mikolov et al.
ALGUNAS APLICACIONES - IMÁGENES
• Reconocer imágenes nunca vistas
• (generalizar desde objetos conocidos)
• En este caso se entrenó la red con imágenes
conocidas como auto, caballo, perro.
• Se le mostró a la red la imagen de un gato y
la red la convirtió en un vector cercano a
gato (y a perro)
• Se le mostró la imagen de un camión y la
convirtió en un vector cercano a camión
Zero-Shot Learning Through Cross-Modal Transfer – Socher et al.
ALGUNAS APLICACIONES – DESCRIBIR IMÁGENES
• Show and tell. Intenta describir
automáticamente el contenido de
una imagen.
Show and Tell: A Neural Image Caption Generator – Vinyals et al
ALGUNAS APLICACIONES – SHOW AND TELL
OTRAS APLICACIONES
• Dependency parsing
• Named entity recognition
• Document classification
• Sentiment Analysis
• Paraphrase Detection
• Word Clustering
• Machine Translation
GLOVE (GLOBAL VECTORS)
• Metodos basados en conteo
• Entrenamiento más rápido
• Uso eficiente de estadísticas
• Principalmente utilizado para capturar
similitud de palabras
• Da importancia desproporcionada a
conteos grandes
• Métodos de predicción directa
• Escala con el tamaño del corpus
• Uso ineficiente de estadísticas
• Mejora la performance en situaciones
no vistas
• Puede capturar patrones complejos
más allá de la similitud de palabras
GLOVE
• Metodo basado en conteo
• Reune las ventajas de ambos mundos
• Entrenamiento rápido
• Escala a grandes corpus
• Buen desempeño incluso para corpus pequeños y para vectores pequeños
• Toma como base que la estadística de la ocurrencia de palabras es la
principal fuente de información disponible para aprender representaciones
de palabras mediante métodos de aprendizaje no supervisado
GLOVE – IDEA BASE
• Utiliza una matriz de coocurrencias.
• Cuenta palabras en el contexto de
una palabra objetivo.
• Calcula la relación entre
probabilidades de una palabra
dadas otras dos que se quieren
relacionar.
GloVe: Global Vectors for Word Representation
Pennington et. Al.
GLOVE – IDEA BASE (EJEMPLO)
• Si la palabra k está relacionada a “ice” pero no a “steam”, en el ejemplo
k = “solid”, la relación p(solid|ice)/p(solid|steam) será grande (mucho
mayor que 1).
• Si la palabra k está relacionada a “steam” pero no a “ice”, en el ejemplo
k = “gas”, la relación p(gas|ice)/p(gas|steam) será pequeña (mucho
menor que 1).
• En cambio si la palabra k no está relacionada con ninguna o si está
relacionada con ambas de forma similar, la relación debería ser cercana
a 1.
RESULTADOS
• frog
• frogs
• toad
• litoria
• leptodactylidae
• rana
• lizard
• eleutherodactylus
Vecinos cercanos a “frog”
http://nlp.stanford.edu/projects/glove/
GLOVE – RESULTADOS - NÚMEROS
GloVe: Global Vectors for Word Representation Pennington et. Al.
PREGUNTAS
• Comentarios ?
• Ideas locas ?