Introduction

本来是在看一些关于NLP的一本老教材，但是鉴于现在组里RNN、CNN满天飞，忍不住先来窥探一下Deep Learning在NLP一些传统问题上有什么魔法。

The neural word embedding approach的优势

相比于LSA方法，neural word embeddings 可以变得更有意义，通过对一个或多个任务增加监督。

无监督的词向量学习

主要思想：一个词和它的上下文环境是一个学习正例；一个随机的词和前面那个一个样的上下文环境则给出了一个学习的反例。例如一个正例是cat chills on a mat，一个反例是cat chills Jeju a mat。

将其形式化：score(cat chills on a mat)>score(cat chills Jeju a mat)。

• 利用神经网络
• 将每个词和一个n维向量联系在一起

目标是让正例的score比反例的score高。

s=score(cat chills on a mat)
sc=score(cat cills Jeju a mat)
minimize J=max(0,1-s+sc)