2018

2018-10-30

PyTorch调参

在写CVAE模型的过程中，遇到一个loss突然变大的过程，看到网络上说由于Adam的原因，所以会导致收敛不稳定。可以把amdgrad参数打开。1optimizer = Adam(filter(lambda p: p.requires_grad, model.parameters()), lr=args.lr, weight_decay=args.wd, amsgrad=True)

2017

0

Papers

2017-10-31

Mimicking Word Embeddings using Subword RNNs

这篇文章挺有意思的，在已有的word embeddings上学习一个从字符级别的序列上建立一个word embedding。模型使用的是RNN，双向的，输入是一个单词，输出就是一个向量。训练的时候输入都是已有word embedding中lexicon的单词，输入的ground truth是原始的向量。这么做的目的是希望能够解决UNK（未登录词）的表示，它的理论假设是从字母组成语义是要遵循一系列

0

Howto

2017-08-27

PyTorch入门

基本操作Tensors可以迁移到cuda上进行操作12345# let us run this cell only if CUDA is availableif torch.cuda.is_available(): x = x.cuda() y = y.cuda() x + y autogradpytorch所有张量的中心是autograd库。而autograd的中心组件是aut

2016

0

NLP

2016-05-29

第五章－神经网络学习

神经网络5.1 神经元模型M-P神经元模型：$y=f(\sum_{i=1}^{n}w_i x_i - \theta)$ 最后还需要一个激活函数来处理并产生神经元的输出。因为以阶跃函数作为激活函数的话，其具有不连续、不光滑等不太好的性质，因此通常使用Sigmoid函数作为激活函数。它把可能在较大范围内变化的输入值挤压到（0，1）输出值范围内，因此有时也称为挤压函数（squashing functio

0

NLP

2016-05-25

词性标注

词性标注10.1标记中的信息源观察感兴趣词的邻近上下文的其它词的词性利用词本身提供的信息，有人做了一个词性标注起dumb，这个标注器只是将所有词最常用的词性标注给这个词，就取得了90%的准确率。因此词之间用法及其不平均，因此用统计的方法会更甚一筹。 10.2马尔可夫模型标注器10.2.1概率模型马尔可夫链的两个特性有限视野（limited horizon）$P(X_{i+1}=t^j|

0

NLP

2016-05-24

NAACL-2013-Socher-Manning-DeepLearning

Introduction本来是在看一些关于NLP的一本老教材，但是鉴于现在组里RNN、CNN满天飞，忍不住先来窥探一下Deep Learning在NLP一些传统问题上有什么魔法。 The neural word embedding approach的优势相比于LSA方法，neural word embeddings 可以变得更有意义，通过对一个或多个任务增加监督。无监督的词向量学习主要思想：一个

0

Papers

2016-05-24

论文笔记：A Practical Part-of-Speech Tagger

摘要实现了基于隐马尔可夫模型的词性标注器。这个方法只用很少的资源就可以实现鲁棒的准确的词性标注。只需要一个词表和未标注的文本。准确率超过96%。必要条件自动化的文本标注是在更大的语料库中发现语言结果的重要的第一步。词性标注为更高层次的分析提供基础。例如识别名词和其他文本中的模式。一个标注器得具备的几个特性： Robust鲁棒性 Efficient高效性 Accurate 准确性 Tunabl

0

NLP

2016-05-05

马尔可夫模型

马尔可夫模型9.3 隐马尔可夫模型的三个基本问题给出一个模型$\mu=(A,B,\pi)$，怎样有效地计算某个观测序列发生的概率，即$P(O|\mu)$？给出观测序列$O$和模型$\mu$，我们怎样选择一个状态序列$(X_{1},...,X_{T+1})$，以便能够最好地解释观测序列？给定观测序列$O$，以及通过改变模型$\mu=(A,B,\pi)$的参数而得到的模型空间，我们怎样才能找到一

0

NLP

2016-04-17

机器翻译

第十三章机器翻译存在问题词的歧义词序句法歧义几种常见的翻译模式直接翻译法：词对词的对齐翻译方式。从源语言的表层句子出发，将词或固定词组直接置换成目标语言的对应成分，这种方式的最大缺陷就在于语言和语言之间可能不存在一一对应关系。同时词的歧义也是一个问题。这个需要参照上下文才能确定这个词改如何翻译。词序也有问题，句法转换可以解决这个问题，将其用手工定义的规则转换成一颗树，然后在这棵树上

0

NLP