机器学习专家带你实践LSTM语言模型
背景
给定一串文字，它是否代表一个地址？ 一般地址里有xx路,xx街之类的，这些字符都是地址串的很强的特征。
但是如果仅靠这样，还是不够，比如：延安路发生重大交通事故，很明显不是地址串。 这类问题直觉上是更适合用语言模型来捕获地址的常用说法。借助tensorflow，我们可以很容易训练一个这样的模型。
训练数据
本模型中，使用了100w+个地址串，加上全国省市区县的组合(特别规整的xx省xx市xx县). 覆盖了大部分地址串的样例
北京朝阳区朝阳北路101号朝阳大悦城6楼(近星河湾)
汕头金平区汕樟立交桥底金华街口(近金华小学)
绥化肇东市利民南路
长春经济开发区临河街天地十二坊C29栋(近肯德基)
六盘水钟山区人民中路220号
宁波河头路83、87、91号
上海杨浦区殷行路752号(城达集贸市场大门口)
衢州江山市鹿溪南路鹿溪广场北侧鹿溪大厦2幢11—16号
模型输入
语言模型可以是基于字的，也也可以是基于词的，基于字的，对中文而已，也有几千个不同的字。 基于词就更大了。
基于词的则还另外需要借助分词器，分好词，而且分词也可能损失精度。 基于字的相对模型简单点，容错也更强。
我们训练的采用基于字的语言模型。这样我们对输入的地址串先按Unicode分割，然后只保留出现频率超过1的作为字典。另外，我们地址串中假设最长50个字符，要不然每段（50个）单独处理。 考虑到我们训练时采用的字符不一定能覆盖所有在线测试时的字符，如果不在字典中，字典会把它映射到id为0。 但是字符串末尾还需要特殊表示下，以区分这种不在字典里的情况，我们对每个串末尾加上来表示结尾
Label & Loss
字语言模型的本质就是给定上下文， 计算下一个位置出现的字符的概率分布，训练的时候，我们给出的地址串，隐含的给出了每个timestep的标注输出值。
一般语言模型的损失函数是困惑度，这里采用的是类似的，把每一步的交叉熵加总起来，由于timestep是固定的，这样相当于把困惑度近似放大了timestep*batch_size倍.
训练代码
这样整个训练代码其实很短，如下：
在线使用
线上代码使用c++调用的，而python训练出来的模型变量和计算图是分开存储的，我们使用tensorflow自带的工具tensorflow/python/tools/freeze_graph.py来把这些合并在一个模型文件中，然后我们C++代码中载入模型。 计算某个句子的困惑度时先把句子按Unicode字符切分，填充好input以及target对应的tensor，然后运行指定的计算节点，获取loss，计算困惑度，这里我们对困惑度做了简单归一化，困惑度越低分值越接近1，反之越接近0。
Demo
http://104.156.239.67:9191/ 也可以通过点击[阅读原文]试用。