第37卷 第02期数字技术与应用第 37 卷 数字技术与应用 www.szjsyyy.com2019年 2月Digital Technology &ApplicationVol.37 No.2February 2019应用研究DOI:10.19695/j.cnki.cn12-1369.2019.02.65基于深度学习的问题回答技术研究李家乐 吴明礼(北方工业大学信息学院,北京 100144)摘要:针对非事实类问答任务,本文搭建了带有注意力机制的双向长短时记忆(BiLSTM)网络模型。实验表明,在2016 NLPCC QA任务数据集上,该模型MRR可达到75.12%,优于传统的机器学习方法。关键词:问题回答；深度学习；注意力机制；双向长短时记忆网络中图分类号:TP311.52文献标识码:A文章编号:1007-9416(2019)02-0116-020 引言近年来,深度学习在自然语言处理领域的一些任务上取得了较好的成绩。非事实类问答任务基于深度学习的技术研究具有较高的学术及应用价值。循环神经网络(RNN),其结构可对数据信息起到传递的作用,非常适合于文本数据,因此其及其变体网络在自然语言处理任务中得到了广泛应用[1]。面向中文问答任务,本文搭建了RNN的变体BiLSTM模型,探索了学习率、注意力机制的影响,并取得了较好的实验效果。oa。其中,最大池化作用为获取隐藏层输出向量中最突出的特征;而注意力机制则可根据问题赋予答案的各个部分不同的权重,进而动态为更多信息。注意力机制:在时间步t,问题经过BiLSTM及最大池化层后得到向量oq,答案经过BiLSTM后得到向量ha,更新后的h～a可通过以下方式获取:sa,qsoftmax(WTmstanh(Wamha(t)Wqmoq))h~a(t)ha(t)sa,q(t)sa,q为ha(t)的注意力权值,h～a(t)为更新后的ha(t)。其中,Wam,Wqm和Wms是注意力参数。评分计算模块:包含评分标准与损失函数。前者使用余弦相似度衡量问题与答案间的相似度;后者使用铰链损失函数指导模型的训练优化,具体公式如下:Lmax(0,Mcosine(q,a)cosine(q,a))其中,q表示问题,a+表示正确答案,a-表示错误答案,而M是为优化目标函数而设置的阈值参数,且为常值。1 模型构建模型的整体框架包括:向量化模块、深度模型及评分计算模块。向量化模块:通过一个词表将问题与答案句子转化为向量表示。此处词表是由Word2Vec模型以中文维基百科作为训练语料得到的。其中,Word2Vec是一个可将字词转化为向量形式表达的模型,并且意思相近的词将被映射到向量空间中的相近位置。深度模型:通过网络模型提取深层语义信息,得到问题与答案更高层次的抽象表示oq与oa,具体结构如图1所示。问题与答案分别进行向量化Word embedding表示,然后经过BiLSTM网络处理后得到隐藏层输出hq、ha,再由最大池化(MaxPooling)和注意力(attention)机制处理,最后便可得到抽象表示oq、2 参数选择学习率在很大程度上影响着深度模型的训练优化。其值过大时,会导致模型参数在最优值附近震荡而无法收敛;而值过小时,会消耗大量训练时间,造成计算机资源的浪费。经试验,设置最佳的学习率初始值为0.2,并采用指数衰减的方式动态更改学习率大小以便于获取最优解。评分计算模块中损失函数的M阈值,控制着正确答案和错误答案与问题之间的差距,其值过小不足以区分,而其值过大则不利于模型的收敛。在反复试验后,设置为0.1。3 实验在2016 NLPCC QA数据集上,我们对问答模型进行了评估,选用评测指标MRR,其实验结果可达到75.12%。就Wu等[2]基于传统的人工构造特征模型,如TFIDF SVM、Edit distance,其实验性能分别可达到45.31%与20.98%;而深度模型BiLSTM则可达到66.34%。通过对比可知,深度模型BiLSTM明显优于其他几种传统机器学习模型;而本文中基于注意力机制的BiLSTM模型比简单的BiLSTM模型提高了将近9%足以说明了注意力机制的有效性。图1 深度模型图收稿日期:2019-01-01作者简介:李家乐(1994—),男,汉族,山西长治人,硕士研究生,研究方向:数据处理及应用;吴明礼(1978—),男,汉族,河南商丘人,博士,讲师,研 究方向:商业智能,数据仓库,文本挖掘。116李家乐 吴明礼:基于深度学习的问题回答技术研究4 结语本文中,我们探索了BiLSTM与注意力机制在非事实类中文问答任务中的应用。实验所选数据集具有一定权威性,其规模较大,且为开放域。通过实验对比分析,可知深度模型及注意力机制在问答任务中的有效性。参考文献[1] Wang B, Liu K, Zhao J. Inner Attention based Recurrent2019年第 02 期Neural Networks for Answer Selection[C]//ACL (1).2016:1288-1297.[2] Wu F,Yang M,Zhao T,et al.A Hybrid Approach to DBQA[C]//International Conference on Computer Processing of OrientalLanguages. Springer International Publishing, 2016.Question Answering Technology Research Based on Deep LearningLI Jia-le,WU Ming-li(School of Information Science and Technology, North China University of Technology,Beijing 100144)Abstract:For non-factoid QA tasks, in this paper,we build a BiLSTM model with Attention mechanism.Experiments show that in 2016 NLPCCQA dataset, this model can reach 75.12% on MRR, which is better than the traditional machine learning method.Key words:question answering; deep learning; attention; BiLSTM······上接第52页2.3 传输距离的延伸通过使用先进的光纤通信技术,通信工程的有线传输水平显著提升。如今长距离传输变成了主要的建设方向。无论是在偏远山区通信网络覆盖需求,还是工业的发展需求,都需要做到远距离的光纤通信需求,这样对于光纤传输通信技术的需求也更加高。尤其是在那些比较复杂的地形以及危险的地区开展光缆敷设的时候,施工难度是比较高的。所以通信工程里面的有线传输技术在发展的时候,需要高度重视线路施工技术的发展,充分使用先进的智能化设备以及仪器,满足特殊地形的需求,增加通信覆盖范围,做到长远距离的有效通信。术的传输变得更加稳定,而且可以显著增宽通信工程的业务范围,这样能够显著提升传输效率,这样也促进了通信工程的发展和进步。如今需要积极地完善通信技术的有线传输,而且需要充分分析存在的影响因素,充分显示出各个方面的优势,在之后信息发展速度会显著增快,通信工程的有线传输技术会发挥更加明显的作用,而且会占据更加有利的地位。参考文献[1] 沙莹.通信工程中有线传输技术的应用及改进策略[J].中国新通信,2018,20(20):113.[2] 戴彩云.有线传输技术在通信工程中的应用及发展方向[J].中国新通信,2018,20(19):85.[3] 田米民.通信工程中有线传输技术的应用及改进[J].数字通信世界,2018(10):152.[4] 刘波,刘军.通信工程中有线传输技术的应用及改进[J].数字通信世界,2017(09):156.[5] 伍明毅.通信工程中有线传输技术的改进分析[J].通讯世界,2017(16):42-43.[6] 郑铭钰.通信工程中有线传输技术的优化与改进探析[J].信息通信,2017(08):177-178.2.4 通信工程的网络化发展如今互联网技术持续发展,通信工程信号传输的发展趋势就是网络化方向发展,不过由于受到了传统工艺技术的,所以大多数的通信工程都是单目标的指向性连接传输,很难满足现阶段的网络通信需求。这样就需要高度重视网络化信息传输的信息安全性以及通信的可靠性。由于IP行业的持续发展,有线传输会面临更多的机遇,这样就需要积极进行网络化改进,选择先进的光纤通信技术,做到集约化管理和网络一体化管理,这样也可以显著减少资金的投入。3 结语总的来说,要是能够充分使用有线传输技术,能够使得通信技Application and Improvement of Wired Transmission Technology inCommunication EngineeringCHANG Jun(Taiyuan Cable TV Network Co., Ltd., Taiyuan Shanxi 030000)Abstract:Communication technology includes wired transmission and wireless transmission technology, but at this stage, although wirelesscommunication technology has been significantly developed, but still wired transmission technology occupies a favorable position. Mainly because thecable transmission signal is relatively stable, the transmission speed is relatively fast, if in a special use environment, or the need to use wiredcommunication technology to ensure the stability of communication. Therefore, in the use of wired transmission technology, it is necessary to give fullplay to the advantages of this technology, continuous improvement of technical methods, enhance the use of wired transmission technology.Key words:communication engineering;wired transmission technology;application improvement117
