微软新研究提出一个新的多任务深度神经网络模型——MT-DNN
2019-03-22 17:17:37来源：新智元
微软新研究提出一个新的多任务深度神经网络模型——MT-DNN。MT-DNN结合了BERT的优点，并在10大自然语言理解任务上超越了BERT，在多个流行的基准测试中创造了新的最先进的结果。
语言嵌入是将自然语言符号文本(如单词、短语和句子)映射到语义向量表示的过程。这是自然语言理解(NLU)深度学习方法的基础。学习对多个NLU任务通用的语言嵌入是非常必要的。
学习语言嵌入有两种流行方法，分别是语言模型预训练和多任务学习(MTL)。前者通过利用大量未标记的数据学习通用语言嵌入，但MTL可以有效地利用来自许多相关任务的有监督数据，并通过减轻对特定任务的过度拟合，从正则化效果中获益，从而使学习的嵌入在任务之间具有通用性。
最近，微软的研究人员发布了一个用于学习通用语言嵌入的多任务深度神经网络模型——MT-DNN。MT-DNN结合了MTL和BERT的语言模型预训练方法的优点，并在10个NLU任务上超越了BERT，在多个流行的NLU基准测试中创造了新的最先进的结果，包括通用语言理解评估(GLUE)、斯坦福自然语言推理(SNLI)和SciTail。
MT-DNN的架构
MT-DNN扩展了微软在2015年提出的多任务DNN模型(Multi-Task DNN)，引入了谷歌AI开发的预训练双向transformer语言模型BERT。
MT-DNN架构
MT-DNN模型的架构如上图所示。低层在所有任务之间共享，而顶层是特定于任务的。输入X可以是一个句子或一对句子，其中的每个单词都先被表示为一个嵌入向量序列，表示为l_1。
然后，基于transformer的编码器捕获每个单词的上下文信息，并在l_2中生成共享的上下文嵌入向量。
最后，对于每个任务，额外的 task-speci?c 的层生成特定于任务的表示，然后是分类、相似度评分或相关性排序所需的操作。MT-DNN使用BERT来初始化它的共享层，然后通过MTL改进它们。
领域自适应结果
评估语言嵌入的通用性的一种方法是测量嵌入适应新任务的速度，或者需要多少特定于任务的标签才能在新任务上获得不错的结果。越通用的嵌入，它需要的特定于任务的标签就越少。
MT-DNN论文的作者将MT-DNN与BERT在领域自适应(domain adaption)方面的表现进行了比较。
在域适应方面，两种模型都通过逐步增加域内数据(in-domain data)的大小来适应新的任务。
SNLI和SciTail任务的结果如下表和图所示。可以看到，在只有0.1%的域内数据(SNLI中为549个样本，SciTail中为23个样本)的条件下，MT-DNN的准确率超过80%，而BERT的准确率在50%左右，这说明MT-DNN学习的语言嵌入比BERT的更加通用。
与BERT相比，MT-DNN在SNLI和SciTail数据集上的精度更高。
在GLUE、SNLI和SciTail 3个benchmarks上的结果
在GLUE测试集的结果，MT-DNN在10个任务上的结果均超越了BERT
模型开源
微软已经在GitHub开源MT-DNN包，其中包含了预训练的模型、源代码，并描述了如何重现MT-DNN论文中报告的结果，以及如何通过domain adaptation使预训练的MT-DNN模型适应任何新任务。
相关阅读
精彩推荐
阅读排行
相关词
- 美国社交电商再起波澜：TikTok商城开张，Meta却要闭门做生|今日快看
- 世界快资讯：上海再保险“国际板”正式启动
- 特别好评RPG游戏《恐怖的世界》 完整版10月19日上线|环球精选
- 易会满：持续加大对伪私募、地方交易场所等重点领域风险的整治
- 十元店重回巅峰：新穷人与日本1990s
- 每日快报!教育股震荡走低 国新文化跌超8% 荣信文化跌逾7%
- 全球快讯:央行潘功胜：人民币债券具有良好的投资组合分散化价值
- 国产大飞机开启常态化商业运行：C919带动产业链一起飞 市场规模有望达万亿元量级
- U盘安装系统时蓝屏怎么解决 全球头条
- ROG蓝屏后该采取什么解决方法来重启 世界快报
- 中国地震局：国家地震烈度速报与预警工程已完成主体建设任务 焦点讯息
- win10启动就蓝屏是怎么回事 全球热点
- 环球头条：华硕笔记本acpi蓝屏该如何解决
- 世界最资讯丨打击违规销售作弊器材行为 海南省市场监管部门多措并举为高考中考保驾护航
- 每日热议!永劫无间蓝屏死机应该如何处理
- KMODE蓝屏出现应该如何处理 全球观热点
- 携程集团发布2023年第一季度财报
- 甘肃省华亭市东华镇市场监管所开展农村夏季食品安全专项检查_环球热资讯
- 深圳市市场监管局总部经济审批服务“全市通办”正式落地
- 解码开化（一） 文旅产业：从“高看一眼”“棋高一招”到“焕然一新”
- 第五届京津冀石墨烯大会在北京房山举办，加速三地产业链深度融合
- 高考期间海南天气如何？未来两天多云有雷阵雨 焦点速读
- 别被“蚊蝇通杀”迷了眼
- 啥是海洋？直播带你一起看 天天快看点
- 内罗毕：低碳和电动交通载具展 天天观速讯
- 环球播报:斯诺克新星赵心童为涉赌遭禁赛道歉
- 《沙石镇时光》:1.0版本发售日期公布!通过“塑造你的未来”预告片为前方的秘密和危险做好准备 世界独家
- 关注眼健康亟须全社会行动起来
- 哈利波特魔法觉醒怎么尊享眉色 尊享眉色方法攻略 环球速看
- 甘肃省华亭市市场监管局多举措保障中高考期间食品安全 环球新动态
- 第19届深圳文博会人气旺 每日快报
- 甘肃省嘉峪关市市场监管局镜铁分局全力保障高考期间食品和特种设备安全
- 河北沙河：太行古村落焕发新活力_天天快播
- 世界百事通！晋陕峡谷遇奇石
- “共建首都跨境电商新生态”系列活动在京启动 每日热门
- 环球看热讯：汉字工坊上班不带饭怎么过 找出9个公司吃的答案分享
- 甘肃省张掖市新墩市场监管所“三力齐发”加强中高考期间特种设备安全保障_环球热推荐
- 快消息！小心，这种眼疾易盯上上班族
- 眼药水怎样使用才正确
- 当前讯息：机器人:公司基本实现了35kg以下新款机器人减速器的国产化替代
- 华菱钢铁：钢材产品在新能源新材料领域需求前景将持续向好-天天通讯
- 今早发布！雷雨！_天天即时
- 全球快报:云顶之弈s9暗影岛格温阵容攻略 s9赛季暗影岛格温阵容搭配
- 江苏“智造”夯牢实体经济“家底”
- 加拿大野火烟尘飘至美国 部分地区被烟尘笼罩
- 【环球时快讯】文字玩出花无法原谅怎么过 无法原谅十二处细思极恐在哪
- 环球快播：百亿授信！民生银行与协鑫集团达成全面战略合作
- 前5月外贸保持稳定增长 制造业转型升级塑造出口新动能
- 简讯：江苏油田页岩油累产突破4万吨
- 让城市成为“开放的艺术馆”（金台随笔） 视点
- 易会满：适时出台资本市场进一步支持高水平自立自强的政策措施 全球报道
- 【全球聚看点】河南麦收进度过八成 夏播已完成近五成
- 今起，在锡启幕！
- 两大国际组织上调中国2023年经济增长预期
- 仲景食品:公司产品以国内销售为主 出口业务占比较小-每日速看
- 天天速递！U盘装系统进入PE蓝屏该采取什么解决方法
- 充满算计！日美澳在南太铺光缆，日媒炒“抗衡中国影响力” 焦点热门
- 重点聚焦!力箭一号火箭的专属发射工位长什么样？
- 袁明辉：拍摄下来记录下来用自然摄影留住那些美好
- 扫码支付已在国内迅速发展普及 刷掌支付是否还有市场前景
- “去风险”成脱钩新马甲
- 环球微资讯！360qpesv.sys导致蓝屏该采取什么解决方法
- 【新要闻】北海市海城区地角街道辖区率先完成第二季度食品安全“两个责任”包保工作
- 国家开发银行前5个月发放交通领域贷款2687亿元
- 当前视点！带火原料药企，马斯克加持的“减肥神药”又火了
- 什么是股份制企业？股份制企业和私营企业的区别有哪些？
- 怎么才能正确安装python39.dll
- 全球连线｜对两国合作机遇充满期待——洪都拉斯各界热议中国驻洪使馆开馆
- 兰州新区召开第二季度落实食品安全“两个责任”推进会议
- 民泰银行绍兴分行创新产品助共富系列① | 动产融资业务，为民播下“共富”希望-世界实时
- 【世界快播报】我国外贸连续4个月保持正增长
- 偷渡罪一般判多少年？偷渡人员怎么正规回国？
- 吉利雷达以“真乘用化”撬动市场，5月销售1016台创历史新高 焦点资讯
- 故意伤害致人死亡如何处罚？故意伤害致死赔偿多少？
- “6·6”全国爱眼日公益讲座在京举办
- 上古诸神：卡牌对战官网在哪下载 最新官方下载安装地址 环球热推荐
- 天天头条：电脑中缺失alrsvc.dll文件应该怎么处理
- 赡养费标准是什么？不给赡养费最严重的后果有哪些？
- 只允许跟院方合作民营救护车辆进入？医院回应
- 涉案金额959万元！海口曝光9家定点医疗机构
- 世界快播：如何解决电脑端丢失rasmans.dll提示问题
- 微资讯！江西省新余市市场监管局：强化建材质量监管 守牢质量安全防线
- 【快播报】警惕“负首付”骗贷
- 财产税有哪些税种？所得税和财产税的区别有哪些？
- 高考第二天部分地区已公布查分时间 胜利在望，加油少年！|全球快看点
- 青海省海西州四项措施为“中高考”保驾护航_每日看点
- 嫖娼拘留多少天？初次涉黄拘留几天？
- 青海省市场监管局发布中高考期间食品安全消费提示 天天热门
- 浙江金华婺城区：天然富硒，“硒”望之旅
- mtfutils.dll缺失如何恢复
- 忘了车限号开了一天罚多少钱？郑州限行免罚有几次机会？
- 焦点快播：网红化妆大师官网在哪下载 最新官方下载安装地址
- 动态：量子密钥分发攻防研究获重要进展
- 什么是违法所得？违法所得和非法财物的区别有哪些？
- 仙迹之九州神剑官网在哪下载 最新官方下载安装地址|今热点
- 工程预付款是怎么规定的？工程预付款为什么要扣回？
- 种一颗牙便宜多少钱？海南打出种植牙降价“组合拳”
- 劳动合同法第38条是什么内容？公司不辞退故意调岗怎么赔偿？
- 无证驾驶怎么处罚？无证驾驶会被马上拘留吗？
- 当前时讯：生存冒险游戏《血清》新预告 拥有4人合作模式
- 天天观热点：岭南街道构建“一网二联三队伍”服务模式，为社区长者健康保驾护航
- 通信业全力保障高考｜莘莘学子逐梦未来 通信业全力护航
- 焦点观察：华为品质宽带智能运维系统荣获CAICT光接入网L3.5等级认证
- 青海省启动“企业商业秘密保护能力提升服务月”活动-天天速看
- 黑龙江省北安市市场监管局着力打造“帮您办”服务品牌|动态焦点
- 非遗 | 高校留学生走进安徽文旅扶点-环球通讯
- 今日快看!FPS游戏《无畏契约》国服今日终测 删档充值返利
- 环球最新：黑河联通多措并举提升廉洁文化教育质效
- 每日视点！语文名师点评AI高考作文：百度搜索AI伙伴优于New Bing、ChatGPT
- 国家金融监督管理总局李云泽：正式启动上海再保险“国际板”-环球快看点
- 全球报道:重庆油菜喜获丰收 总产量实现连续16年增长
- 冒险游戏《血清》发布实机视频 支持简体中文 四人联机
- 全力保障高考通信畅通，重庆电信在行动！_环球速读
- 《无人深空》发布季节性更新“奇点”预告视频 现已正式上线-环球微速讯
- 世界殿堂级名团重返中国舞台 玛莎·葛兰姆现代舞团尽展风采 观速讯
- 上海移动获得DC-Tech数据中心智能建造最高等级认证 当前快讯
- 戴尔电脑开机后蓝屏重启应该怎么应对
- 电视剧《照亮你》在都市类型中铺展新的叙事面向 世界要闻
- 黑白琴键抒写长三角风情 全球新要闻
- 上海世纪出版、米哈游、东方明珠新媒体上榜
- 电脑提示vcomp140.dll文件丢失的解决方法|环球新要闻
- 世界今热点：切实保护金融消费者合法权益
- 全球快报:电脑蓝屏nv1ddmkm.sys怎么办
- “拆楼”式装修必须叫停
- 世界今日讯！李云泽：下好风险前瞻防控先手棋，以更加主动态度应对风险隐患
- 湖北馆展品超5000件：五大“重器”显实力 五类“非遗”溢楚风_今日看点
- 国家金融监督管理总局李云泽：监管体制改革是金融改革的重要一环 天天快资讯
- 公安部交管局公布近期三轮车肇事肇祸典型交通事故案例
- 网传重组人生长激素进浙江集采 长春高新连夜召开电话会回应
- 当前通讯！传记文学《灵魂的旋律：我的父亲刘炽》：再现作曲家刘炽艺术人生
- 全球微头条丨欢乐家的椰子“野心”：去年椰子汁饮料营收超8亿，今年加码投资
- 腾势D9车型5月销量11005辆，环比增长约9.6%
- 两部门：举办全国和美乡村篮球大赛（村BA）
- 最新资讯：Win10 watchdog.sys蓝屏该采取什么解决方法
- 世界视讯！《神仙道3》神阙风物志第五章详细通关攻略
- 全球净零技术制造竞争全面展开 时讯
- 海口江东新区盛泰仕家安居房项目预计10月底全面封顶
- 刀具等特殊商品退货难邮寄，如何解？
- 如何解决提示cnbbr332.dll丢失报错问题
- 【小康头条】高考第二天，这些话想对你说......_世界微速讯
- 全球新消息丨国家医保局：1-4月基本医疗保险基金总收入11403.13亿元，同比增长8.1%
- 携程集团发布2023Q1财报：净营收92亿元 同比增长124%
- 茶园里开“茶话会” 专家齐献“金点子” 当前视讯
- 《崩坏星穹铁道》访问筛查拍照位置大全
- 树立安全“红线”意识 筑牢安全生产防线_天天快资讯
- 每日热文：安徽省休宁县市场监管局开展中高考考点周边药械安全专项检查
- 医院只允许有合作的民营救护车辆进入？调查结果来了
- 海口江东新区快速通道项目启动首联钢梁吊装作业-环球速看料
- 世界要闻：加拿大野火持续蔓延 美东多地被浓烟笼罩
- 评论 | 传统中国画教育的时代价值挖掘|世界最新