腾讯第100个开源项目：微信开源推理加速工具TurboTransformers

生产|人工智能技术基础(标识:rgznai100)

4月24日，腾讯正式发布了一款开源的变形金刚推理加速工具——涡轮变形金刚。该工具针对自然语言处理领域中变压器相关模型的丰富在线预测场景。它已被广泛应用于微信、滕循云、QQ手表等产品的在线服务中。这也是腾讯通过Github开源的第100个项目。

据了解，《涡轮变压器》源于腾讯内部对开源协作的推广。2019年初，腾讯技术委员会成立，由两个开源协作和云自主研究项目团队和一个外部开源管理办公室组成，以促进内部代码的开放共享和协作建设。

TurboTransformers来自腾讯网，这是一个用于自然语言处理深度学习的基础平台。作为基础技术部门，Turbo Transformers率先开展开源协作实践，旨在为自然语言处理的深度学习建立统一的基础平台，提高研发效率。在技术内部不断完善的基础上，该项目将进一步对外开放新的资源。

在自然语言处理领域，以BERT为代表的变压器相关神经网络模型是近年来最重要的模型创新。它可以为阅读理解、文章摘要、语义分类、同义词改写等自然语言处理任务提供显著的效果改善。然而，在提高模型精度的同时，与变换相关的模型也带来了更多的计算。由于深度学习训练和推理任务的不同，直接应用于在线推理时，训练框架无法获得最佳性能。许多模型的算法工程师都遇到过这样的问题，训练出来的模型非常有效，但是响应延迟不满足要求，导致模型不能在线。

涡轮变压器是一款小巧美观的变压器加速工具。顾名思义，涡轮可以增加发动机的含氧量，从而带来更多的动力。使用涡轮变压器也可以让你的推理引擎更强大。具体来说，它具有三个特点:高速、实用和简单:

1.出色的中央处理器/图形处理器性能。面对英特尔多核处理器和NVIDIA GPU硬件平台，TurboTransformers通过核心融合和并行算法优化，充分利用各级硬件的并行计算能力。PyTorch/TensorFlow和当前主流优化引擎(如OnxRuntime-MKLDNN/OnxRuntime-GPU、TorchJIT、NVIDIA快速转换器)的性能在各种CPU和GPU硬件上均已超越。

2.为NLP推理任务特征量身定制。涡轮变压器可以支持可变长度输入序列处理，而不会因序列零填充、截断或桶分裂而导致无用的计算，也不会在推理之前对计算图进行任何预优化处理。

3.简单的用法。涡轮变压器支持python和C++接口进行调用。涡轮变压器支持加载TensorFlow和PyTorch预训练模型。它可以作为huggingface/transformers的推理加速插件，BERT模型的端到端加速效果可以通过添加几行python代码来获得。

涡轮变压器之前已经在腾讯的几个在线BERT服务场景中使用过。其中，微信普通问答服务提高了1.88倍，公众云情感分析服务提高了2.11倍，QQ手表推荐服务提高了13.6倍。与其他相关工具相比，TurboTransformers在性能和使用上具有优势。

据了解，涡轮变压器的功能目前仍相对有限，腾讯将在未来进一步优化。开源之后，涡轮变压器也期待与社区和开发者共同建设。

随着技术能力的不断积累和以开源为代表的腾讯新代码文化的兴起，腾讯在开源领域表现良好:在全球最大的代码托管平台Github上，腾讯积累了100个开源项目，涵盖了云起源、大数据、人工智能、安全、硬件等多个热门技术方向。已经积累了超过290，000个Star数字，使其成为世界上有影响力的开源企业之一。

“腾讯希望在科学研究上投入更多精力，并将‘科技为善’纳入公司的新使命和愿景。我们将通过内部和外部开放源代码，积极参与“全球科技社区”的共建。”在2019年智博大会上，腾讯董事长兼首席执行官马展示了腾讯对开源的重视。

今年早些时候，腾讯高级执行副总裁兼云和智能产业总裁唐道生也谈到了开源对腾讯的重要性。他说:“开源不再是开发者的个人爱好，它已经成为许多技术驱动产业背后的重要创新驱动力。”

2020年，腾讯先后推出了一系列开源项目，如Linux操作系统腾讯服务器和视频评测算法DVQA，这些都是为云场景开发的。同时，腾讯还积极利用科技力量帮助全球抗击疫情。3月27日，腾讯健康新冠流行模块国际(TH_COVID19_International)和新冠肺炎人工智能自查助理(COVID-19自检分诊助理)也相继开源，向世界开放科技能力。

柏拉图怎么样，他在那一分钟里处理了10亿个节点图计算？

看似无关紧要，哲学和机器学习有如此大的交集

黑客用机器来学习。你不急吗？让我们来看看这7种窃取数据的新方法

“谷歌黑仔”的发明者和科学天才沃尔夫拉姆

这个数据库已经活跃了40年，深入分析了PostgreSQL和NewSQL的演变。

五分钟！您可以学习以太网JSON应用编程接口的基础知识

本文由 在线网速测试 整理编辑，转载请注明出处，原文链接：https://www.wangsu123.cn/news/5303.html。