6.2万字报告剖析「智能写作」全貌，从落地产品看NLP商业化突破

近年来，字节跳动、百度、阿里巴巴、美团电平、微软等主要互联网巨头都加入了智能创作/写作，这已经广泛应用于自己的信息、内容平台、电子商务、办公文档等业务场景中。与此同时，哲学数据、智能搜索、智能笔和智能以及文胤互联等自然语言处理领域的领先初创公司植根于营销文档、文本业务自动化、金融数据分析和其他场景，这使得自然语言处理技术能够产生更大的商业价值。

“智能写作”告诉我们，论文中SOTA的自然语言处理模型也可以迅速应用于工业场景，以辅助或直接成为人类的生产力。为此，我们收集了国内外数百篇关于该技术应用领域的论文、第三方市场报告和新闻报道，采访了国内许多智能写作公司和产品线的产品经理或技术负责人，撰写了6.2万字的报告。从基本概念到技术应用到产品案例，我们系统地分析和总结了“智能写作”的技术应用现状、商业价值和未来发展潜力。

作者|文立，范晓芳

语言是人们交流的工具，也是网络用户连接互联网的一种方式。传统的人类书写是以表达和传递为目的的对主客观世界的记录。它广泛应用于日常生活、信息、法律、办公、金融等行业。进入互联网时代，信息爆炸给个人、企业和政府带来了对互联网语言和文本处理的强烈需求。与此同时，对提高信息生产速度和扩大其覆盖面的需求也在增加。技术人员开始探索如何让机器帮助人类更有效、更准确地处理和分析信息。随着自然语言处理技术的不断发展，机器也有可能产生有价值的信息。

目前，“机器写作”不再仅仅是“机器可以用来完成写作过程中的编程环节”。近年来，自然语言处理模型性能的不断突破，促使其从规则和模板写作发展到以神经网络模型为核心的“智能机器写作”。它已逐渐从协助记者写作转向自动写作，其应用场景也从基于模板的信息数据报道发生了变化。深度分析报告、诗歌创作、长篇故事文本创作、广告和营销文本写作以及其他更丰富、更复杂的内容形式贯穿于信息监管、资料收集、文本编辑、文本创作、修改和优化等多个业务环节，对敏感信息进行审查。

《机器之心》希望通过这份名为《智能写作:人工智能商业应用的制高点——人工智能技术在智能写作中的应用现状及趋势展望》的报告，展示“智能写作”行业的全貌，并系统展示人工智能技术在信息化和技术人员以及媒体、企业服务、电子商务、广告营销、金融等行业从业人员中的应用可能性。同时，通过对总公司在“智能写作”领域的代表性产品的技术应用思路的详细分析和相应细分市场的净库存，为自然语言处理技术领域的研发人员、软硬件开发工程师和产品经理在技术研发、产品设计和产品商业化策略方面提供详细的研究参考。

报告目录

一些应用案例

5.3美国集团评论:信息流摘要文本写作

主要产品:信息流文本的创意优化

对于信息流的着陆场景，主要有三个功能:

可以为特定分发内容的自动摘要生成标题；能够为单个商家提供一句话的关键卖点描述；生成一个完整的内容页面，包括多个文案的标题和简短推荐理由，从而实现在线点击率的优化盈利模式和盈利状况:尚未商业化

应用案例和效果:

在CTR/CVR/点击曝光、人工检查通过率和效率优化方面，摘要标题的生成提高了10%以上。在生成性方向探索过程中，低质量内容的标题生成在线实现了近10%的提高。

实际应用演示(来源:网络公共信息)

技术思路和主要技术:

1)信息流标题生成:在实际应用中，通过抽取和生成的协同使用来实现。主要方法是面向业务效果的局部工程方法(生成的内容是新添加的候选集之一，并参与总体评估排序)。另一种是我们正在探索的复制方法(复制和生成概率的独立建模，重点是在有限的环境下解决“指向哪里”的问题。

抽取标题思想和技术模型:在内容中心对源数据进行分发和分析后，对具体内容进行系统的插件预处理，包括句子划分和句子拼写、复杂简单转换、大写等。，并进行依赖性分析；然后对所有可选内容的质量进行评估，包括通用过滤，如情感过滤和敏感度过滤，以及二级基本优化，包括表达、冗余字符处理和语法重写，如规则鉴别。在召回模块中，通过实体识别+TF-IDF评分的方式评估候选内容标题的基本信息质量，通过阈值召回保证基本阅读体验，从而避免一些极端不良情况；；最后，对候选标题进行直接的句子级点击率/转换率估计，这负责纹理、相关性和最终业务目标的优化。整个过程的基本模型是双LSTM注意模型(输入层是预处理的词嵌入，通过双向lstm给予注意层，完全连通后退出，建立交叉熵Sigmod，输出判别)。该模型不仅可以对整个句子序列进行双向建模，还可以通过注意矩阵对词级进行加权。在此基础上，我们尝试添加ELMo损失，并在模型的第一层双向LSTM中使用基于ELMo损失的预训练作为初始化结果。在线指数也略有改善。在有限的源文本问题上，深度模型用来表示深层语义，辅以更多的特征工程来表示用户可以感知的浅层信息，如属性、主题等。在效率方面，采用谷歌的自我注意机制取代RNN-LSTM的循环结构，解决了原始表象训练效率和长依赖的问题。

两个关键的技术点-在标题创造力的测量中，重点是在语义+单词水平的方向上建模点击率/转换率，并辅之以在线E & ampe .选择最佳的机制以连续获得注释对并提高在线自动纠错能力；在局限性方面，抽象预处理和质量模型，统一处理文本创意内容的质量控制，独立的召回模块负责体验保障。此外，在模型结构中独立地表示原始文本，然后引入主题特征上下文用于目标控制。从而降低“主题派对”的概率，提高内容的相关性。

生成性标题思维和技术模型:为了确保控制和概括，标题从原文中剥离出来，在早期阶段独立建模。通过上下文连接，可以引入更多的非标准数据。只有当积累逐渐完成时，才能尝试原始文本的深度语义表示。除了尝试分别对目标进行建模并与原始建模过程相结合之外，还在一般化的方向上进行了许多尝试，例如尽可能广泛地描述一个主题。例如，“魔术城是一个受欢迎的餐饮胜地”，因为它只对上海商人开放，而且它的内容符合晚餐的主题。它具有很强的泛化能力，但仍不能作为问题的通用解决方案。该功能主要应用于RNN基地Seq2Seq模型的整体结构。编码器端使用的数据包括基于原文本和商家理解的主题表示，以及原文本的双向语义表示，输出到关注层。该技术团队借鉴了NMT的一些研究思路，调整了转换器的结构，在原有结构上增加了上下文编码器，并在编码器和解码器端增加了上下文关注层，以增强模型捕捉上下文信息的能力。解码端生成文本时，通过注意机制学习主题和原表情之间的权重关系，从而生成副本。面向业务的文本生成目标:营销文本的评价模式是与业务相关的点击率，但这与在语言模型的最终输出中最小化词级交叉熵损失的目标不一致。因此，在具体的实现中，问题从三个方向解决:首先，提取模型的标签在上下文中被明确标记，这样模型就可以了解两者之间的区别；二是在预测解码器的波束搜索计算概率的同时增加一个评分控制函数。第三是建立一个全球损失函数，以参与培训解码器中的培训，类似于在NMT添加的覆盖损失。考虑到稳定性和实施成本，最后尝试了第一种和第二种方法。标题E & amp机制五:采用ε贪婪策略连续获取标注数据，提高在线自动纠错能力。该策略类似于经典的Epsilon算法，只是引入了创造性状态，并且根据状态将Epsilon分为多个级别。目的是以更大的概率将更好的想法分配给交通，而不是平均分配和消除不良想法，从而提高效率。在初始优化阶段，该方法发挥了很大的作用。具体来说，根据标题和图片的历史表现和默认比较，将状态分为7个等级，效果表现从上到下递减，流量分配比也依次递减，这样整个系统就可以在样本中有噪声的情况下实现在线校正。2)商家拷贝生成:拷贝生成和标题生成可以有一个通用的整体生成模型框架，最大的区别由拷贝“商家”的载体决定。为了确保输出文本的准确性和质量，需要在输出端进行解码控制。一种是通过构造机制让模型学习目标，另一种是在解码器的波束搜索阶段动态添加所需的控制目标。主要有卖点控制、风格控制、多样性控制等控制方法。

卖点控制:在硬约束方面，对重要的卖点和实体(如区域和类别)进行分类，并在目标理解过程中直接添加上下文。对于软约束，通过卖点的共现来计算简单的条件概率，并根据条件概率将卖点随机添加到上下文中，这样模型就可以通过注意来学习约束关系。最后，一个新的硬& amp软约束的匹配评分项目参与最终的概率计算。风格控制:实现方法和卖点控制非常相似，但风格实际上是通过不同内容之间的差异间接实现的。例如，公众评论的标题、PGC的内容和教资会的写作风格有很大的不同。内容属性的差异可以用作模型要捕获的上下文的控制信号。多样性控制:在选择输出文本时，自然语言生成模型通常优先考虑概率最高的序列，而不考虑多样性，这是自动生成营销文本时需要解决的最重要的问题。在这方面，公众意见直接优化整体结果。预测时，将聚合页面上下文放入同一个批处理中，batch_size是副本的数量。对生成的序列进行重复实体检测和n-gram检测，并在检测判断中加入惩罚分数。这个简单的想法可以很好地解决多样性问题。其他类似产品概述(营销行业):

营销行业的人工智能写作产品主要用于搜索引擎优化广告、信息流广告、邮件广告和电子商务产品介绍。与信息产品相比，营销产品需要解决个性化内容的问题。根据位置、用户特征、品牌形象进行个性化，以各种风格重写文章已成为主要方向。这一领域的探索集中在2018年，但国内营销写作产品的研发主要由阿里、京东、电平、百度等与电子商务相关的互联网上市公司进行。百度首先开始将人工智能技术与大数据相结合，开发生成解决方案的工具，但经过两年的尝试，它转向了辅助信息写作。然而，国外营销广告工具的研发主要由第三方广告和技术服务提供商进行。这些公司中的大多数都获得了投资，并拥有相对完善的盈利模式。

在搜索引擎优化广告领域，Articool的产品使用户能够为一个主题生成多篇不同风格的文章。主要模式是写或重写原创文章。除了为有搜索引擎优化广告和内容营销需求的客户提供定制服务外，Articool还为个人用户提供了按文章收费的销售模式。电通神盾网络的项目利奥根据谷歌的广告系统专门生成搜索引擎优化文档。在特定情况下，它可以将单次点击的成本降低30%-42%，并将广告的点击率提高3%-10%。除了基本的纠错和预测写作功能，2018年成立的微思维写作还开发了智能仿拟工具，用于网站搜索引擎优化、软文推广、自我媒体创作等领域的文章重写。蓝光标子公司捷达数据开发的智能笔式机器人能够在一秒钟内适应成千上万条新闻稿，确保中心内容不变，并根据不同沟通渠道的特点改变风格，自动插入相关图片、商品链接、名词解释和延伸阅读。通过搜索引擎的评审标准和评价原则，改进了内容和结构，对内容标题与原文相似度极低的seo文章进行了改编，提高了文章在搜索结果中的排名，从而增加了已发表文章的流量。此外，它还可以监督品牌传播效果，分析内容阅读互动、网站流量、粉丝增加、用户关注或流失的原因以及有助于保持和转化的关键点，并不断调整策略。此外，机器人可以“摩擦热点”。舆论机器人可以判断新闻是正面的还是负面的，然后选择是否采纳。然后分析了常见的传输点，如分析主题、匹配图片、名词解释、定义标签等。之后，智能笔推荐具有匹配关键信息点的热点新闻，分析原始内容中每个段落的匹配，并在适当的位置插入热点新闻信息，从而成功地“摩擦”热点。

措辞侧重于优化电子邮件营销。只需点击一下，就可以生成数百万符合品牌要求的文本变体，比如人类语言。该产品将考察广告创作者在过去12个月中使用的所有营销文案的表现，通过NLG处理技术聚焦成千上万种语言特征。它的神经网络知道广告受众会对什么样的情感、文体和词汇组合做出反应，从而识别出能带来更好效果的个人策略。公司通过“定制语言模式”适应特定品牌的形象，以确保文本和品牌形象相关联，并支持多语言生成。主要行业包括零售、旅游和度假、电信和金融服务。三年来，为维珍假日生成的人工智能电子邮件主题栏的表现优于手工编写的主题栏。来自电子邮件营销渠道的收入大幅增加，相当于数百万英镑。在Gumtree网站上使用后，点击率提高了35%-50%，帮助superdry提高了26%的点击率，降低了31%的单人成本，并使Dominos获得了753%的惊人投资回报。此前，该公司通过使用Phrasee的人工智能生成的电子邮件主题行，实现了57%的电子邮件打开率。最近，该公司为脸书和Instagram的信息流模型引入了新工具。

Persado专注于在线广告。开展了4000项活动，平均转化率提高了49.5%。他们使用世界上最全面的营销语言知识库，对25种语言的100多万个单词、短语和图像进行标记和评分。通过将文字与数据相结合，Persado将营销理念分解为六个关键要素，然后对成千上万个潜在的信息组合进行实验，以生成最有效的内容。人工智能驱动的广告材料可以生成25种语言、情感语言个性化、品牌定制、广告发布平台定制、风格定制、付费社交广告的实时文本和图片生成、用户情感洞察和响应数据、广告效果报告和广告管理等。，涉及金融服务、旅游和酒店、电信技术和消费服务等行业。目前有250多个用户，平均点击率为68%，平均转化率为76%。目前，该公司已获得6600万美元的融资。

JD.com和阿里致力于在各自的电子商务平台上优化产品拷贝，试图通过为内部企业提供高效、高质量的智能拷贝来降低企业的创新成本，提高平台内容的质量。JD.com开发了两个产品，李白的作品和莎士比亚的作品。通过关键词输入，李白的作品可以在一秒钟内生成数万篇相关的文章或材料句子。它可以为电子商务平台输出高质量的产品功能介绍、详细描述、促销语言、购物指南文章、评价文章等内容，创造出丰富的营销生态系统，还可以为信息平台量身定制不同类型的文章，如快报、评价、知识百科等，还具有写诗的能力。当应用到JD.com寻找好的产品时，它将购买专辑、成千上万的人和成千上万的面条，以及在诸如“新鲜”频道上写的内容。据报道，在李白的作品推出后的短短几个月内，他一天就写了1000多篇文章，积累了10000多份订单，为寻找精品、购买专辑等渠道带来了数千万的GMV销售业绩。该系统借鉴传统的NLG和语言模型方法，在商品标签和搜索数据库层面，基于平台自身积累的海量数据，从句子层面进行结构分析、训练模型和语言生成，能够在一秒钟内“吐出”1000份，并根据用户的不同需求独立选择不同的写作风格。且可以根据用户纠正行为实现机器的优化算法。例如，用户选择和未选择文档的自动“记忆”将在下一次类似的检索中被优先化，并且用户修改也将被记录以提高下一个文档的质量。2019年，JD.com整合了莎剧和李白JD.com之前的两个人工智能智能智能复制系统，加大了对视频内容智能创作的支持，形成了涵盖复制、图像和视频处理的综合智能创作平台“人工智能闪电”。

阿里的“人工智能智能智能拷贝”产品成功通过了图灵测试。该产品将淘宝和天猫的海量高质量内容与自然语言算法相结合，以商品复制为主，实现了三大核心能力——高度模拟人的文案写作(提供描述性、特殊性、趣味性等多种文案写作风格)。)，自由定义单词，以及实时在线示例学习。它背后的技术逻辑是一个基于深层神经网络的sequence2sequence模型，集成了注意机制、位置编码、复制机制等。实现商品的连续复制。具体的生成过程是，阿里母亲的人工智能智能智能文案首先从淘宝上覆盖几乎所有类别和商品的数亿文案中筛选出数百万个高质量的训练样本。然后通过对位置信息进行编码，改变每个单词的概率分布，实现长度可控。最后，结合质量控制模型来拟合人们对生成结果的判断。随着数据的不断积累，质量控制模型可以更准确地判断结果，同时可以更好地指导生成网络的迭代。以最基本的短标题拷贝为例，阿里母亲的“人工智能智能智能拷贝”生产能力已经达到每秒20，000份。

如何获得报告？

本报告《智能写作:人工智能商业应用的最高点——人工智能技术在智能写作中的应用现状及趋势展望》是机械心脏行业研究团队推出的“智能周”人工智能技术应用报告系列之一。

这一系列的报告都包含在人工智能领域的专业信息和数据平台“机器之心”中。

访问“心脏的机器专业”，成为一个专业用户，你可以得到免费的报告。

pro.jiqizhixin.com

获得更好的电脑体验

本文由 在线网速测试 整理编辑，转载请注明出处。