摘要
将长篇文章的要点浓缩为短文本的处理。分为抽取式 (从原文中选取重要句子) 和生成式 (用新的语句改写) 两种方法,是在字数限制下传递信息的关键技术。
摘要 (summarization) 是在保留原文含义的前提下,将文本压缩为更短内容的处理。新闻标题、书籍腰封、论文摘要、搜索结果片段等,日常生活中处处可见摘要的应用。在有字数限制的场景中,摘要技术直接决定了信息传递的质量。
摘要有两种基本方法。抽取式摘要 (extractive summarization) 从原文中直接抽取重要度高的句子并排列组合。通过 TF-IDF 或 TextRank 等算法对每个句子进行重要度评分,选取得分最高的句子。由于直接使用原文表述,准确性较高,但句子之间的衔接可能不够自然。
生成式摘要 (abstractive summarization) 在理解原文内容的基础上,用新的语句进行改写。人类所做的摘要大多属于这种方式。近年来,GPT、BART 等大语言模型使机器生成式摘要的质量有了飞跃性提升。但存在将原文中没有的信息作为"幻觉" (hallucination) 生成出来的风险,需要建立事实准确性的验证机制。
摘要的质量通过"压缩率"和"信息保留率"的平衡来评估。将 1,000 字的文章压缩为 200 字,即压缩到原文的两成 (削减八成),但如果遗漏了重要信息就不能算好的摘要。反之,为了涵盖所有信息而写到 800 字,摘要的价值就大打折扣。合适的压缩率随目的和媒介的不同而变化很大,并没有统一的正确答案,不过压缩到原文的几分之一是一个大致的着眼点。
实际工作中的摘要需要配合不同媒介的字数限制:搜索结果的 Meta 描述以约 120 字符为一个着眼点 (Google 并未规定正式的字数上限);X (原 Twitter) 采用加权 280 单位的计法 (中文字符每个算作 2 个单位,因此纯中文帖子实质约 140 字);手机推送通知只显示能放进显示区域的开头部分;新闻标题则要在一行之内把事情说完。将同一内容压缩为 120 字和压缩为一行标题,所需的技巧完全不同。字数越少,每个字承载的信息密度就需要越高。
字符计数工具是摘要工作的必备工具。在实时确认当前字数与目标字数差距的同时,判断"还需要删减多少"、"这条信息是保留还是舍弃"。提升摘要能力的有效练习是:将同一篇文章分别压缩为 100 字、50 字、20 字。字数限制越严格,越能锻炼辨别真正重要信息的能力。