内容审核存在的意义（内容审核的反垃圾策略下）

大部分产品的审核机制和方式相对简单粗暴，对于“误发敏感内容”的用户而言十分不友好，甚至有推卸责任的“嫌疑”。本文就来思考一下反垃圾策略下的体验优化可以怎么做呢？

无论任何形式的互联网产品，用户发布内容的时候，都逃不过一层屏障——内容审核。

内容审核是产品反垃圾策略下的产物，是对产品内容的风险把控，减少产品中出现的“垃圾”信息，净化网络生态环境。

这种措施对于大环境而言是必须的，但是大部分产品的审核机制和方式相对简单粗暴，对于“误发敏感内容”的用户而言十分不友好，甚至有推卸责任的“嫌疑”。

那么接下来就可以一起思考一下，反垃圾策略下的体验优化可以怎么做呢？

01 概念解读与背景分析

反垃圾策略，实际上就是对网络生产内容进行审核，识别、删除不符合《网络信息内容生态治理规定》的文字、音频、视频等内容。

内容审核方式目前通用的是AI 人工审核的方式，具体的解决方案不尽相同。AI通过将用户内容与敏感词库中的关键词进行比对后进行识别、剔除或者禁止操作；AI可以识别绝大部分内容，提升审核整体的效率；但是对于视频内容等机器未学习到的内容，仍需要人工审核去把控，或者对用户的申诉内容进行人工干预和处理。

目前内容审核解决方案也很多，例如网易易盾、百度大脑，以及字节跳动开发的灵犬反低俗助手小程序等等。

（图片来源：https://dun.163.com/product/censor-system?from=baiduP_FLJ_CP6026）

（图片来源：https://ai.baidu.com/solution/censoring?track=cp:ainsem|pf:pc|pp:chanpin-neirongshenhe|pu:neirongshenhe|ci:|kw:10001733）

（图片来源：灵犬反低俗助手微信小程序）

02 反垃圾策略所面临的的问题

对于内容消费的产品而言，反垃圾、风控是产品安全的保证，这些策略是产品正常运营的保障。但是目前各个产品的内容审核机制不同，处理和应对方案也存在差异，这就导致一系列的操作与体验问题存在。

接下来的内容主要以用户生产成本最低的“文字”内容进行分析。

扎克伯格认为，AI是内容审核的答案。毋庸置疑，面对海量的内容，利用AI算法进行过滤和风控是最优的选择。但是选择过后，各个产品面向用户的解决方式是不同的。

比较简单粗暴的方式就是利用AI进行监测和删除，但是这依赖于强大的敏感词库与机器学习能力。这种内容审核本着近似“劣币驱逐良币”过滤机制，将一切名字敏感词库的词汇进行禁止。这种做法确实可以阻隔绝大多数的不良信息在平台上出现，但同时也会出现很多让人无奈的情况，例如用户本想上传一段诗歌评论：

（寻找到下段文字中的敏感词，看看你是否具备火眼金睛？）

人们可以在世界上走来走去，但无论走到哪里，都依然是围着自我在转，似乎永远无法真正地走出孤独的自我，抵达别的心灵。而正如黑夜总会降临一样，人也终究会离开这个世界，生活充满着各种各样的可能性，或幸福或痛苦，或富贵或贫穷，唯有死亡是每个人无法逃避而不得不接受的可能性。

洋洋洒洒一大段，但是发布时却被拦住了，系统提示有敏感词，无法发布。

这个时候用户就会懵了，只提示了有敏感词，但是敏感词是哪个却不告知；好不容易写了这么一大段，居然又发不了……

（图片来源：笔者自绘 网络表情图）

这种严格的内容审核看似玩笑，但是当真作用在用户自己身上的时候，对于普通用户而言的伤害是无形的。这种逻辑只是以一种强硬的态度告知用户做错事了，你就是做错了，所以我们的平台的禁止你发布，你需要立刻马上改正，但是我还不告诉哪里错了，怎么去调整解决。

（这种场景为何似曾相识……）

很多时候用户发布的词汇中包含一些敏感词时，会被禁止发布或者审核后删除，但是用户是无法感知到究竟哪个是敏感词的，这种无力感会严重影响用户的互动行为或者下一步的转化率，长此以往，不需要多次，用户在平台的流失率就会变得很大。

面对这种情况，实际上需要平台和用户共同努力去解决。平台方需要不断更新自己的敏感词库，不断训练机器学习的能力；同时产品也需要一些忠实用户进行反馈，经平台人工审核后发布并调整敏感词库内容。但是这些操作行为在时间成本上的消耗是巨大的，用户互动时的即时性很难延续下去。

03.如何在命中敏感词时优化用户体验？

对于审核机制体验的优化，实际上需要从技术和设计两方面共同协调，才能给用户“无感”的用户体验，即便内容被策略限制，互动的体验和行为仍然能够延续。

1. 技术上

首先是对自身敏感词库内容的不断优化、补充、升级，不断优化补充新的词汇，例如可尝试补充诗歌词汇、常用词组等过滤机制；

其次需要对提升机器学习能力，主要是增强机器的语义理解能力，提升对场景识别、上下文识别的能力，从而在根本上减少对敏感词的“误识别”，为人工审核缓解更多压力。

2. 设计上

内容审核是硬性要求，任何互联网产品都是要遵循，但是这并不等同于简单、粗暴地限制、禁止用户，设计上需要通过更加友好的方式，为用户的内容生产流程创造更加良好、充满安全感的体验。无论平台的审核机制如何，在反垃圾策略下，对于用户体验的优化思路的共通的，都需要将控制感归还给用户，维护用户与产品之间的信任感，不能将所有的责任转嫁给用户就结束了。

审核的流程目前主要分两种策略，对于时效性较高的产品，往往采用先发后审的机制，用户发布的内容通过机器过滤后可以立即发布，同时其他用户可见，人工审核在发布后进行；相对应的另一种就是先审后发，通过机器过滤、人工审核流程后再发布出去。

两种策略机制的差异点在于用户内容是否会即时发布，而让用户产生疑惑和压力的环节，主要出现在先发后审的机器过滤环节。从用户行为路径去分析可以看到，大部分流程的阻断和干扰都出现在了敏感词被识别后，机器往往未给用户提供可选择的解决方案，告知用户下一步应该怎么做才是对的，符合要求的，只是将用户内容挡在红线以外，用户的发布流程被阻断，原本的发布路径断开，这就导致用户在这个流程中陷入“进退两难”的境地。

因此，关键的设计优化思路在于给用户创建新的闭环操作，让用户能够顺畅解决当前面临的问题。在实际操作上可以借鉴VUI设计思路，当路径上出现新的阻断造成缺口时，应该围绕任务建立新的闭环路径，将用户重新引导至核心路径中来，从而流畅完成内容生产流程，优化产品体验。

（图片来源：笔者自绘）

（1）敏感词内容提示

直接告知用户命中的敏感词内容，直观提示用户修改，避免用户陷入疑惑；

（图片来源：笔者自绘）

（2）内容替换

可在发布前或者发布结果中将敏感词内容替换为可发布内容。在这里可以进行进一步的延伸，例如允许用户自主选择或者随机替换方式，这样既可以正常发布内容，又可以强化情感化体验。但是需要注意的是，这种主动提供替换方案的方式存在一定的业务风险，设计方案中还是需要评估使用。

（图片来源：笔者自绘）

（图片来源：笔者自绘）

（3）自动屏蔽打码

与内容替换结果比较类似，只是在用户发布过程中不会询问用户，发布结果自动针对敏感词进行屏蔽处理，不影响用户正常发布流程；

（图片来源：笔者自绘）

（4）仅自己可见

用户可以正常发布内容，但如果内容涉及敏感词，机器识别后可将当前内容进行降权和假写处理，仅用户自己可见，其他用户不可见，随后继续进行人工审核处理。

04.小结

反垃圾策略是互联网产品内容净化的必要屏障，是给用户呈现健康内容生态的重要环节。但是在策略的实现上，大部分产品的解方案往往普遍简单粗暴，更多操作流程及体验细节需要设计师进一步优化，从产品、业务形态及审核流程出发，在全局视野下优化体验，主动承担起企业责任，而不是将所有的“误”发内容的责任全部甩锅给用户。

#专栏作家#

虾米&胖喵，pangmiaodesign，人人都是产品经理专栏作家。高级交互设计师（百度/爱奇艺），夫妻搭档，猫奴。曾做过公益产品、影音媒体产品，目前专注于企业级产品、娱乐社区产品体验设计。“有猫，就有一万种美好！”

本文原创发布于人人都是产品经理。未经许可，禁止转载。

题图来自 unsplash，基于 CC0 协议

,