互联网的发展让内容丰富的多媒体信息得以快速传播，帮助广大用户实现了零距离的信息传递。但同时，尽管国家一直在加强多媒体内容监管，但仍被一些不法分子钻了空子，制作违规文本、图片、音频、视频等从事违法犯罪行为，如传播色情、低俗内容等不良信息等。随着《网络信息内容生态治理规定》的正式实施，必将加速对不良网络信息的治理。本文介绍了随着技术的逐步发展，对音视图文各种渠道中不良信息识别技术的演进过程。

一、图片内容安全技术

随着移动互联网读图时代的到来与发展，大量色情、低俗以及擦边球的内容每天都以数以亿计的数量在各大网站、APP等平台上涌现，相较于文本的隐蔽性，图片和视频中存在的不良信息传播性更大，给广大用户互联网内容消费的体验造成了干扰。因此，一系列图像视频算法被运用来应对这里的风险。

相同图片识别

最开始的不良图片视频识别手段主要是通过建立不良图片视频的MD5种子库，并用将户新上传的图片视频方式进行比较，如果一致则判断为不良内容。MD5比对本质上是把图像当作一个二进制文件，通过比对二进制内容来判断是否违规，这种方式忽略了图像本身的表征属性，显然这种方式的短板是无法解决同一张图的变种问题。

相似图片识别

为了解决MD5库的短板，业界开发了基于传统的图像特征相似度的技术，同样建立不良图片的库，能够识别经过旋转、拉伸和裁剪的变种的相似图片，通过这种方式能进一步识别变种的问题。图像相似度比对的方法考虑到了图像的底层特征，对同一幅图的几何变换（一般是仿射变换）具有一定的检出鲁棒性，但是它存在两个主要的问题：首先，对恶意图片的打击需要定期收集和更新种子库注册图，对恶意信息的拦截存在滞后性，而且随着种子库规模的增加，检索效率会成为实现过程中的瓶颈；其次，只考虑了图像的底层信息（例如局部边缘、纹理），没有考虑图像的语义信息（例如：画面中是男人还是女人、是哪个部分发生了违规）。而且随着智能手机的普及，每个终端都可能是恶意内容的制造者，因此，恶意内容的多样性给种子库的及时性和规模性带来巨大挑战。

同类图片识别

随着AI技术的逐步发展，利用深度学习算法优秀的泛化能力，能够用过一个模型解决一类问题，如通过色情识别模型解决明显色情问题，而不再是通过无限地扩大种子库规模来覆盖新出现的单点case。这种方式本质上是分而治之的思想，把一个复杂领域分解成N个子领域，对每一个子领域单独训练一个模型。它存在的主要问题是，随着对恶意内容的持续治理，占比小且灵活多变的长尾恶意问题凸现：如果针对每个恶意内容类型研发独立的算法模型，除了应对时效不足外，对算法研发的工作量也是线性增加。而且多个针对局部优化的模型简单捆绑在一起的效果往往不能达到全局最优。

图片语义识别

为了解决灵活多变的识别需求，尝试从灵活多变中寻找不变的东西，即图像视频中客观存在的语义信息，期望可以通过N个模型获取图像视频中大语义信息，再利用这些语义信息解决灵活多变的N+ 类问题，这是业界目前正在做的工作。例如，如果出现一个人拿着菜刀出现在地铁里的画面，在有些业务上会被当作“违规”类型检出，而当同一个人拿着同款菜刀出现在厨房里时，则是一张正常的图片。这个例子中“地铁”、“手拿菜刀”两个元素的组合才是判断是否恶意的依据，类似的还有更多标签的各种组合情况。

图片文字识别

图片/视频中除了存在明显的恶意特征之外，大量的图片和视频中还存在文字信息，针对此类的图片/视频的识别必须先提取文字（OCR），再经过文本处理，最终判断图片/视频是否存在不良信息。

传统的OCR的流程是先将图片获取进行二制化，提取出可能是文字的部分。再来把这些含有文字的图片分割成一块一块，然后将这些分割后的小图片放到分类器里来识别文字是什么字符。进行字符串汇总之后还会进行自然语言处理的修正，最后反馈正确的结果。

随着深度学习技术的发展，业界已经逐步开始使用端到端的模型，主要基于CNN和RNN网络结构。CNN的作用是图像特征提取，RNN做文字序列的识别。尽管网络结构有很多的变形，但它背后的逻辑仍然和原来的没有太大变化：都是先从图像上面提取一部分特征，再将图像上的特征对应到文字上。所以CNN＋RNN这种网络结构处理图像的模式，也是通过图像提取产生一系列文字的特征，最后形成文字的过程。

二、音频内容安全技术

音频是现阶段网络上发展最快的信息载体，其特点是信息的隐蔽和识别困难，传统利用音频指纹等几何校准匹配的方法，可以有效被动拦截互联网的有害内容。而随着技术的不断演绎和迭代，针对音频的识别也变被动为主动。例如获取到音频后通过音频分类将里面可能含有色情的声音识别出来，之后利用语音切分技术提取有效的语音部分；同时，利用说话人识别技术判断得到的音频是否含有特定人物和语种信息，以决定该音频是否含有不良信息；最后利用语音转文字技术，将听见转化为看见，并且实现将段、句、字、音素的文本信息和原始音频进行对齐，得到整段音频的对应文字信息，再通过文本安全技术做识别。

三、文本内容安全技术

从图片/视频/音频中识别文字是第一步，但是如果要做到不良内容的识别，仍需要对文本进行处理。相对于其他多媒体信息，文本信息对抗的成本更低、语义表达更抽象。

使用传统的关键词匹配技术，例如设定色情类别的关键词，文本中匹配到关键词后即判定该文本含有不良信息，纯粹的关键词匹配可以精准的识别不良文本，但是同时带来很多误杀，比如早期在某些互联网平台中搜索不到“java”、“二十四口交换机”等词。通过对文本进行分词可以解决一定的关键词误杀问题，但是随着对抗的增加，不良文本中增加各种特殊符号、变异字、多音字、形近字来干扰关键词匹配，导致关键词匹配技术越来越力不从心。

随着AI技术的逐步发展，针对不良文本的分类识别已经有TextCNN、RNN、FastText等模型能够使用。相较于传统的关键词策略，使用模型算法其抗干扰性比较强，对词顺序不敏感的特点，能够满足互联网时代发展带来的不良文本识别的需求。针对不良文本中的存在的不同变种情况，在模型训练的时候通过同音字、拆字等方式做了数据的增强，以网络诈骗中常见的“代开发票”关键词举例，可以将“代开（发｜花华 化 hua⋯）票（票｜飘 漂 嫖 piao ⋯）”等相近词补充到训练数据中，通过这种方式训练出的模型对抗性更强，更能有效地解决文本对抗中的难点。

对互联网不良内容的识别是个持续演进的过程，越来越多的新技术被应用其中，但这并不代表传统的识别技术就完全落伍不能使用，而是应对当前复杂多变的场景，必须将多种技术有效组合，才能最终解决互联网不良内容识别的问题。腾讯安全通过对前沿技术的不断探索，以及多年的实践积累基础上，推出了“腾讯天御”解决方案，能够帮助企业用户构建一套完整的内容安全识别体系，助力用户业务安全发展。