“我知道广告费有一半浪费了，却不知道被浪费的是哪一半”，当年百货业之父约翰·沃纳梅克(John Wanamaker)说这话的时候，是由于当时无法精准定向用户导致一部分预算花到了非意向用户身上。
可如今的数字化广告，在可精准投放的前提下，还有很大一部分的预算被浪费，究其原因，最重要的一点就是无效流量，即广告主的预算被“刷量”了。
一、无效流量的定义
所谓无效流量，也称为虚假流量，所有可能会虚增广告客户费用的点击或展示都属于无效流量，这其中最典型的是通过人为手段蓄意制造的欺诈性流量，也包括误点击，甚至有的时候，同行恶意竞争，竞争对手会对广告主投放的广告进行恶意点击，这也会产生无效流量。
已被定义为无效流量的曝光不能计入可见曝光。可见曝光测量机构会应用更多的技术在判断广告可见性的基础上增加对其是否属于无效流量的判别，并在报告中将不可见曝光类别下的无效流量单独体现出来。
二、无效流量的分类
根据中国广告协会的标准，无效流量(Invalid Traffic，IVT)被分为两种，一是GIVT（一般无效流量），二是SIVT（复杂的无效流量）。
1. GIVT（General Invalid Traffic）
一般无效流量，包括应用列表或其他标准化的参数在检查执行过程中使用常规的过滤方法就可以识别的流量。
GIVT的主要范例类别包括：
- 已知的数据中心流量：根据IP地址检测到的来自数据中心（IDC）的流量，基本是来自服务器，而不是客户端。
- 机器人和爬虫流量：机器人也好，其他爬虫也好都是非人类活动，即抓取工具在某些情况下触发广告的展示。当然这部分流量，有时候也会被定义为SIVT，取决于抓取工具的伪装程度。
- 基于用户正常活动判断的无效流量：正常的用户虽然对他们的行为方式不可预测，但是可以确定合法用户不会一遍又一遍地执行相同的单调的操作且每次以相同的方式，还可以确定合法用户不会异常的快速点击，或者说以十秒这样精确的间隔进行点击。
- 基本信息缺失或信息矛盾的的流量：http或者超文本传输协议是涉及大多数互联网内容交易的基础结构，里面包含很多基础数据，其中包括user-agent，当user-agent字段内容是未知或者不标准时，会被认为是GIVT而过滤掉。
- 不符合可见性标准的流量：一般web浏览器可以在用户访问之前加载一些网站内容，这样做可以帮助用户提升上网体验，但是这种预加载会导致一些广告在没有实际发生展示的时候触发曝光上报，一旦确定用户没有实际看到过这样的预加载内容，这种展示会被过滤掉。
- 来自已知高危作弊来源的流量：依据预设列表判断。
2. SIVT（Sophisticated Invalid Traffic）
复杂的无效流量，包括在难以检测的情况下，需要进行更深度的分析，多个考察点一起认证，且进行一些人为上的干预和检测，才能分析和识别出的无效流量。
SIVT的主要范例类别包括：
- 在出自相同或相似来源的的情况下区分人类和IVT流量：这时候有效和无效流量可能同时发生在同一设备上，比如这台设备感染了恶意软件可能会在后台自动启动，但用户以合法的方式操作另一个浏览器。
- 伪装成合法用户的机器人或其他爬虫：如果爬虫使用标准的user-agent则表示他们伪装成合法用户。这种爬虫可能偶尔是处于合法目的，比如测试，但多数属于欺诈，无论目的是否合法，他们都是无效的展示。使用复杂的分析可以识别出来他们non-human的标签识别出来。
- 被劫持的设备：安装在手机或电脑上的恶意软件可以导致设备伪造合法流量或应用程序，也就是说可能是合法设备的非法活动。
- 广告展示时故意隐藏、叠加，掩盖、自动刷新或使过程模糊：多个广告投放在同一个页面或应用，但是有意隐藏，用户无法看到，或者他们可能是1×1像素的，或者是堆叠在一起导致用户无法看到的广告。
- 无效代理流量：可能来自存在的中间代理设备，用于操纵流量或创建/传递非人类或无效流量。
- 伪造可见的展示：简单来说，以MRC标准鉴定广告展示的可见度，至少50%的像素在视野中持续一秒，则被称为是可见的，如果违反它，被视为伪造可见的展示。
- 虚假网站：用于非法用途的网站被称为是虚假网站，在这种网站上创建的内容或应用，属于无效流量，或者为了欺骗用户，让他们相信这是另一个网站或者应用。另外还包括通过一个合法网站然后跳转到不同非法网站的行为。
- 篡改或重复使用窃取获得的Cookie信息的流量：包括操纵用户cookie在后台自动浏览，也包括插入删除或其他伪造用户行为的操作。
- 操纵或伪造位置数据：用户的位置数据可能来自设备的GPS或者他们的IP地址，甚至已知的WiFi接入点，当在广告交易时错误的表示位置数据，被称为是无效流量。
二、GIVT排除列表
针对一般无效流量，行业里一般提供了黑名单，即大家常说的GIVT列表，但是是付费的，根据会员与否价格不同。
1. GIVT List
一般无效流量数据（GIVT List），是由中国广告协会统筹指导，中国无线营销联盟（MMA中国）为组长单位，依据《互动广告 第2部分：投放验证标准》国家标准，利用新兴技术和方法论，组织行业力量定期更新的数据产品。本数据由中国广告协会认证和发布，是中国唯一的行业级“一般无效流量数据”。
数据内容包括：IP地址黑名单、IP地址灰名单、Device ID黑名单、Device ID灰名单。
数据更新周期：每月更新，每月20日(遇非工作日顺延至下一个工作日)发布最新的数据文件。
2. IAB List
IAB爬虫和机器人列表可帮助公司识别自动化流量，例如搜索引擎爬网程序，监视工具以及其它不想在其分析和可计费计数中显示的非人为流量。
此外，使用行业标准列表（例如“爬虫和机器人”列表）可减少各方之间的差异，并达到根据“无效流量检测和过滤准则”检测一般无效流量的要求。更多关于IAB List可通过https://iabtechlab.com/software/iababc-international-spiders-and-bots-list/查看。
三、无效流量的危害
- 无效流量无法达到广告主期望的ROI，增加了广告主的获客成本，造成广告主的经济损失。
- 虚假的流量无法提升品牌形象，对广告主没有任何价值。并且当品牌被投放到负面新闻页面，还会对品牌造成负面影响。
- 不良竞争以及对短期利益的追求，造成广告营销的混乱，使广告主对数字广告产生信任危机。
四、如何规避无效流量
广告主在投放过程中想要规避无效流量，可选择如下几个方向：
选择大型广告平台进行广告投放，因为大品牌的媒体平台需要营造自己的口碑，同时大媒体平台都有自动监测流量质量的功能，和防恶意点击系统，可以通过一系列措施帮助广告主避免无效流量。
设置反作弊规则以及加入机器学习，通过对转化率、IP以及用户留存等维度的监测进行判断，当发现异常时，如点击过高，留存过低，转化率过低等情况，及时进行排查，进行处理或改换其他投放渠道。 
作者：包子
来源公众号：商业化产品日常笔记
