在线广告的历史
第一个在线广告可以追溯到1994年,当时只有差不多三千万网民。后来在线广告发展出了两个方向 —— 付费搜索(sponsored search)和捆绑式广告(contextual advertising)。其中付费搜索是指广告主通过购买关键字/词的方式使得用户在使用搜索引擎时可以提升他们的利润,而这笔钱也可以极大地促进搜索引擎提供商继续提供免费的搜索服务。捆绑式广告则是指通过售卖网页、视频或app的广告位来提供广告服务,因此也被叫做广告网络(advertising network)或者展示网络(display network)。
在2005年左右,关注于基于实时竞价(RTB)的购买以及贩卖曝光的新平台应运而生。这类平台如今被称为流量拍卖平台(ad exchanges)。这些平台会聚集多个广告网络(从而也平衡了广告市场买卖双方的供需关系),使用拍卖的方式售卖某个用户的实时曝光。于此同时,一些其他的类似平台也出现了,这其中就包括需求方平台(DSP):服务于广告主,管理他们的拍卖并且通过算法将他们的实时竞价反馈给流量拍卖平台;供应端平台(SSP):服务于发布方,管理他们的网站广告清单。
RTB广告的研究包括多个领域,例如用户反馈预估(例如CTR预估),行为定向(behaviour targeting),知识抽取(knowledge extraction),相关性反馈(relevance feedback),欺诈检测(fraud detection),激励与经济(incentives and economics)以及推荐系统和个性化。
RTB是如何工作的
下图是RTB的生态系统: 由上图可见RTB生态系统中主要包括广告主、发布者、广告网络以及用户这几大角色,另外也包括SSP、ADX、DSP以及DX几大平台或工具。其中SSP、ADX和DSP在上文中已有介绍,而DX则是指数据交换平台(也叫数据管理平台DMP),主要通过提供用户的历史数据(通常是实时的)来服务DSP、SSP和ADX,以达到更好的匹配效果。
在需求侧,广告主会在DSP上创建多个竞价。如果没有DSP,广告主不得不频繁创建和修改他们的报价来得到一个更好的覆盖率以及分析多家平台的数据从而获得更好的影响。因此DSP可以理解为广告主的代理商,帮助他们在选中的广告网络中进行竞价和追踪。在供给侧,发布者会通过SSP在市场上注册曝光。如果没有SSP,发布者则不得不谨慎地对比各个广告网络并且在多个广告网络上注册曝光,以期望得到最多收入。因此SSP也可以理解为发布者的代理商,帮助他们贩卖曝光,并且选择最优竞价。ADX在这其中则扮演一个协调者的角色,将多个广告网络聚合到一起,并且平衡市场中的需求和攻击。DX会采集用户数据并且随机贩卖给DSP、SSP和ADX,有时也会直接在RTB中直接提供给广告主,从而得到更好的广告与用户之间的匹配。这项技术通常被称作“行为定向”(behavioural targeting)。
每当一个用户浏览网页时,在发布者的网站上就会创建一次曝光。之后行为定向便开始运作了,整个过程大概分为八步:
- 发送广告请求到ADX。一般是通过SSP或广告网络。
- ADX在DSP上查询广告主的竞价。
- DSP联系DX获取第三方用户数据。
- 如果广告主决定竞价,则生成并提交竞价。
- ADX会选择竞价胜出方,并选择对应的SSP。
- 胜出的消息会传递给对应的广告主。
- 展示胜出的广告。
- 追踪器会收集用户反馈,记录用户是否点击该广告或者一些其他的转化行为。
简单来说可以总结为:竞价 – 决定 – 曝光 – 反馈。基本上和所有需要竞争的场景是类似的,例如拍卖和竞标。
此外,在这中间还可以做重定向(retargeting)。比如购物网站收集到某个用户将某个商品放入购物车的行为,那么在之后的一段时间可以在其浏览其他网站的时候曝光该物品的广告,加大他/她购买该物品的可能。当然这里的问题就是如何将不同网站间的用户进行对齐。
无论是广告系统中的哪一方(发布方、ADX、DSP竞价方或者DMP用户追踪方)都会通过cookies来追踪用户行为。但是光有Cookie还不够,由于各方都有自己的一套用户体系,用户还是没有对齐。解决这一问题的方式是Cookie同步(Cookie Syncing)技术(如下图所示)。
通常门户网站(曝光提供方)的HTML代码内会嵌入第三方追踪器提供的一个tag(例如一个1*1像素的图片)。当某个用户访问某个网站时,浏览器也会请求该第三方的服务,并设置追踪cookies。之后,追踪器会在cookies内得到被追踪者的ID,重定向到ADX处,并将该ID作为URL内的一个参数。浏览器之后会向ADX发送请求,包括之前提到的重定向信息以及ADX自己的cookie。这样一来ADX就可以将追踪方提供的ID和自己的ID进行对齐,并记录下来。最后返回一个1*1的像素点即可。当然,在竞价获胜后,追踪方也可以通过类似的方式得到ADX的ID并同步。
Cookie同步的问题在于cookie本身,用户可能会清理浏览器缓存,甚至不启用cookie。另外的方法还包括采用浏览器指纹(browser fingerprinting),例如canvas指纹。不过这些技术都有一定的隐私泄露风险,收集的信息过于丰富。在隐私保护日益重视的今天,越来越多的浏览器开始研究各种手段去加大追踪难度。如何规范化这些行为可能是政府在今后需要考虑的问题。
Reference
[1] Display Advertising with Real-Time Bidding (RTB) and Behavioural Targeting by Jun Wang, Weinan Zhang and Shuai Yuan. ArXiv 2016.