文谦的博客 | Wenqian Blog

Display Advertising with Real-Time Bidding (RTB) and Behavioural Targeting读书笔记（二）

RTB拍卖和市场价格分布预估

拍卖机制的引入通常情况下，不同的广告主对于某次曝光的价值认定是不同的，这不利于发布者形成对某次曝光的价值判断。在广告场景中，广告主和发布者双方需要一种公平且透明的方式来快速地得到一份针对某个曝光的合理成交价。拍卖机制就很合适。拍卖通常分为三步：听取报价，选择报价，以及售卖给报价最高的人。在RTB中通常采用第二价格拍卖（second price auction）的方法，即最高报价者最终以...

Posted by Wenqian on March 27, 2021

Display Advertising with Real-Time Bidding (RTB) and Behavioural Targeting读书笔记（一）

引言以及RTB工作原理

在线广告的历史第一个在线广告可以追溯到1994年，当时只有差不多三千万网民。后来在线广告发展出了两个方向 —— 付费搜索（sponsored search）和捆绑式广告（contextual advertising）。其中付费搜索是指广告主通过购买关键字/词的方式使得用户在使用搜索引擎时可以提升他们的利润，而这笔钱也可以极大地促进搜索引擎提供商继续提供免费的搜索服务。捆绑式广告则是指通过售...

Posted by Wenqian on March 24, 2021

Transformer详解

从encoder-decoder到self-attention

近些年来，NLP领域发展迅速，自BERT问世以来，基于Transformer架构的模型层出不穷，不断刷新NLP各个细分领域的榜单。作为一个NLP领域的门外汉，倒是也对Bert、ERNIE、GPT这些高大上的模型心生仰慕。不过路要一步一步走，这第一步便是Transformer。第一步前的第零步作为一个程序员，计数怎么能从1开始呢，那必须是0！在研究Transformer的原理之前，我们先...

Posted by Wenqian on December 29, 2020

「经典算法回顾」：Boosting系列算法

从AdaBoost到LightGBM

前言 Boosting算法是传统机器学习中相当重要的一个分支。在深度学习流行以前，像XGBoost和LightGBM这样的算法几乎可以算是Kaggle竞赛的标配。由于其良好的性能和效果，无论是何场景，基本只要无脑上XGBoost即可。那为何XGBoost和LightGBM有着这样强大的能力，人们又是如何一步一步锻造出这些强大的武器呢？希望通过本文，可以使大家能对Boosting中一些主流...

Posted by Wenqian on November 29, 2020

「联邦学习系列」：个性化联邦学习（三）

知识蒸馏篇补充

再说两句最近碰巧又在arXiv上看到两篇用知识蒸馏做联邦学习的文章，和之前介绍的思路还不太一样，因此这里另起一篇做一个简单的补充。没有直接放到上一篇文章也是因为我个人感觉这两个思路还不是很成熟（有点不靠谱），不过相对比较新颖，可以记录一下。这两篇文章分别是： Adaptive Distillation for Decentralized Learning from Heteroge...

Posted by Wenqian on September 21, 2020

「联邦学习系列」：个性化联邦学习（二）

知识蒸馏篇

前言在上一篇文章中我们梳理了一下采用元学习方法进行个性化联邦学习的几种方式，本文中，我们将继续探寻如何将知识蒸馏应用于个性化联邦学习。在本文的一开始，我想先简单介绍一下知识蒸馏。什么是知识蒸馏知识蒸馏最早由Hinton等人提出，用于将复杂模型（集成模型）内的知识压缩到简单模型（单个模型）中[1]。做法就是将复杂模型得到的预测概率值作为soft target，辅助真实标签（hard t...

Posted by Wenqian on September 18, 2020

「联邦学习系列」：个性化联邦学习（一）

元学习方法篇

什么是个性化联邦学习当初在刚学习联邦学习不久时，我的脑海中就有过一个疑问：通过联邦学习训练出来的模型就一定比本地数据训练出来的模型效果更好吗？似乎联邦学习只关心总体的情况，而忽略了个体，因为它的全局模型是基于所有数据进行训练的，并且优化的目标也是一个整体目标。然而我们都知道，在联邦学习的设定中，不同参与方的数据量和分布都是不同的，全局模型无法在把握整体的同时又照顾到这种差异...

Posted by Wenqian on September 3, 2020

「联邦学习系列」：纵向联邦学习中的实体对齐

如何匹配参与方之间的样本

什么是实体对齐简单来说，实体对齐就是将两个实际上表示同一个实体的不同样本对应起来，这两个样本一般位于不同的数据集内。实体对齐(entity alignment)也叫实体解析(entity resolution)、实体匹配(entity matching)或者记录链接( record linkage)，其关键便在于如何关联两个样本。实体对齐是一个应用广泛的概念，例如在知识图谱中也有相关应...

Posted by Wenqian on August 6, 2020

「联邦学习最新论文解读」：ICLR2020中的联邦学习

看看ICLR2020中有关联邦学习的文章

简介今年的ICLR2020中一共收录了7篇与联邦学习相关的文章，其中2篇是演讲的文章5篇是poster-paper，具体收录的论文标题可以看机器之心的这篇文章。这里主要介绍一下其中的三篇，其他几篇就简短地过一下。 FAIR RESOURCE ALLOCATION IN FEDERATED LEARNING 第一篇文章来自CMU和FB的合作，聚焦联邦学习中的公平性问题。这里的公平问题是指在...

Posted by Wenqian on June 29, 2020

「联邦学习最新论文解读」：AAAI2020中的联邦学习

看看AAAI2020中有关联邦学习的文章

简介在今年的AAAI2020中，共有三篇和联邦学习相关的文章，他们分别是FedVision，Robust Federated Training via Collaborative Machine Teaching using Trusted Instances以及Practical Federated Gradient Boosting Decision Trees。 FedVision...

Posted by Wenqian on June 22, 2020

ABOUT ME

Wenqian Blog