Ad serving

Ad Serving, Ad Bidding and Ad Monitoring
王 成 栋

Outline
• Ad Serving 和 Ad Monitoring 概 览
• Ad Serving
• Ad Serving 系 统 的 工 作 原 理
• Ad Serving 系 统 面 临 的 挑 战
• Ad Serving 系 统 的 架 构
• Ad Bidding: Exchange、DSP、DMP
• Ad Monitoring
• Ad Serving 和 Ad Monitoring 的 核 心 技 术

Ad Serving 和 Ad Monitoring 概 览

Ad Serving 和 Ad Monitoring 概 览
网 页
Web
Server
网 页 HTTP 请 求
Ad
Monitoring
Server
Ad Monitoring HTTP 请 求
Ad Serving HTTP 请 求
Ad
Serving
Server

Ad Serving 和 Ad Monitoring 概 览
• Ad serving describes the technology and service that places
advertisements on web sites. Ad serving technology
companies provide software to web sites and advertisers to
serve ads, count them, choose the ads that will make the
website or advertiser most money, and monitor progress of
different advertising campaigns.(From Wikipedia)

Outline
• Ad Serving 和 Ad Monitoring 概 览
• Ad Serving
• Ad Serving 系 统 的 工 作 原 理
• Ad Serving 系 统 面 临 的 挑 战
• Ad Serving 系 统 的 架 构
• Ad Bidding: Exchange、DSP、DMP
• Ad Monitoring
• Ad Serving 和 Ad Monitoring 的 核 心 技 术

Ad Serving
CDN
网 页
Web
Server
网 页 HTTP 请 求
物 料 HTTP 请 求
投 放 代 码
Ad Serving HTTP 请 求
Ad
Serving
Server

一 次 广 告 投 放 的 流 程
网 页 加 载 投 放 代 码 以 后 , 投 放 代 码 向 Ad Serving Server 发 送 一 次 HTTP 请 求
( 请 求 中 会 带 上 相 应 的 Cookie 信 息 ), 这 个 请 求 被 称 为 广 告 投 放 请 求
Ad Serving Server 接 收 到 请 求 以 后 , 选 择 出 最 合 适 的 广 告 信 息 返 回
投 放 代 码 接 收 返 回 信 息 , 用 合 适 的 方 式 展 示 广 告 ; 浏 览 器 写 入 Cookie 信
息
由 于 Ad Serving Server 只 返 回 了 物 料 的 URL 地 址 , 所 以 物 料 在 展 示 的 时 候 ,
在 本 地 没 有 缓 存 的 情 况 下 , 会 发 送 一 次 物 料 请 求
投 放 代 码 在 合 适 的 时 机 发 送 曝 光 监 测 请 求 等

投 放 代 码

投 放 代 码
• 嵌 在 网 页 上 的 一 段 代 码 , 能 够 完 成 以 下 功 能 :
• 在 页 面 加 载 的 时 候 , 搜 集 必 要 的 信 息 , 向 Ad Serving Server 发 送 广 告 投
放 请 求
• 接 收 Ad Serving Server 的 返 回 , 组 装 展 示 代 码 , 让 广 告 能 够 在 网 页 上 得
到 正 确 的 展 示
• 在 广 告 展 示 以 后 的 合 适 时 机 , 发 送 各 种 监 测 请 求
• 投 放 代 码 的 形 式
• Javascript
• Iframe
• Flash ad container

Javascript 投 放 代 码

iframe 投 放 代 码

Javascript 和 Iframe 投 放 代 码 的 对 比
优 点
缺 点
Javascript 投 放 代 码
◇ 功 能 强 大 , 灵 活 , 能 够 更 好
的 控 制 请 求 发 送 和 广 告 展 示
◇ 能 够 获 取 更 多 客 户 端 信 息
◇ 错 误 的 Javascript 代 码 会 对 媒
体 的 页 面 造 成 影 响
◇ 嵌 入 方 式 较 复 杂
Iframe 投 放 代 码
◇ 方 便 嵌 入
◇ 并 行 加 载 , 对 媒 体 的 页 面 影 响
小
◇ 能 够 获 取 到 的 客 户 端 信 息 较 少

Flash Ad Container

Flash Ad Container

Flash Ad Container
• 由 Actionscript 代 码 编 写
• 嵌 入 在 媒 体 的 Flash 视 频 播 放 器 中 , 完 成 广 告 的 加 载 和 展
示

并 不 简 单 的 投 放 代 码
• 各 式 各 样 的 浏 览 器 , 浏 览 器 兼 容 性 问 题
• 投 放 代 码 所 处 的 页 面 内 容 千 变 万 化
• 跨 域 问 题
• 总 之 , 投 放 代 码 需 要 在 复 杂 的 环 境 下 , 保 证 正 常 作 用 ;
同 时 , 保 证 媒 体 的 页 面 安 全 , 不 会 对 媒 体 页 面 的 加 载 和
展 示 产 生 影 响 ; 还 需 要 尽 可 能 的 以 一 种 简 单 优 雅 的 方 式
方 便 媒 体 的 嵌 入

Ad Serving Server

投 放 决 策
预 设 的
广 告 信
息
当 前 曝
光 的 信
息
基 础 信
息
最 合 适 的 广 告

决 策 输 入
预 设 的 广 告 信 息
• 广 告 主 投 放 广 告 的
意 向
• 投 放 在 哪 些 媒 体 上
• 投 放 在 哪 些 时 段
• 每 个 人 最 多 允 许 看
到 多 少 次
• 投 放 到 哪 些 地 域 上
• ……
当 前 的 曝 光 信 息
• 当 前 页 面 的 URL
• 当 前 页 面 的 Refer
URL
• 当 前 用 户 的 ID
• 当 前 用 户 的 IP
• ……
基 础 信 息
• 各 个 媒 体 的 分 类 信
息
• IP 地 域 对 应 表
• 人 群 分 类 信 息
• 人 群 行 为 信 息
• ……

决 策 目 标
• 不 同 类 型 的 购 买 方 式 , 作 出 选 择 的 目 标 是 不 同 的
• CPD、CPT、CPM 等 方 式 : 按 照 预 先 订 好 的 策 略 , 在 固 定 时 段 或 者 固 定
曝 光 范 围 内 展 示 广 告
• CPC、CPA、CPS 等 方 式 : 根 据 曝 光 的 具 体 信 息 , 投 出 最 可 能 引 发 相 关
操 作 的 广 告
• 其 他 目 标
• 选 择 出 来 的 广 告 符 合 媒 体 的 要 求
• 当 前 的 曝 光 符 合 广 告 主 的 要 求
• 投 放 服 务 商 的 利 益 最 大 化

完 整 Ad Serving 系 统 的 基 本 功 能
管 理 广 告 活 动
排 期 执 行
定 向 投 放
上 限 控 制
• 建 立 广 告 活 动 、
建 立 排 期 和 投
放 规 则
• 启 动 、 停 止 广
告 投 放 活 动
• 上 传 物 料
• 查 看 广 告 活 动
的 投 放 效 果 、
成 本 等 相 关 报
表
• 按 照 CPD 或 者
CPT 排 期 执 行
投 放 任 务
• 时 间 定 向
• 地 域 定 向
• 人 群 定 向
• 行 为 定 向
• 投 放 量 控 制
• 预 算 控 制

秒 针 Ad Serving 的 独 特 功 能
• 反 作 弊
• Online
• Offline
• 频 次 控 制
• 控 制 每 个 人 看 到 广 告 的 次 数
• 最 小 频 次 : 尽 量 保 证 每 个 人 看 过 的 广 告 次 数 超 过 这 个 次 数
• 最 大 频 次 : 尽 量 保 证 每 个 人 看 过 的 广 告 次 数 不 超 过 这 个 次 数
• 创 意 播 放 顺 序 控 制
• 控 制 每 个 人 看 到 创 意 的 顺 序
• 支 持 VAST 等 主 流 投 放 协 议

秒 针 Ad Serving 的 独 特 功 能
• 跨 媒 体 优 化
• 跨 多 个 媒 体 的 频 次 控 制 和 创 意 播 放 控 制
• 跨 屏 广 告 投 放 优 化
• PC、 手 机 、 平 板 、IPTV 多 终 端 Ad Serving 系 统
• 跨 多 屏 幕 对 同 一 个 广 告 进 行 优 化
• 流 量 分 配 优 化
• 保 证 流 量 随 时 间 均 匀 分 配 到 多 个 广 告 活 动 上
• 防 止 有 的 广 告 活 动 过 早 耗 尽 某 种 流 量 资 源

Outline
• Ad Serving 和 Ad Monitoring 概 览
• Ad Serving
• Ad Serving 系 统 的 工 作 原 理
• Ad Serving 系 统 面 临 的 挑 战
• Ad Serving 系 统 的 架 构
• Ad Bidding: Exchange、DSP、DMP
• Ad Monitoring
• Ad Serving 和 Ad Monitoring 的 核 心 技 术

高 并 发 量 和 请 求 量
• 每 一 个 页 面 上 都 会 存 在 多 个 广 告 位 ,Ad Serving 服 务 器 承
受 的 请 求 压 力 将 是 页 面 Web 服 务 器 的 几 十 甚 至 上 百 倍
• 可 以 通 过 将 一 个 页 面 的 多 个 广 告 位 的 投 放 请 求 放 在 一 个 HTTP 请 求 中 ,
减 少 服 务 器 的 并 发 量 和 请 求 量
• 每 个 广 告 投 放 请 求 都 是 动 态 请 求 , 有 一 定 的 计 算 量
• 将 广 告 决 策 的 请 求 和 物 料 请 求 分 开 :
• 广 告 决 策 请 求 每 次 都 发 送 , 由 Ad Serving 服 务 器 处 理
• 物 料 可 以 选 择 放 在 CDN 上 , 并 且 开 启 客 户 端 缓 存
• Alexa 上 新 浪 的 日 均 PV:127,101,600, 那 么 新 浪 上 所 有 的
广 告 投 放 请 求 每 天 会 有 多 少 呢 ??

对 响 应 速 度 的 要 求 极 高
• 广 告 加 载 过 慢 , 会 影 响 媒 体 的 用 户 体 验
• 广 告 决 策 请 求 时 间
• 一 般 要 控 制 在 200ms 以 内 ,200ms 以 内 , 完 成 的 事 情 :
• 浏 览 器 建 立 与 服 务 器 的 HTTP 连 接
• 网 络 传 输 时 间
• Ad Server 解 析 投 放 请 求
• Ad Server 进 行 排 期 和 各 种 定 向 计 算 , 需 要 进 行 一 系 列 的 数 据 库 或 者 缓 存 查
询
• Ad Server 组 装 返 回 信 息
• 物 料 加 载 时 间
• 一 般 要 控 制 在 1s 以 内
• 使 用 CDN 保 证 在 各 地 的 访 问 速 度

出 现 故 障 的 损 失 很 大
• 出 现 故 障 的 影 响 :
• 在 广 告 位 有 空 白 甚 至 500 等 页 面 出 现 , 影 响 用 户 体 验
• 在 流 量 巨 大 的 情 况 下 , 短 时 间 的 服 务 停 止 , 会 造 成 巨 大 的 经 济 损 失
• 假 设 当 前 流 量 是 100 亿 / 天 , 每 个 CPM 是 1 元 , 那 么 :
总 时 间 服 务 可 靠 性 故 障 时 间 损 失
365 天 99% 3.65 天 36,500,000 元
365 天 99.9% 0.365 天 3,650,000 元
365 天 99.99% 0.0365 天 365,000 元

需 要 处 理 巨 大 的 数 据 量
• 投 放 过 程 中 需 要 记 录 相 关 日 志 , 需 要 存 储 这 些 日 志 , 并
对 这 些 日 志 进 行 分 析 统 计 , 以 提 供 相 应 的 报 表
• 为 了 完 成 人 群 定 向 和 行 为 定 向 , 需 要 搜 集 用 户 的 访 问 日
志 , 并 对 这 些 日 志 进 行 分 析 和 挖 掘 , 以 获 取 相 应 的 人 群
分 类 等 基 础 数 据
• 数 据 越 多 , 结 果 越 可 靠 和 准 确 , 少 量 的 数 据 , 可 能 易 于
处 理 , 但 是 得 出 的 结 果 却 往 往 没 有 可 信 性

Outline
• Ad Serving 和 Ad Monitoring 概 览
• Ad Serving
• Ad Serving 系 统 的 工 作 原 理
• Ad Serving 系 统 面 临 的 挑 战
• Ad Serving 系 统 的 架 构
• Ad Bidding: Exchange、DSP、DMP
• Ad Monitoring
• Ad Serving 和 Ad Monitoring 的 核 心 技 术

Ad Serving 系 统 的 架 构

Outline
• Ad Serving 和 Ad Monitoring 概 览
• Ad Serving
• Ad Serving 系 统 的 工 作 原 理
• Ad Serving 系 统 面 临 的 挑 战
• Ad Serving 系 统 的 架 构
• Ad Bidding: Exchange、DSP、DMP
• Ad Monitoring
• Ad Serving 和 Ad Monitoring 的 核 心 技 术

展 示 广 告 购 买 方 式 的 演 变
CPD/CPT
• 购 买 某 天 或 者 每 个 时 段 内 某 个 广 告 位 发 生 的 所 有 曝 光
• 购 买 了 大 量 非 目 标 用 户 的 曝 光
CPM
• 向 媒 体 或 者 网 盟 定 性 定 量 的 购 买 曝 光
• 仍 然 不 能 体 现 每 一 个 曝 光 的 差 异
RTB
• 对 每 一 个 曝 光 , 实 时 的 以 竞 价 (Bidding) 的 方 式 进 行 售 卖
• 凸 显 每 一 个 曝 光 的 价 值 , 广 告 主 可 以 只 为 自 己 需 要 目 标 客 户 付 费
• Ad Exchange,DSP,DMP 共 同 促 进 了 RTB 购 买 方 式 的 产 生

RTB 生 态 系 统 中 的 重 要 角 色

Real Time Bidding

一 次 曝 光 的 RTB 过 程
用 户 访 问 网 页 , 投 放
代 码 向 Ad exchange
发 送 投 放 请 求
Ad exchange 收 到 广
告 投 放 请 求 , 进 行 必
要 的 过 滤 和 信 息 组 装
Ad exchange 可 以 向
DMP 查 询 该 曝 光 对 应
的 人 群 信 息 , 把 这 类
信 息 也 发 送 给 DSP
Ad exchange 将 组 装
以 后 的 该 曝 光 的 信 息 ,
广 播 给 各 个 DSP, 等
待 固 定 时 长
Ad exchange 对 各 个
DSP 返 回 的 出 价 和 广
告 进 行 筛 选 和 过 滤
DSP 根 据 曝 光 信 息 、
人 群 信 息 和 当 前 广 告
信 息 , 选 出 最 合 适 的
广 告 和 出 价 返 回
DSP 可 以 根 据 曝 光 信
息 中 的 用 户 ID, 去
DMP 查 询 该 用 户 的 人
群 信 息
DSP 接 收 到 Ad
exchange 发 送 的 曝 光
信 息 , 解 析 曝 光 的 各
项 属 性
Ad exchange 对 符 合
条 件 的 出 价 , 进 行 竞
价 , 选 出 获 胜 的 广 告
Ad exchange 将 广 告
信 息 返 回 给 投 放 代 码 ,
投 放 代 码 完 成 展 示

Ad Exchange 的 基 本 功 能
竞 价 和 过 滤
对 DSP 和 媒 体 接 口
Cookie Mapping
提 供 报 表
• 完 成 曝 光 的 信 息
的 转 发
• 完 成 竞 价
• 根 据 DSP 和 媒 体
的 预 设 信 息 完 成
必 要 的 过 滤
• 对 媒 体 接 口
• Browser2Server:
投 放 代 码
• Server2Server
• 对 DSP 接 口
• Server2Server
• Bid Request
• Bid Response
• Win Notice
• 找 到 Exchange 用
户 ID 与 DSP 等 系
统 的 用 户 ID 的 对
应 关 系
• 统 一 整 个 市 场 的
用 户 标 识 , 让 所
有 参 与 者 说 的 都
是 同 一 个 人
• 从 DSP 角 度
• 从 媒 体 角 度
• 从 市 场 角 度

Ad Exchange 的 架 构

DSP 的 基 本 功 能
• 代 表 广 告 主 以 竞 价 方 式 完 成 广 告 曝 光 的 购 买
• 以 广 告 主 利 益 为 核 心 , 提 高 广 告 主 的 ROI
• 本 质 上 是 一 个 广 告 投 放 决 策 系 统
• DSP 的 核 心 价 值 在 于 , 提 供 有 效 的 竞 价 和 优 化 算 法 , 分 析 每 个 曝 光 的
潜 在 价 值 , 帮 助 广 告 主 有 效 且 节 省 的 购 买 每 个 曝 光
• 与 传 统 的 Ad Serving 系 统 相 比 , 由 于 DSP 在 投 放 过 程 中 没
有 机 会 直 接 接 触 浏 览 器 :
• 需 要 完 成 与 Ad Exchange 的 Cookie Mapping
• 需 要 将 大 量 的 用 户 相 关 的 数 据 存 储 在 服 务 器 端

DSP 的 架 构

DMP 的 功 能
• 搜 集 数 据
• 分 析 数 据
• 提 供 数 据 分 析 结 果
• 提 供 的 数 据 分 析 结 果
• 人 群 属 性
• 人 群 行 为 数 据

Outline
• Ad Serving 和 Ad Monitoring 概 览
• Ad Serving
• Ad Monitoring
• 为 什 么 需 要 Ad Monitoring
• Ad Monitoring 的 主 要 指 标
• Ad Monitoring 系 统 的 工 作 原 理
• Ad Monitoring 系 统 的 架 构
• Ad Serving 和 Ad Monitoring 的 核 心 技 术

为 什 么 需 要 Ad Monitoring
Ad Serving 可 能 存 在 的 风 险
• 错 误 的 执 行 了 投 放 策 略
• 无 效 的 执 行 了 投 放 策 略
Ad Monitoring 中 文 为 广 告 监
测 , 实 际 上 包 含 两 层 含 义 :
• 监 控 是 否 正 确 的 执 行 了 投 放 策 略
• 测 量 投 放 策 略 的 效 果

第 三 方 监 测 服 务
• 第 一 方 监 测 是 由 广 告 投 放 的 执 行 方 提 供 的 , 倾 向 于 提 供
对 其 自 身 有 利 的 监 测 结 果
• 第 三 方 监 测 以 利 益 无 关 者 的 身 份 出 现 , 才 有 可 能 以 公 正
公 平 的 对 广 告 的 投 放 效 果 作 出 评 估
• 第 三 方 监 测 提 供 了 客 观 的 度 量 标 准 , 对 于 塑 造 一 个 公 平
公 正 和 健 康 的 市 场 具 有 重 要 意 义

国 内 领 先 的 第 三 方 监 测 系 统 —— 秒 针 Ad Monitor
国 际 和 本 土 品 牌 前 100 名 中 90% 都 在 使 用 秒 针 的 服 务 。
数 据 来 源 于 各 种 终 端 :PC( 门 户 网 站 、 视 频 网 站 、 垂 直 类 网 站 、 社 交 网 站 )、Mobile 和 TV。
3000+ campaigns In 363 publishers
1,621 channels 6,425 positions
Total 700,000,000,000 impressions

国 内 领 先 的 第 三 方 监 测 系 统 —— 秒 针 Ad Monitor
30 亿
日 均 广 告 曝 光
百 万
在 线 样 本 数 据
2 TB
日 均 数 据 存
储 量
1.5 亿
日 均 独 立 访 问 人
数
9 百 万
日 均 广 告 点 击

Outline
• Ad Serving 和 Ad Monitoring 概 览
• Ad Serving
• Ad Monitoring
• 为 什 么 需 要 Ad Monitoring
• Ad Monitoring 的 主 要 指 标
• Ad Monitoring 系 统 的 工 作 原 理
• Ad Monitoring 系 统 的 架 构
• Ad Serving 和 Ad Monitoring 的 核 心 技 术

衡 量 广 告 投 放 效 果 的 各 种 指 标

衡 量 广 告 投 放 效 果 的 各 种 指 标

衡 量 广 告 投 放 效 果 的 各 种 指 标

Outline
• Ad Serving 和 Ad Monitoring 概 览
• Ad Serving
• Ad Monitoring
• 为 什 么 需 要 Ad Monitoring
• Ad Monitoring 的 主 要 指 标
• Ad Monitoring 系 统 的 工 作 原 理
• Ad Monitoring 系 统 的 架 构
• Ad Serving 和 Ad Monitoring 的 核 心 技 术

Ad Monitoring 的 基 本 原 理
• 在 广 告 曝 光 或 者 被 点 击 的 同 时 , 向 Ad Monitoring 系 统 发
送 一 个 HTTP 请 求 , 携 带 相 应 的 信 息 ;HTTP 请 求 是 通 过 执
行 “ 监 测 代 码 ” 发 送 的
• Ad Monitoring 系 统 在 接 收 到 请 求 以 后 , 将 相 应 的 信 息 记
录 成 一 条 日 志 , 如 果 是 曝 光 监 测 , 则 返 回 200 即 可 ; 如 果
是 点 击 监 测 , 则 返 回 302 以 及 广 告 实 际 的 LandingPage,
浏 览 器 再 次 跳 转 到 实 际 的 LandingPage
• Ad Monitoring 系 统 对 记 录 的 日 志 进 行 分 析 和 统 计 , 按 照
各 种 指 标 给 出 报 表

监 测 流 程

监 测 代 码
• Javascript 或 者 Flash 形 式
• 在 网 页 上 一 般 使 用 Javascript 形 式 的 监 测 代 码
• 在 Flash 物 料 中 , 一 般 嵌 入 Flash(Actionscript) 形 式 的 监 测 代 码
• 监 测 代 码 在 广 告 曝 光 或 者 被 点 击 时 发 送 HTTP 请 求 到 指 定
的 URL, 并 在 URL 上 拼 上 预 先 设 定 好 或 者 约 定 好 的 参 数
• 监 测 代 码 的 设 计 需 要 考 虑 与 投 放 代 码 类 似 的 问 题

Ad Monitoring 需 要 特 别 关 注 的 问 题
• 减 少 监 测 过 程 中 的 损 失
• 真 正 的 广 告 展 现 数 和 监 测 到 的 曝 光 数 , 是 存 在 衰 减 的 , 需 要 尽 量 减 少
这 个 衰 减
• 点 击 监 测 如 果 使 用 点 击 地 址 串 , 可 能 会 导 致 实 际 到 达 广 告 主
LandingPage 页 面 的 数 量 减 少
• 反 作 弊 很 重 要
• 没 有 相 应 的 反 作 弊 措 施 , 第 三 方 监 测 即 使 存 在 , 也 起 不 到 相 应 的 作 用

Outline
• Ad Serving 和 Ad Monitoring 概 览
• Ad Serving
• Ad Monitoring
• 为 什 么 需 要 Ad Monitoring
• Ad Monitoring 的 主 要 指 标
• Ad Monitoring 系 统 的 工 作 原 理
• Ad Monitoring 系 统 的 架 构
• Ad Serving 和 Ad Monitoring 的 核 心 技 术

Ad Monitoring 系 统 的 架 构

Outline
• Ad Serving 和 Ad Monitoring 概 览
• Ad Serving
• Ad Monitoring
• 为 什 么 需 要 Ad Monitoring
• Ad Monitoring 的 主 要 指 标
• Ad Monitoring 系 统 的 工 作 原 理
• Ad Monitoring 系 统 的 架 构
• Ad Serving 和 Ad Monitoring 的 核 心 技 术

Ad Serving 和 Ad Monitoring 的 核 心 技 术
高 性 能 Web
Server
•C100K
• 负 载 均 衡
Cache 技 术
•Memcached
•Redis
•SSD
分 布 式 文 件
系 统 和 数 据
库
•HDFS
•HBase
大 规 模 数 据
处 理
•Online: Storm
•Offline: Hadoop

Ad Serving 和 Ad Monitoring 的 核 心 算 法
推 荐 算 法
机 器 学 习
优 化 算 法
反 作 弊
Ad
Serving/Ad
Monitoring
搜 索 和 信
息 检 索

Q&A?