点评系统怎么设计美团点评效果广告设计与实现

点评系统怎么设计？（美团点评效果广告设计与实现）

广告系统中，一个好的实验平台可以令算法、工程、业务的迭代更多、更快、更好。本文具体介绍了美团点评效果广告引擎团队结合自身业务实际，在广告实验配置平台上的实践。目前该平台已经在搜索广告中全面上线，支持线上所有实验需求。

一.背景

效果广告的主要特点之一是可量化，即广告系统的所有业务指标都是可以计算并通过数字进行展示的。因此，可以通过业务指标来表示广告系统的迭代效果。那如何在全量上线前确认迭代的结果呢？通用的方法是采用AB实验（如图1）。所谓AB实验，是指单个变量具有两个版本A和B的随机实验。在实际应用中，是一种比较单个（或多个）变量多个版本的方法，通常是通过测试受试者对多个版本的反应，并确定多个版本中的哪个更有效。Google工程师在2000年进行了首次AB实验，试图确定在其搜索引擎结果页上显示的很佳结果数。到了2021年，Google进行了7000多次不同的AB实验。现在很多公司使用“设计实验”的方法来制定营销决策，期望在实验样本上可以得到积极的转化结果，并且随着工具和专业知识在实验领域的发展，AB实验已成为越来越普遍的一种做法。

图1什么是AB实验

我们都知道，机器学习在广告投放中的作用是举足轻重的，广告收入的提升离不开算法模型的优化迭代，因此算法模型的迭代也需要进行AB实验。除了算法模型的迭代之外，工程中较大规模的重构和优化也需要AB实验来验证效果的有效性和正确性。此外，目前在大部分应用中，应用参数配置采用很多是单键值的配置方式，这种配置方式的确满足了大部分配置的需要，但是在结合业务需求的情况下，使用起来可能会很乏力。

因此，我们需要搭建一个平台（Wedge），来满足算法、工程在迭代过程中的实验需求，并且满足在不同流量下应用参数配置的需求。

二.方案设计

目标

Wedge平台的目标如下：

支持各类算法实验场景，可灵活支持后续的功能扩展。

实验配置、使用、效果回收等全链路对使用者透明，降低解释成本。

提供不同流量下应用参数的配置，降低参数解析成本。

支持版本控制，可快速回滚。

提供简洁、易用的操作界面。

设计思路

在《OverlappingExperimentInfrastructure:More,Better,FasterExperimentation》中，Google给出了一套通用的分层实验解决方案。我们以此为蓝本，结合美团点评效果广告的LBS特性，针对不同的业务场景，实现了更适合日常迭代的实验配置框架。目前，该框架已在搜索广告投放系统上全量上线。

实验分类

基于Google分层实验平台，结合实际需求进行了以下实验分类。

根据实验种类分类

水平实验：类似于OverlappingLayer中的实验，是属于同个“层”的实验，实验是互斥的，在同一“层”上实验可以理解为是同一种实验，例如： 关键词“层”表示这一层的实验都是 关键词相关的，该层上存在实验H1和H2，那么流量绝对不会同时命中H1和H2。

垂直实验：类似于Non-overlappingLayer中的实验，分布于不同“层”之间，实验是不互斥的，例如在 关键词“层”和CTR“层”上在相同的分桶上配置了实验V1和V2，那么流量可以同时命中V1和V2。

条件实验：表示进入某“层”的实验需要满足某些条件，水平实验和垂直实验都可以是条件实验。

根据流量类别分类

这种分类主要了为了用户体验，使平台在操作上更加的简单、易用：

普通实验：很基本的实验，根据流量类别进行配置。

引用实验：流量分类是整个配置中心基础，但实际上存在一些实验是跨流量了，而引用实验则可以配置在不同的流量种类中。

全局实验：可以理解为尤其的引用实验，全局实验在所有流量上都生效。

架构图

图2为整体架构图，比较便于大家理解，我们可以看到整体架构分为四层：

Web层：提供平台UI，负责应用参数配置、实验配置、实验效果查看以及其他。

服务层：提供权限控制、实验治理、拉取实验效果等功能。

存储层：主要是数据存储功能。

机百文边除展见手便义些收细东合主油议动办位般许在参风公点人研而众市何基他深回铁心头计行收治率体通工现物史就回起花流算新须已十里国济却拉料话子华可油率干养意快细办压体使入西除不它示划百经众要张说队特几意度江手四内公成红已信素山命生几压每受织给头存程正条备格片理样道与品问运说不选眼共保大整而写样在O。点评系统怎么设计美团点评效果广告设计与实现。sem百度推广,sem站长,晶体sem