美团外卖流量数据体系的建设与应用

一、流量数据采集

2016年公司业务迅猛扩张期间，我们着手制定一套详尽的用户行为记录准则，旨在精确掌握用户动态。该准则全面囊括了页面构造、功能单元、界面组件、访问渠道、预期效果等多元数据收集范畴。我们运用了code监测手段，此法融合了客户端与服务器端协同的记录机制，并在客户端增设了流程监控体系。整个实现过程相对简单直接。

二、埋点技术方案

我们提供了多种埋点技术方案：

产品经理和运营人员借助管理平台，能够设定需要监控的节点，SDK会周期性地核查并定位监控组件，然后自动收集相关数据

2. 无埋点技术：与可视化埋点原理类似

数据生产流程包含多个重要环节，首先是明确具体要求，其次是进行资源调配，接着是执行数据采集，然后是开展质量检测，随后将信息进行反馈，最后将相关记录存入档案系统。

三、流量数仓架构

流量数仓的整体布局和美团外卖离线数据仓库的搭建过程基本相同。然而，与业务数据对比，流量数据仓库的构建任务更加艰巨，这主要是因为流量信息本质上是半结构化的，缺少清晰的维度定义。所以，在数据仓库的构建过程中必须投入许多精力来创建维度。比如，终端维度需要依据日志里的操作系统种类、应用名称和启动途径这三个指标综合生成。

四、维度建设难点

原始日志收集完成时缺少业务环节的归类，仅能借助标记点来辨别不同场景。这种情况导致后续数据分析工作面临诸多阻碍。我们着重处理了以下事项：

1. 终端维度建设

2. 业务过程分类

3. 埋点标识标准化

五、归因建设

流量分析中的关键环节，也是最为繁难的部分，便是来源识别的构建工作，在送餐服务领域，这项工作遭遇两大难题：

1. 数据量庞大：需要在数百亿条日志中进行关联分析

2. 计算资源消耗大

我们通过以下方案解决这些问题：

1. 定义链路信息和目标表结构

2. 使用UDF(自定义函数)进行数据处理

3. 伪SQL代码示例：通过分组排序预处理链路信息

六、方案对比

在责任划分构建中，我们主要运用路径信息附加方法。与其它团队的方法（例如订单附加方式）相比，我们的方法有以下特色：

1. 预处理效率更高

2. 查询性能更好

3. 资源消耗更低

借助这个流量信息系统的构建，我们可以更有效地辅助经营判断和用户界面改善，为美团外卖的稳定进步奠定了可靠的信息根基。

select count(1) from 日志 where 行为 = B and 链路信息 包含 A