宋慧庆|广告系统中的大数据处理

从具备4V（Volume，Velocity，Variety，Value）特征的大量数据中挖掘用户的潜在价值。

广告系统的数据来源

• DSP监听数据（主要是ssp，adx渠道）

• 广告主数据

• 广告投放过程中收集的数据

• 购买／通过交换得到的第三方数据

• 运营商合作数据

精准广告的系统特点

• 数据量巨大（广告本身的数据，定向数据，用户特征数据，广告展示环境的特征数据）

• 响应速度要求特别快

• 实时性要求特别高（广告数据，定向数据，用户特征数据，广告展示环境的特征数据等实时性）

• 系统可用性要求特别高（柔性降级，可扩展性）

PC广告与移动广告的区别

• 交互方式的不同

• 使用位置的不同

• 用户标识的不同

• 展现形式的不同

• 网络环境的不同

• 受众定向的不同

精准广告中数据的主要应用

• DMP

• 人群／用户画像

• 个性化创意／推荐引擎

大数据处理分析技术介绍

• 储存／缓存

• 计算

• 算法／规则

储存／缓存

• Tair／redis2 -> ssdb/redis3 -> aerospike

• Kafka／DL

• Mongodb／hbase

• Hadoop

• Mysql

计算

• Hive/mr

• Storm

• Spark Streaming

算法／规则

• 协同过滤（UserCF/ItemCF）

• 文本相似／图片相似

• 关联规则（支持度和置信度）

• 逻辑回归模型

• 兴趣时间衰减

• 规则引擎（DNA）

心得体会

• 做工程不易，且做且珍惜（技术+管理+工匠精神）

• 建立PDCA效果验证闭环

• 每一个做技术的都应该有崇高的理想，技术只是手段

（编辑：通辽站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!