收藏

Spark+ES+ClickHouse 构建DMP用户画像

大数据主流技术,数据挖掘核心算法,用户画像完整知识轻松掌握

Spark+ES+ClickHouse 构建DMP用户画像

¥399.00
已完结 难度 中级 时长 15小时 学习人数 311 综合评分 9.85
  • 第1章 DMP用户画像项目介绍 试看 5 节 | 33分钟

    本章将向大家介绍什么是DMP,并辅以行业数据说明DMP的重要性和行业前景,并介绍课程讲解项目所会使用到的大数据技术,框架、版本以及推荐得学习方法。

    收起列表

    • 视频: 1-1 关于这门课,你需要知道的 (08:34) 试看
    • 视频: 1-2 DMP项目的意义和课程的侧重点 (09:46)
    • 视频: 1-3 DMP项目架构及各个模块介绍 (09:35)
    • 视频: 1-4 项目技术选型及各组件版本 (04:30)
    • 图文: 1-5 【知识点梳理】本章重难点总结
  • 第2章 项目环境搭建 16 节 | 152分钟

    本章将带领大家一起来学习,如何用 docker 一键部署开发环境;如何实现 Hive 数仓的数据导入;实用工具类的代码编写等,完成开发前得准备工作。

    收起列表

    • 视频: 2-1 本章重点及学习计划 (01:59)
    • 视频: 2-2 基于docker一键部署大数据开发环境 (12:34) 试看
    • 图文: 2-3 【项目文档】环境部署步骤
    • 视频: 2-4 数据准备:表结构和数据导入Hive数仓 (16:06)
    • 图文: 2-5 【项目文档】表结构和数据导入Hive数仓步骤
    • 视频: 2-6 数据准备:Hive,ES,ClickHouse导入人群标签数据 (15:50)
    • 图文: 2-7 【项目文档】Hive,ES,ClickHouse导入人群标签数据步骤
    • 视频: 2-8 环境搭建和数据导入的常见问题及解决方案 (05:18)
    • 图文: 2-9 【项目文档】 项目整体架构及整体流程
    • 图文: 2-10 【项目文档】Hive、Hbase、ES、clickhouse表结构
    • 视频: 2-11 Springboot+JdbcTemplate+druid整合Hive(上) (11:58) 试看
    • 视频: 2-12 Springboot+JdbcTemplate+druid整合Hive(下) (13:26)
    • 视频: 2-13 Springboot+Mybatis+phoenix整合Hbase (30:48)
    • 视频: 2-14 Springboot整合ClickHouse(上) (17:00)
    • 视频: 2-15 Springboot整合ClickHouse(下) (06:32)
    • 视频: 2-16 Spark+phoenix整合Hbase (19:53)
  • 第3章 DMP和用户画像 7 节 | 27分钟

    本章会介绍,用户画像的生成流程,画像的标签维度,用户画像和特征工程的关系。带领大家了解什么样的画像才是高质量的用户画像,以及DMP用户画像的使用场景。

    收起列表

    • 视频: 3-1 本章重点及学习计划 (01:39)
    • 视频: 3-2 用户画像是如何生成的 (05:34)
    • 视频: 3-3 用户画像的标签维度 (04:12)
    • 视频: 3-4 如何构建高质量的用户画像 (06:31)
    • 视频: 3-5 用户画像和特征工程 (03:30)
    • 视频: 3-6 DMP用户画像的正确使用场景 (04:49)
    • 图文: 3-7 【知识点梳理】本章重难点总结
  • 第4章 用户画像搭建之特征工程 16 节 | 189分钟

    本章会详细的讲解数值型特征,类别型特征,文本型特征的特征处理,以及特征交叉的算法 FM,特征筛选的算法 gbdt 和 xgboost。并会带领大家应用 Spark 代码实现商品评论的情感提取,以及基于 xgboost 的特征筛选。

    收起列表

    • 视频: 4-1 本章重点及学习计划 (02:59)
    • 视频: 4-2 特征工程流程 (06:08)
    • 视频: 4-3 数值型数据的特征提取 (07:32)
    • 视频: 4-4 文本型数据的特征提取 (07:48)
    • 视频: 4-5 使用Spark实现中文分词+TF-IDF (17:34)
    • 视频: 4-6 Spark基于TF-IDF+SVM实现电商商品评论情感提取(上) (15:32)
    • 视频: 4-7 Spark基于TF-IDF+SVM实现电商商品评论情感提取(下) (13:57)
    • 视频: 4-8 类别型和时间型数据的特征提取 (06:48)
    • 视频: 4-9 构建新特征之特征交叉 (04:50)
    • 视频: 4-10 基于FM的特征交叉 (10:22)
    • 视频: 4-11 Spark实现基于FM的特征交叉 (41:32)
    • 视频: 4-12 特征筛选之GBDT和xgboost (14:16)
    • 视频: 4-13 Spark实现基于Xgboost的特征筛选(上) (19:56)
    • 视频: 4-14 Spark实现基于Xgboost的特征筛选(下) (13:41)
    • 视频: 4-15 特征监控方案设计 (05:27)
    • 图文: 4-16 【知识点梳理】本章重难点总结
  • 第5章 用户画像搭建之标签体系构建 11 节 | 139分钟

    本章会详细的讲解,如何通过TF-IDF生成标签的权重;用户行为偏好标签的计算;标签在Hbase的存储格式;以及如何使用ES存储Hbase的索引,进而提高复杂组合标签的查询效率。

    收起列表

    • 视频: 5-1 本章重点及学习计划 (01:38)
    • 视频: 5-2 电商行业的标签体系以及reachCTR曲线 (11:24)
    • 视频: 5-3 用户行为标签的ES存储 (27:21)
    • 视频: 5-4 基于TF-IDF的标签权重算法(上) (13:19)
    • 视频: 5-5 基于TF-IDF的标签权重算法(中) (11:06)
    • 视频: 5-6 基于TF-IDF的标签权重算法(下) (10:32)
    • 视频: 5-7 时间衰减因子和用户偏好标签的计算(上) (18:35)
    • 视频: 5-8 时间衰减因子和用户偏好标签的计算(下) (20:58)
    • 视频: 5-9 ES构建Hbase二级索引对标签进行组合查询 (19:36)
    • 视频: 5-10 商品标签与用户画像标签的匹配度 (04:10)
    • 图文: 5-11 【知识点梳理】本章重难点总结
  • 第6章 用户画像搭建之群体用户画像构建 12 节 | 142分钟

    本章会讲解,如何通过朴素贝叶斯,实现用户性别预测,基于RFM模型对用户价值进行分群,基于K-Means对用户的消费等级进行分群,并会带领大家认识用户分群的时间衰减因素。

    收起列表

    • 视频: 6-1 本章重点及学习计划 (01:21)
    • 视频: 6-2 朴素贝叶斯分类算法 (09:25)
    • 视频: 6-3 使用Spark-ml实现基于朴素贝叶斯预测性别(上) (18:23)
    • 视频: 6-4 使用Spark-ml实现基于朴素贝叶斯预测性别(中) (19:55)
    • 视频: 6-5 使用Spark-ml实现基于朴素贝叶斯预测性别(下) (05:05)
    • 视频: 6-6 基于RFM模型的用户价值划分及Spark代码(上) (06:03)
    • 视频: 6-7 基于RFM模型的用户价值划分及Spark代码(下) (21:38)
    • 视频: 6-8 使用Spark-ml实现基于Kmeans的用户消费分群 (26:16)
    • 视频: 6-9 通过订单数据挖掘用户的的行为属性及Spark代码(上) (15:42)
    • 视频: 6-10 通过订单数据挖掘用户的的行为属性及Spark代码(下) (08:19)
    • 视频: 6-11 DMP的用户分群 (09:38)
    • 图文: 6-12 【知识点梳理】本章重难点总结
  • 第7章 用户画像搭建之DMP人群管理 15 节 | 149分钟

    本章会通过 DMP 演示如何管理人群标签,生成人群包数据,人群圈选,以及人群扩展。并且使用 Clickhouse 做人群洞察分析。

    收起列表

    • 视频: 7-1 本章重点及学习计划 (01:33)
    • 视频: 7-2 通过不同算法给用户打上标签后的业务应用 (04:38)
    • 视频: 7-3 ES,ClickHouse导入万级人群标签数据 (17:18)
    • 视频: 7-4 Mysql导入标签数据 (06:18)
    • 视频: 7-5 DMP的标签管理 (12:53)
    • 视频: 7-6 DMP生成人群包数据 (19:16)
    • 视频: 7-7 人群组合和人群去重 (22:56)
    • 视频: 7-8 lookalike的主要算法 (04:14)
    • 视频: 7-9 ClickHouse和ES在人群圈选上的对比 (05:40)
    • 视频: 7-10 ClickHouse集成Bitmap (10:50)
    • 视频: 7-11 基于宽表的ClickHouse人群圈选 (04:40)
    • 视频: 7-12 将Hive数据导入到ClickHouse (10:33)
    • 视频: 7-13 将Hive数据转换为ClickHouse的Bitmap (11:33)
    • 视频: 7-14 基于Bitmap的ClickHouse人群圈选 (16:05)
    • 图文: 7-15 本章知识点梳理
  • 第8章 项目展示及版本升级解决方案 7 节 | 90分钟

    本章会模拟生产环境集群的形式,展示项目实际运行效果,并结合框架版本升级,讲解踩坑秘笈。

    收起列表

    • 视频: 8-1 项目完整演示(上) (14:55)
    • 视频: 8-2 项目完整演示(下) (12:51)
    • 视频: 8-3 Spark模块本地运行完整演示 (05:58)
    • 视频: 8-4 Spark模块集群运行完整演示(上) (16:56)
    • 视频: 8-5 Spark模块集群运行完整演示(下) (14:27)
    • 视频: 8-6 版本升级解决方案 (04:14)
    • 视频: 8-7 课程总结 (20:05)
本课程已完结

试看

全部试看小节



讲师

Image 小简同学 全栈工程师

数据供应商平台架构师,兼任 AI 算法开发,负责推荐,风控,数分系统,AI 应用开发

讲师其他课程

课程预览

检测到您还没有关注慕课网服务号,无法接收课程更新通知。请扫描二维码即可绑定
Image
重新观看
微信客服

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

公众号

扫描二维码
关注慕课网微信公众号

学习咨询

选课、学习遇到问题?

扫码添加指导老师 1V1 帮助你!

Image

添加后老师会第一时间解决你的问题