价格: 25 学币

分类: 大数据

发布时间: 2020-02-19 14:05:23

最近更新: 2020-02-19 14:05:23

资源类型: VIP

优惠: 开通VIP/SVIP免费获取此资源

开通VIP享受更多优惠 网盘下载地址

Spark + ElasticSearch 构建电商用户标签系统实现精准营销

从Java开发过渡到大数据开发的转型课程 核心技术+业务思路 一课呈现

 

课程介绍

Spark + ElasticSearch 构建电商用户标签系统实现精准营销
课程利用 Spark + ElasticSearch 构建用户标签系统,利用 Docker+Docker Compose 实现项目的一键启停。涵盖数据同步、数据清洗、用户标签化等步骤,带你领略企业级数据平台的开发流程。老师还在课程中与你探讨数据平台的关键性话题:电商数仓、订单宽表、用户画像、数据血缘等。手把手带你搭建一个Spring Boot +Vue.js完整项目。课程对初学大数据开发的同学非常友好,技术/知识/经验兼顾,非常适合准备进入大数据开发行业的你。

课程目录

第1章 课程介绍与学习指南
本章中将向大家介绍课程能学到什么、解决什么实际问题、项目成果展示,课程整体安排以及如何学习更高效。

第2章 开发环境与技术栈介绍
本章主要针对课程中应用的开发环境以及技术栈进行相关介绍。本课中会使用,虚拟化技术: virtualbox + vagrant,容器化技术:docker + docker-compose。技术栈涉及spark,Hadoop,hive等。

第3章 大数据环境搭建
本章主要讲解开发环境的搭建,虚拟机与docker的安装。针对没有docker基础的同学,我们也会涵盖部分基础知识,从而实现轻松上手。针对容器化的开发环境,我们会详细演示,如何去解决访问和数据持久化。本次环境搭建会配合详细操作文档,方便同学们本地复现。...

第4章 itag用户标签系统介绍
相较于现有业务的局限性,这章中我们会来共同来探讨标签系统的设计理念。通过UI初步讲解标签的数据含义,结合mysql数据库表结构,去理解业务和标签的实现算法,更为详细的标签算法及ETL清洗逻辑在后续章节会做详细讲解。...

第5章 数据同步
针对数据同步技术,本章中会介绍一些常用的数据同步中间件,以及实际项目中数据库同步至大数据集群的架构迭代(画图)。随后会演示利用sqoop导入数据到hive中。并学习如何对hive进行实际操作。

第6章 数据清洗
本章中主要讲解大数据项目中数据与业务的关系,数据血缘,数据平台,数仓等相关概念。讲解如何利用spark进行数据操作。分别从spark java,spark scala以及spark sql 三种不同实现方式进行代码演示与对比。

第7章 指标算法及标签ETL
本章中将根据产品文档,利用spark sql + spark scala 的方式实现标签ETL。会讲述ES mapping 的设计,演示如何利用spark操作ES,并最终对全流程数据做验证与复盘。

第8章 itag UI
本章中将介绍如何应用springboot + vue 实现项目的前端UI。用户选择特定标签后,ES背后的查询逻辑。对于查询的结果,标签清洗结果,数据库原始结果做一个验证。并最终将UI项目通过docker容器的方式部署起来。

第9章 课程总结
本章会进行课程回顾与总结,再次圈重点,敲黑板。并对后续的一个学习线路做规划。

 

资源目录