1. 熟悉使⽤ Java、Scala 编程语⾔；
2. 熟悉 JVM，了解基本的 JVM 调优；、
3. 熟悉常⽤的大数据工具；
4. 熟悉常⻅的数据结构和算法；
5. 熟悉 Spark、Flink、Hbase、Kafka 等⼤数据组件；
6. 阅读过 Spark 核⼼源码，熟悉 Spark 任务提交、存储系统、Spark SQL 等组件的流程与实现。
7. 阅读过 Flink 核⼼源码，熟悉 Flink 任务提交、Graph ⽣成过程、State 管理等组件的流程与实现。

1. ⼈群标签开发 
项⽬描述：标签管理是 DMP 平台的主要功能之⼀，通过对上游数据基于 Spark、Flink 进⾏加⼯，⽣成⼈群标签 供⼴告主进⾏圈选，⽤于⼴告定向。 
责任描述： 
1. 负责 OTT 设备所有标签开发以及⼿机设备的⽤户⾏为标签开发，使⽤ Spark 处理上游⽤户画像宽表，每⽇定 时调度，产出离线标签，封装成 Bitmap，存⼊ HBase 中； 
2. 使⽤ Flink 处理⽤户⾏为打点⽇志，产出实时标签，写⼊ Redis 中，供⼴告引擎在线读取； 
主要成果：
产出基础属性、设备属性、⽤户⾏为、兴趣娱乐、消费能⼒ 5 类共 25 个标签。 
 2. 离线任务优化 
项⽬描述：
针对 DMP 平台原有以 Spark Client ⽅式提交的离线任务进⾏优化。 
责任描述： 
1. 独⽴完成服务的架构设计、开发
2. 以 DB 为队列，通过建⽴⼀个调度表存放任务信息，通过接⼊⼀层 dispatcher 服务消费 DB 中的任务，以 Spark Cluster 的⽅式提交任务，并通过 YARN 接⼝实时检测任务的执⾏状态及时进⾏失败重试； 
主要成果：⽬前已接⼊ 5 类 DMP 离线任务，⽇均任务 1500+，优化前平均等待时间 150 分钟+，优化后平均等 待时间 40 分钟+，缩短 110 分钟，效率提升近 2/3 
 算法实时特征 
1. ⽤户 APP 实时使⽤特征 
项⽬描述：对⽤户使⽤ APP 的下载、安装、更新、打开等实时事件进⾏处理，⽣成实时序列、统计量特征，写⼊ 特征管理平台，供算法团队使⽤。 
责任描述： 
通过消费上游设备事件埋点⽇志，处理⽤户⾏为⽇志，利⽤ Flink 的 ProcessFunction + Timer 实现每分钟更 新⽤户过去⼀⼩时的实时时间，⽣成不同维度的特征序列写⼊特征管理平台。 
主要成果：处理上游 5W 条/S ⽇志信息，向下游输出 100W 条/S 特征，产出各种维度组合特征 60 个