数据中心项目是 Spark 综合的数仓项目。分为离线处理和实时处理，其中用到的技术有 MySQL、Sqoop、HDFS、Yarn、Hive、数据仓库模型设计、SparkCore、SparkSQL、SparkStreaming、AzkabanFlume、Kafka、Redis、superSet、Redis、微信指数、高德 API 等。 离线处理：以 Spark 为主，其中很少使用了 SparkCore 的代码，主要使用 SparkSQL构建数据仓库。项目使用 airflow/Azkaban 进行调度，可以每日进行调度，也可以每月进行调度，每天定时触发调度。 实时处理：使用 SparkStreaming 实现实时处理。离线 N+1 的方式不能得到实时数据，运营活动中心有时需要实时的用户上线数据，针对客户端进行数据埋点，用户在客户端所有的行为都是事件，对事件进行埋点，当用户触发了一些事件时，判断用户是否满足了目标用户情况。

音乐数据中心主要使用技术

CDH、flume、sqoop、HDFS、Spark、SparkSQL、Hive、Hbase、Zookeeper、kafka、mysql、redis、yarn、superset、Azkaban等