大数据-第13阶段更新
【机器学习及推荐系统实战】
SparkMLlib是Spark生态圈中做机器学习的算法库,常用的大部分的算法都封装到了MLlib机器学习库中,做机器学习的时候只需要调用函数,非常的方便,但是在讲MLlib之前需要提前讲R语言作为基础。
章节 3
PySpark及线性回归算法
课时17-pyspark环境准备
课时18-pyspark wordcount
课时19-pvuv-code
课时20-pvuv-code2
课时21-线性回归算法
课时22-线性回归代码
章节 4
贝叶斯算法、KNN算法及KMeans算法
课时23-复习+贝叶斯公式推导
课时24-贝叶斯原理+垃圾邮件分类
课时25-KNN算法
课时26-KNN 案例
课时27-KNN数字案例
课时28-KMeans算法
课时29-KMeans案例
章节 5
微博聚类、逻辑回归及音乐分类
课时30-复习
课时31-TF-IDF
课时32-微博聚类
课时33-逻辑回归
课时34-音乐分类案例
课时35-道路预测原理
章节 6
道路预测及逻辑回归优化
课时36-道路预测模拟数据
课时37-道路预测模型训练+使用
课时38-求导公式
课时39-逻辑回归损失函数推导
课时40-逻辑回归损失函数求导02
课时41-逻辑回归调优01
章节 7
混淆矩阵及推荐系统原理
课时42-逻辑回归复习
课时43-逻辑回归优化
课时44-混淆矩阵+ROC&AUC
课时45-ROC+AUC
课时46-推荐系统-协同过滤思想
课时47-推荐系统01
课时48-推荐系统02
章节 8
推荐系统应用及决策树、随机森林算法
课时49-复习+推荐系统架构
课时50-准备数据,导入数据
课时51-准备数据,转换数据
课时52-准备数据-python文件处理数据
课时53-训练模型,导入Redis数据
课时54-生成推荐列表
课时55-决策树介绍
课时56-决策树01
课时57-决策树02
大数据-第14阶段更新
【Flink】
Apache Flink是一个框架和分布式处理引擎,用于在无边界和右边界数据流上进行有状态的计算。Flink能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算。当前实时场景数据处理必备技术。
章节 1
Flink
课时1-Flink技术之-初识Flink
课时2-MR&Strom&Spark&Flink各个技术框架之间的区别
课时3-Flink 版本&Java版本&Scala版本&Maven版本
课时4-Flink代码开发Maven项目pom文件配置
课时5-Flink-WordCount统计单词个数实现
课时6-Flink代码编写要点及注意问题
课时7-Flink中的排序及分区排序
课时8-Flink的source数据源和Sink源
课时9-Flink网址统计分析案例
课时10-Flink累加器、计数器的应用案例
课时11-Flink Dataflows&task&算子链&集群名词解释
课时12-Flink集群节点功能&Flink TaskSlots解释
课时13-Flink-standalone集群的搭建
课时14-Flink读取Socket数据分析案例
课时15-基于Flink集群运行任务及日志查看
课时16-Flink窗口操作实战
课时17-使用tuple来指定虚拟的key
课时18-使用字段表达式指定虚拟的key
课时19-使用keySelector指定虚拟的key
课时20-Flink读取Kafka数据将分析结果保存到Kafka中实战
课时21-Flink读取Kafka参数解释
课时22-Flink读取Kafka两阶段提交方式保证数据容错
课时23-Flink读取Kafka两阶段提交方式代码实现
课时24-验证Flink读取Kafka数据两阶段提交准确处理数据