一、绪论

1. 大数据核心问题
2.     数据整合（获取有用数据）、可视化（数据显示）、海量数据处理、算法
3. 不是随机是全体，不是精确是混杂，不是因果是关系
4. 大数据至今尚无确切和统一的定义。信息资产。
5. 4V：体量大、种类多、速度快、价值高
6. 发展三大要素：算数（数据量）、算力、算法
7. 云计算既是计算模式也是商业模式。
8. 大数据应用：优化流程、满足客户服务、提高体育成绩、医疗、金融、改善安全、优化机器和设备性能
9. 数据采集、数据存储、数据处理、数据分析、数据应用。
10. 软件是用出来的。
11. 大数据时代安全：同态加密简介。先运算加密和先加密后运算结果一样。
12. 有数据的人不算，能算的人没数据。

二、大数据处理与分析

1. 大数据架构：数据源、运维中心、数据平台、数据服务
2. 核心技术：数据挖掘算法，分部署数据库
3. 数据采集来源：日志、网络信息、规范的数据源

三、大数据主流技术

1. 非结构：hadoop-->新型数据库，价值高，密度低
2. 云数据库：分布式、并行、效用。按需自取，按量计费。
3. 马云-动物，华为-中国文化。
4. java在C以后。
5. linux集群，架构相对单一。
6. 高性能计算，并行，文件系统，隐藏底层细节，因式分解，合并同类项。
7. storm不是批量大量数据，而是实时计算少量数据。
8. RDD:弹性与延迟制造。
9. 图计算，七桥问题。
10. 大数据计算：最短路径、传播影响力、潜在用户挖掘、信息安全。

四、数据挖掘

1. 利用过去历史数据，统计分析方法延伸，技术结合，分析预测。
2. 数据挖掘目的就是从数据中淘金，从数据中获取智能的过程。
3. 数据挖掘是一门交叉跨界和融合的学科。
4. 数据挖掘的十方法：
5.     基于历史的分析：找出相似的案例，结合函数预测将相似的属性结合起来
6.     购物篮分析：关联规则反应一个事物和另一个事物的相关性
7.     决策树：二叉树演化
8.     遗传算法：模拟细胞演化过程。
9.     聚类分析：找出未知相似群体。
10.     连接分析：以关系为主题。
11.     联机分析处理：
12.     神经网络：重复学习的方法。卷积神经网络：网络会对数据分类。
13.     判别分析：因变量和自变量
14.     罗杰斯回归分析：非预测是否发生，而是概率。
15. 常见数据挖掘功能：关联，分类，预测，聚类
16. 关联规则：设置优化关联规则，关联规则挖掘，挖掘规则分析，挖掘规则结果，结束。
17. 支持度：买A的同时买B。置信度：包含AB的事物数。
18. 回归分析：最小二乘法。洛基撕回归
19. 分类方法：样本，训练，模型，预测，评价，结果，模型预测，结束。
20. 决策树算法：香农信息焓：单调，非负性，累加性
21. 神经网络算法：单层感知机。第一层颜色纹理，第二层布纹，刻度，叶纹。三层烛光，四层动物，五层屋顶键盘
22. 聚类，数值归一化，聚类要素距离计算。

五、案例

1. 一网通办：数据打通、健康码
2. 用户大数据画像：数据转化商业价值的问题，从海量数据中挖掘炼金。
3. 中国人口变化大数据。
4. 大数据舆情分析。
    

如需课件资料请留下邮箱或者私信。