1、kettle是什么?可视化ETL工具Kettle
2、数据仓库:
本质:专门针对于数据存储模型
实现:MySQL、Oracle、Hive……
应用:专门用于实现将各种各样数据进行统一化规范化的数据存储,为所有数据应用提供数据
      数据分析
      数据挖掘
      用户画像
      推荐系统
      风控系统
特点:
     本身不产生数据
     本身也不使用数据
     用于实现复杂数据的存储
与数据库区别:
    数据库:一般用于支撑业务数据的存储
        网站后台:用户数据、商品数据、订单数据
    数据仓库:专门为数据数据处理提供数据的
        业务数据
        用户行为
        爬虫数据
        第三方数据
        日志数据
问题:
    数据种类非常的多,每一种数据的内容或者格式都不一样
        有结构化、有非结构化
        有合法的,有非法的
        有需要的,有不需要的
   MySQL是一个专门用于存储结构化数据的数据存储工具
        结构化
        需要
        合法
   如何将各种各样的数据存储在MYSQL中?
解决:
     数据产生以后,不能直接放入数据仓库【MySQL】中存储
     对原始数据进行一步预处理,将需要的、合法的数据放入数据仓库中
     这一步预处理:ETL【数据清洗】
ETL:
功能:实现数据的预处理,数据清洗过程,将原始数据经过ETL处理变成想要的数据,进行下一步的应用
实现:
    抽取:读取需要处理的原始数据
    转换:将原始数据转换为目标数据
       过滤:将不需要的数据过滤掉
       补全:将需要用到的数据补全 
       转换:原始数据的格式不是我们想要的格式,转换为想要的格式
    加载:将处理好的目标数据放入数据仓库中
Kettle:
功能:实现可视化ETL
可视化:不用写复杂的代码程序,可以通过图形化的界面来实现数据的处理
特点:
    学习以及使用的成本比较低
    功能非常强大
3、kettle里面什么是转换?什么是作业?有什么功能(有什么作用)?
转换:
功能:实现一个转换的程序
输入:要读取什么数据进行转换
转换:要对数据怎么进行处理【过滤、补全、转换】
输出:要将处理好的数据保存到什么地方
作业:
功能:将多个转换根据需求构建任务流
任务流:很多个任务【每一个转换程序】根据自动运行的条件来运行就是任务流
实际工作中,一次要执行很多个转换任务,如何实现这些任务的自动化执行?
自动运行:
    第一种:定时运行
    第二种:依赖关系(A先运行,A运行成功,B就自动运行)
4、Kettle插入更新组件:
功能:只会同步发生更新的数据,已经同步过的数据不会再次同步
数据更新:
    插入一条新的数据
    更改一条老的数据
5、Kettle Job
Job的功能:
转换:实现一种数据的转换处理,是一个转换任务
作业:实现多个转换任务按照一定的规则运行,就是一个任务流
  			 时间规则:从00:10分开始,每5种运行一次
  			 依赖规则:A成功了,就执行B
功能:将多个转换根据彼此之间的关系实现任务流运行
6、FineBi是什么东西?解决什么问题?
数据可视化分析平台FineBI
可视化的应用:
1)数据可视化:
可视化分析:不用写代码,直接对原始数据通过图形化操作实现分析和构建报表平台 
构建可视化报表:
通过图的形式来展示对应的数据结果,实现信息的传递
传递信息的方式:文字、图片、声音、视频
2)目的:
通过图片来展示数据的结果,从图中可以发现数据的规律、数据中存在的问题、价值等等
柱状图:用于体现数据的大小
饼状图:用于体现数据的比例
曲线图:用于体现数据的走势
地图:用于体现不同区域的数据分布
3)工具
第一种:商业化可视化产品
           功能最全面,使用非常简单
           非常适合业务人员快速上手
           在很短的时间内快速的构建数据分析报表平台
第二种:开源化的可视化产品
           功能相对不是特别的全面
           使用相对需要定制化开发
第三种:通过代码自己开发
           定制化程度最高
           成本最高,需要大量的时间和人力来开发这个平台
商业可视化平台FineBI:
FineBI 是帆软软件有限公司推出的一款商业智能(Business Intelligence)产品。
FineBI 是定位于自助大数据分析的 BI 工具,能够帮助企业的业务人员和数据分析师,开展以问题导向的探索式分析。
优势:
通过多人协作来实现最终的可视化构建
FineBI不需要通过复杂代码来实现开发,通过可视化操作实现开发
功能非常的强大:
    适合于各种数据可视化的应用场景
    各种常见的分析图表
    支持各种各样的数据源
    支持处理大数据
Kettle:过滤、转换、补全
FineBI:实现可视化报表构建

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐