认识达内从这里开始

认真做教育专心促就业

南昌达内IT培训大数据入门需要掌握哪些知识点

发布：南昌达内IT培训
来源：互联网
时间：2023-05-04 10:21

大数据技术的学习与应用随着互联网的不断发展而逐渐影响到了更多的行业领域，而本文我们就通过案例分析来简单了解一下，大数据入门需要掌握哪些知识点。

南昌达内IT培训大数据入门需要掌握哪些知识点

1、爬虫应该很好理解，就是通过网络爬虫获取外部数据，将这些数据自己存储起来。很多的比价网站就是爬取各种电商网站的数据，然后比较各个网站的数据后得到结果。本身它们网站本身是没有这个数据的，这个数据是从别人那爬过来的。

2、数据库本来就已经存储了我们的数据，而我们要做的只是把数据库的数据导入我们的大数据平台那儿，让数据能够得到更好的分析。

3、日志这块其实我更多想说的是打点(埋点)这块。有的人会把这埋点和日志的概念分开，只是我把它给合在一起叫「日志」。日志有用户行为日志(埋点)，也有系统的运行产生的日志。用户行为日志这块说白了就是：从你进去某个APP的一刻开启。几乎你所有的操作都会被记录下来(点了某个tag、在某个tag停顿了多少秒)。猜你喜欢这类的系统就是根据你以往行为来对进行推荐。

好了，现在我们有不同的地方收集到数据，我们要终要做的就是把这个数据汇总到一起来进行存储和分析。

于是我们就需要将日志、数据库、爬虫这些不同数据源的数据导入到我们的集群中(这个集群就是上面提到的，分布式文件系统(HDFS)，分布式计算系统)。

由于数据源的不同，所以会有多种的工具对数据进行导入。比如将日志的数据收集我们会有Flume，从数据库同步我们会有Sqoop。这也就是所谓的ETL(萃取「extract」、转置「transform」、加载「load」)

ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。

(注：不要被上面的Sqoop、Flume这样的名词给吓着了，其实就是现有的成熟的框架技术)

我们把所有的数据收集起来，把这个存储数据的地方叫做数据仓库。基于数据仓库我们统计能各种的指标，基于这些指标可以指导我们是否要做一个需求或决策。

比如说：现在我们要对APP的页改版了，但不知道用户是否能接受这次的改版。于是我们就可以先对一少部分的用户做实验(这一部分的用户看到的是改版后的页)，我们根据这一部分用户的行为来判断这一次的改版是否有比较好的效果。

用户的行为我们都有收集起来。只要将实验用户关联到对应的指标，与现有的指标做一次对比，我们大概就知道这次改版是否真的合理。

【免责声明】：本内容转载于网络，转载目的在于传递信息。文章内容为作者个人意见，本平台对文中陈述、观点保持中立，不对所包含内容的准确性、可靠性与完整性提供形式地保证。请读者仅作参考。更多内容请加danei456学习了解。欢迎关注“达内在线”参与分销，赚更多好礼。

< 上一篇：南昌达内IT培训软件测试效率提高方法都有哪些

下一篇：南昌达内IT培训软件开发数据库基础知识分享 >