认识达内从这里开始

认真做教育专心促就业

南昌达内培训大数据技术应用与发展都经历了哪些阶段

发布：南昌达内IT培训
来源：互联网
时间：2021-11-29 13:23

随着互联网的不断发展，越来越多的人都学习大数据技术，而今天我们就通过案例分析来了解一下，大数据技术应用与发展都经历了哪些阶段。

南昌达内培训大数据技术应用与发展都经历了哪些阶段

阶段一、大数据诞生之初

以Hadoop的诞生为标志，这个阶段是解决了大规模数据的存储和计算的问题。Hadoop的诞生使我们能够处理更大规模的数据，这个阶段重点是分布式技术，解决规模和性能的问题，以及后来的Spark也是为了能解决更大规模的数据，更高的效率。这是一个阶段。

阶段二、SQL语言成为大数据编程的主流

Hadoop诞生之初并没有SQL，处理数据都要写代码，门槛太高。当时，图灵奖获得者、数据库领域的专家Stonebraker曾经批判MapReduce是一个技术的大倒退，原因之一就是MapReduce非常难用，比当时已经成熟的数据库SQL技术差得太远了。编程语言方面，现业内也提供很多尝试，比如Java、Scala、Pig和Google开源的Beam等，但这些语言的使用效率都远远赶不上SQL。终事实证明，SQL才是数据处理语言的胜利者。

阶段三、集成开发和管理

随着云和大数据开源技术的发展，大数据的基础设施和大数据技术变得比较容易获得，目前大数据的重点往往是怎么样去快速地构建大数据应用，提供大数据应用。构建大数据应用需要把各种大数据技术组合一起，通过这种集成化的方式提高数据应用交付的效率。这里的技术涉及到数据集成，任务的开发、调度和运维，数仓的设计，数据治理，数据服务等技术点，只有把这些技术点组合起来，才能提供比较好的开发效率。目前这个阶段还没有形成统一的标准。举个例子，大数据测试就是一个还没有解决好的问题。很多时候大家做数据的开发和测试环境都是不分离的，线上开发的代码随便检查一下就上线了，也没有任何的回归测试。所以我说，我们大数据整个研发还是不成熟，相比线的CI/CD差得比较远。我们也这个方向上尝试做出一个比较好的大数据开发和管理平台，能够把各个大数据的技术很好地组合一起，从而提高应用的开发效率

【免责声明】：本内容转载于网络，转载目的在于传递信息。文章内容为作者个人意见，本平台对文中陈述、观点保持中立，不对所包含内容的准确性、可靠性与完整性提供形式地保证。请读者仅作参考。更多内容请加danei0707学习了解。欢迎关注“达内在线”参与分销，赚更多好礼。

< 上一篇：南昌达内培训女生学习编程开发技术都有哪些优势

下一篇：南昌达内培训人工智能模型训练都有哪些常用方法 >