认识达内从这里开始

我们在前几期的文章中汇总了大家在学习大数据技术的时候需要掌握的一些基础编程开发知识等内容，而本文我们就继续来了解一下，大数据查询引擎都有哪些类型。

1、SQL交互式查询引擎

常用的SQL交互式查询引擎有Impala、Presto、ClickHouse、Kylin等。Impala和Presto基于MPP架构，通过分布式查询引擎提高查询效率。ClickHouse、Kylin是目前主流的联机分析处理OLAP计算和查询引擎。Kylin通过预计算机制，提前将客户经常查询的维度和指标设计好并进行预处理操作，以数据立方体模型(Cube)形式缓存，以便加快聚合操作和查询的速度，特别适合对海量数据的OLAP场景。由于需要提前将数据预处理好，Kylin需要消耗额外的空间，且无法高效支持随机的计算和查询。

ClickHouse适合海量数据的大宽表(维度和指标较多的表)的灵活和随机的查询、过滤和聚合计算，写入和查询性能很好，而多表关联操作性能一般，尤其是多个数据量较大的表(即大表)关联的情况。其劣势是不擅长高频的修改和删除操作，在多用户高并发场景中性能一般。

Presto由Facebook开源，支持基于内存的并行计算，支持多个外部数据源和跨数据源的级联查询，在对单表的简单查询和多表关联方面性能较好，擅长进行实时的数据分析。在处理海量数据时，Presto对内存容量要求高，多个大表关联容易出现内存溢出。

Impala由Cloudera推出，是一个SQLonHadoop的查询工具，也基于内存进行并行计算，目标是提供HDFS、HBase数据源复杂的高性能交互式查询。

2)NoSQL交互式查询引擎

HBase是基于key-value原理的列式查询引擎，适用于频繁进行插入操作且查询字段较多的场景，如统计每分钟每个商品的点击次数、收藏次数、购买次数等。HBase的列式扩展能力较强，理论上硬盘有多大，HBase的存储能力就有多大。HBase不适用于大量更改(update)操作的场景。HBase的主要缺点是update操作性能较低。

Redis是内存数据库。Redis的原理是基于内存进行计算和查询。Redis的存储容量与内存容量有关，支持的数据类型比较丰富，有一定的持久化能力，适用于高频update操作的场景，读写的速度都非常快。其缺点是内存容量有限，价格较高，一般用于存储非常有价值且需要高频读写的数据。比如，实时统计全站客户累计点击次数、收藏次数、购买次数等用于数据看板(dashboard)的展示。

MongoDB主要以JSON(JavaScriptObjectNotation)数据串格式存储数据，适用于表结构变化大的海量数据查询和聚合计算的场景，这是其区别于其他数据库的重要特色。比如，构建客户大宽表，客户的有关字段经常发生改变或增删，在这种场景中很适合用MongoDB存储并高效读取客户的单一维度信息或聚合信息。但是其写入操作和多表关联复杂操作性能一般，很少用于复杂的多表关联的计算场景。在实际应用中，一般会综合部署上述NoSQL引擎，满足不同的应用场景。

【免责声明】：本内容转载于网络，转载目的在于传递信息。文章内容为作者个人意见，本平台对文中陈述、观点保持中立，不对所包含内容的准确性、可靠性与完整性提供形式地保证。请读者仅作参考。更多内容请加danei0707学习了解。欢迎关注“达内在线”参与分销，赚更多好礼。