认识达内从这里开始

认真做教育专心促就业

南昌达内培训HSAP架构技术应用都有哪些组成结构

发布：南昌达内IT培训
来源：互联网
时间：2021-08-30 11:11

HSAP架构是程序员在学习大数据技术的时候需要重点掌握的一个计算机大数据技术，下面我们就一起来了解一下，HSAP架构技术应用都有哪些组成结构。

南昌达内培训HSAP架构技术应用都有哪些组成结构

存储计算分离：所有的数据存储在一个分布式文件系统中，我们以数据分片的方式来扩展系统，StorageManager会管理这些数据分片(Shard)，ResourceManager管理系统的计算资源，保证系统能够处理高吞吐的数据写入和查询的需求。这种架构能够快速应对工作负载的变化，当查询负载变大需要更多的计算资源的时候可以扩展计算资源，当数据量快速增长的时候可以快速扩展存储资源。存储计算分离的架构保证了不需要等待移动/拷贝数据就能快速完成这些操作。这种架构较大地简化了运维，为系统的稳定性提供了保障。

统一的实时存储：为了能够支持各种查询模式，统一的实时存储层至关重要。查询大体可以分为两类，一类是简单的点查询(数据服务类的大多是这类)，另一类是扫描大量数据的复杂查询(分析类的大多是这类)，当然这是一个连续变化的过程，很多查询介于两者之间。这两种查询模式对数据存储也提出了不同的要求。行存储能够比较高效地支持点查询，而列存储在支持大量扫描的查询上有明显的优势。我们可以通过类似PAX的方式在行存和列存之间做一个折衷，付出的代价是可能在点查和扫描数据的场景都不能获得佳的性能。我们希望在两种场景都做到优，所以在系统里同时支持了行存和列存，用户可以根据场景选择每个表的存储方式。对同时有两种需求的表我们通过索引的抽象允许用户同时选择两种存储，系统通过索引维护的机制保证两者间的一致性。在实践中我们发现这种设计带来的效率和灵活性能够更好地支持业务。

工作负载的隔离：系统在混合工作负载下的SLO是通过调度来保证的。在理想情况下，一个大查询就应该能把所有的资源都利用起来。而当有多个查询同时运行的时候，这些查询需要公平地共享资源。由于服务型的查询通常比较简单从而需要的资源比较少，这种公平调度的机制能够保证服务型查询的延迟即使在有复杂的分析型查询的情况下仍然能够得到保障。

【免责声明】本文系本网编辑部分转载，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题，请在30日内与管理员联系，我们会予以更改或删除相关文章，以保证您的权益!更多内容请加danei0707学习了解。欢迎关注“达内在线”参与分销，赚更多好礼。

< 上一篇：南昌达内培训大数据技术应用分析

下一篇：南昌达内电脑培训web前端编程开发基础知识分享 >