大数据架构有哪些,大数据处理的一般性框架
发布时间：2022-10-24 11:18:44 所属栏目：大数据 来源：
导读： 直到今天，大数据处理主要分为两大需求，一个是批处理，一个是流处理。 在企业的实际业务场景中，既可能只需要批处理和流处理，也可能需要批处理和流处理，在构建大数据系统平台时大数据架构标准，需要根据具体场
|
直到今天，大数据处理主要分为两大需求，一个是批处理，一个是流处理。 在企业的实际业务场景中，既可能只需要批处理和流处理，也可能需要批处理和流处理，在构建大数据系统平台时大数据架构标准，需要根据具体场景进行技术选型。 大数据处理框架通常可分为三种—— 批处理框架： Apache Hadoop 流处理框架(Apache Storm、Apache Samza 批处理框架： Apache Spark、Apache Flink 在此，不是对各框架进行更具体的说明，而是首先理解这些不同处理模式背后的思想。 1、批处理 批处理是大数据处理的常见需求，批处理主要处理大容量的静态数据集，并在计算过程完成后返回结果。 考虑到这种处理模式，批处理有明显的缺点。 也就是说，面对大规模的数据，在计算处理的效率性方面不尽如人意。 目前，批处理在处理大量持久性数据方面非常出色，因此经常用于分析历史数据。 2、流处理 批处理后出现的另一个常见需求是流传输处理，其对实时进入系统的数据执行计算操作，处理结果立即可用并随着新数据的到达而持续更新。 在实时性方面，流处理是优良的，但流处理一次只能处理一个(真正的流处理)或少量)数据，在不同记录之间只能维持最小状态，对硬件的要求也更高。 3 .批处理流程处理 在实际的APP应用中，批处理和流处理同时存在的情况也很多，混合处理框架的目的是解决这样的问题。 除了提供处理数据所需的方法外，它还提供了自己的集成项、库和工具，并提供了处理数据的通用解决方案，可以处理图形分析、机器学习和交互式查询等各种场景。 大数据平台的构建往往需要在这些开源的大数据处理框架中进行选择，这也要求开发人员有一定程度的学习。 （编辑：天瑞地安资讯网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐