信息时代我们怎么处理大数据

问题描述

精选答案

通常大数据处理方式包括两种，一种是实时处理，另一种则为离线处理。

1.实时处理方式现实生活中，需要我们对某些大数据进行及时处理，然后进行快速呈现，我们可以将日常生活中产生的数据想象成水流，流处理方式就是在处理这些水流，数据“水流”不断流入到实时处理分析引擎中。需要注意的是，这个引擎并不会对数据进行积压，而是不停的进行加工，并对将结果数据快速流入相应业务场景中，从而让数据得到快速呈现。比较常见框架包括Storm，Spark和Samza。

2. 离线处理离线处理方式已经相当成熟，它适用于量庞大且较长时间保存的数据。在离线处理过程中，大量数据可以进行批量运算，使得我们的查询能够快速响应得到结果。