如何获取大数据

问题描述

精选答案

大数据的数据来源主要有三个渠道，分别是物联网系统、传统信息处理系统以及互联网应用（Web和App），所以要想获得大数据就要从这三个渠道来获取。

物联网系统产生的数据占据着大数据中的重要比例，物联网产生的数据多以非结构化数据为主，包括视频、音频、传感数据等等。物联网的应用领域众多，比如工业物联网、农业物联网、车联网、智慧城市等都会产生大量的数据，通常情况下这些数据的采集都是有严格要求的，是不能开放给个人的。如果个人要想获得这部分数据，一个比较可行的方案是跟数据采集者进行合作，比如做数据分析等业务。

传统信息系统涵盖的领域非常广泛，有政务系统、企业ERP、教育信息系统、医疗信息系统等等，传统信息系统涵盖的数据多以结构化数据为主，而且往往有较高的精确度和关联关系，这部分数据的价值密度也是相对比较高的。

但是传统信息系统涵盖的数据往往涉及到个人隐私、商业机密等内容，所以这部分内容通常是受到严密保护的。随着大数据技术的发展，业界对于政务系统的数据开放的呼声越来越高，经过脱敏的数据往往并不会对个人隐私构成侵犯，所以未来某些政务系统的大数据会陆续开放出来。

互联网应用也是产生大数据的重要基础之一，包括各种Web应用以及大量的App产品，这部分数据多以半结构化为主，数据内容也存在真假难辨的情况，但是由于这部分数据的价值密度相对还是比较高的，所以现在不少互联网公司就是基于这些数据对用户进行“画像”，从而进行多维度的分类。