大数据技术就是从各种类型的数据中快速获得有价值信息的技术，它包含很多关键的技术，比如说数据收集、存储等等。

   1.数据收集

   大数据时代，数据的来源极其广泛，数据有不同的类型和格式，同时呈现爆发性增长的态势，这些特性对数据收集技术也提出了更高的要求。数据收集需要从不同的数据源实时的或及时的收集不同类型的数据并发送给存储系统或数据中间件系统进行后续处理。搜集方法主要包含接口方式、开放数据库方式、基于底层数据交换的数据直接采集方式等等。

   2.数据预处理

   数据的质量对数据的价值大小有直接影响，低质量数据将导致低质量的分析和挖掘结果。广义的数据质量涉及许多因素，如数据的准确性、完整性、一致性、时效性、可信性与可解释性等。数据预处理方法主要包括数据清洗、数据集成、数据转换和数据消减等等。

   3.数据存储

分布式存储与访问是大数据存储的关键技术，它具有经济、高效、容错好等特点。分布式存储技术与数据存储介质的类型和数据的组织管理形式直接相关。其存储方式分为分布式存储、云存储等等。

   4.数据处理

分布式数据处理技术一方面与分布式存储形式直接相关，另一方面也与业务数据的温度类型(冷数据、热数据)相关。目前主要的数据处理计算模型包括MapReduce计算模型、DAG计算模型、BSP计算模型等。