走进大数据之基础知识
小数先生| 2023.10.14作者：小南瓜开发平台来源：小数先生
走进大数据之基础知识
收录于合集#大数据9个
一、什么是大数据？
大数据（big data），或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
大数据的特点包括数据体量巨大、数据种类繁多、价值密度低、处理速度快。大数据的应用范围广泛，包括商业分析、健康医疗、政府决策、公共服务、金融等领域。
在大数据的处理过程中，需要使用各种技术，包括数据采集、数据预处理、存储管理、计算分析、数据可视化等。大数据的发展受到各国的重视，已经成为推动经济发展和社会进步的重要力量。
二、大数据的发展历程
大数据的发展历程是一个不断探索和创新的过程，随着技术的不断进步和应用场景的不断扩展，大数据将会在未来的发展中发挥更加重要的作用
萌芽阶段：20世纪90年代到21世纪初，这个阶段数据库技术逐渐成熟，数据挖掘理论也逐渐成熟，但还没有出现被广泛认可的大数据概念。
突破阶段：2003年至2006年，这个阶段出现了大量的非结构化数据，传统的数据库处理方法难以应对，因此催生了大数据技术的快速发展。这个阶段也是社交网络的兴起时期，社交网络的出现导致大量的数据产生。
成熟阶段：2006年至2009年，大数据技术进入并行计算和分布式系统阶段，这也是大数据发展的成熟期。
应用扩展阶段：2010年以来，随着智能手机的应用，数据的碎片化、分布式、流媒体特征更加明显，移动数据急剧增长。
大数据概念普及阶段：2011年和2012年，麦肯锡全球研究院和维克托·舍恩伯格等人开始大力推广大数据概念，大数据概念开始风靡全球。
大数据技术应用推广阶段：从2013年开始，大数据技术开始被广泛应用于各个领域，包括商业智能、智能城市、智能交通、健康医疗、金融等。
三、大数据技术有哪些？
数据采集技术：大数据采集技术包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入系统等。
数据预处理技术：大数据预处理主要完成对已接收数据的抽取、清洗等操作，包括数据去重、数据清洗、数据填补、数据标准化等。
存储管理技术：大数据存储管理技术包括分布式虚拟存储技术、分布式存储集群、分布式缓存集群等技术，这些技术能够高效存储和管理大数据，提高数据处理的效率和可靠性。
计算分析技术：大数据计算分析技术包括分布式计算框架（如Hadoop、Spark等）、分布式数据库（如HBase、Cassandra等）、数据挖掘和机器学习算法等，这些技术能够对大数据进行高效分析和挖掘，提取出有价值的信息。
数据可视化技术：大数据可视化技术包括数据报表、图表、图像等多种形式，这些技术能够将复杂的数据通过直观的方式呈现出来，便于人们理解和分析。
大数据安全技术：大数据安全技术包括数据加密、数据脱敏、访问控制、安全审计等技术，这些技术能够保障大数据的安全性和可靠性。
在实际应用中，这些技术并不是孤立的，而是相互联系、相互依存。例如：
在数据采集和预处理阶段：需要用到数据传感体系和智能识别等技术；
在存储管理阶段，需要用到分布式存储集群和分布式缓存集群等技术；
在计算分析阶段，需要用到分布式计算框架和分布式数据库等技术；
在数据可视化阶段，需要用到报表、图表和图像等技术；
在安全保障阶段，需要用到数据加密、访问控制和安全审计等技术。
四、大数据、互联网、物联网三者之间有什么关系？
大数据、互联网和物联网是相互依存、相互促进的。大数据技术的发展离不开互联网和物联网的支持，而互联网和物联网的应用也需要大数据技术的支撑。
从整体宏观角度来看，物联网与互联网是数据采集、加工、传输技术的两大来源，而大数据则是这些数据的归宿。
在微观层面，物联网可以看作是互联网的扩展，通过在物品与互联网之间建立连接，实现数据的自动采集、传输和处理。
互联网、物联网都是大数据技术的数据来源。互联网主要收集的是人与人的交互数据，如浏览行为、消费行为、位置信息等。物联网则主要收集的是物品的信息，包括设备的状态、传感器检测到的环境参数等。这些数据都会汇总到数据中心进行统一处理分析，从而发掘出数据间的潜在价值。
从物联网角度来看，物联网的本质是物与物之间的连接，但是在实际应用中需要与互联网结合才能实现智能化的管理。因此物联网的实现需要使用到互联网技术，例如无线传输技术、传感器技术等。同时，在物联网应用的过程中也会产生大量的数据，这些数据也可以被大数据技术所处理和分析，从而进一步优化物联网的应用效果。
版权归属原作者，如涉侵权，请联系删除）
售前咨询服务：
