数据科学是一个跨学科的领域,它使用科学的方法、过程、算法和系统从结构化和非结构化数据中提取知识和见解,并将知识和可操作的见解应用于广泛的应用领域。数据科学涉及数据挖掘、机器学习和大数据。
数据科学是“将统计学、数据分析、信息学及其相关方法统一起来的概念”,目的是用数据“理解和分析实际现象”它使用了从数学、统计学、计算机科学、信息科学和领域知识的许多领域中提取的技术和理论。然而,数据科学不同于计算机科学和信息科学。图灵奖得主吉姆·格雷将数据科学想象为科学的“第四范式”(经验的、理论的、计算的,现在是数据驱动的),并断言“由于信息技术的影响”和数据洪水,科学的一切都在改变
基础
数据科学是一个跨学科的领域,专注于从数据集中提取知识,这些数据集通常是大的(参见大数据),并从数据中应用知识和可操作的见解来解决广泛应用领域的问题该领域包括为分析准备数据、制定数据科学问题、分析数据、开发数据驱动的解决方案,以及在广泛的应用领域中为高层决策提供研究结果。因此,它整合了计算机科学、统计学、信息科学、数学、信息可视化、数据集成、平面设计、复杂系统、通信和商业等方面的技能。统计学家Nathan Yau借鉴Ben Fry的观点,将数据科学与人机交互联系起来:用户应该能够直观地控制和探索数据。2015年,美国统计协会(American Statistical Association)将数据库管理、统计与机器学习、分布式与并行系统(distributed and parallel systems)确定为三个新兴的基础专业社区。
与统计的关系
包括Nate Silver在内的许多统计学家认为,数据科学并不是一个新领域,而是统计学的另一个名称另一些人认为,数据科学不同于统计学,因为它关注数字数据独有的问题和技术Vasant Dhar写道,统计学强调定量数据和描述。相反,数据科学处理定量和定性数据(如图像),强调预测和行动哥伦比亚大学的Andrew Gelman将统计学描述为数据科学的非必要部分斯坦福大学教授大卫·多诺霍(David Donoho)写道,数据科学与统计学的区别并不在于数据集的大小或计算的使用,许多研究生项目误导性地宣传他们的分析和统计培训是数据科学项目的精髓。他将数据科学描述为从传统统计学发展而来的应用领域总之,数据科学可以被描述为统计学的一个应用分支。
影响
大数据正迅速成为各种规模的企业和公司的重要工具大数据的可用性和解读改变了老行业的商业模式,也催生了新行业2020年,数据驱动企业的总价值将从2015年的3330亿美元增加到1.2万亿美元数据科学家负责将大数据分解成可用的信息,并创建帮助公司和组织确定最佳运营的软件和算法随着大数据继续对世界产生重大影响,由于两者之间的密切关系,数据科学也在发挥着重要作用。
技术与技巧
数据科学中有各种不同的技术和技术,它们依赖于应用程序。最近,全功能的端到端平台已经开发出来,并大量用于数据科学和机器学习。
技术
进一步信息:统计学方法
线性回归
逻辑回归
采用决策树作为预测模型进行分类和数据拟合。决策树结构可用于生成基于观察属性对目标/类/标签变量进行分类或预测的规则。
支持向量机
聚类是一种用于将数据分组在一起的技术。
降维是为了降低数据计算的复杂性,使其能够更快地执行。
机器学习是一种通过从数据中推断模式来执行任务的技术
微信扫一扫









