当前位置:主页 > 工业农业 > 正文

工业大数据挖掘的利器——Spark MLlib

时间:2019-05-22 14:56 来源:未知 编辑:admin

核心提示

格物汇之前刊发的《工业大数据处理领域的“网红”——Apache Spark》中提到,在“中国制造2025”的技术路线图中,工业大数据是作为重要突破点来规划的,而在未来的十年,以数据为核...

格物汇之前刊发的《工业大数据处理领域的“网红”——Apache Spark》中提到,在“中国制造2025”的技术路线图中,工业大数据是作为重要突破点来规划的,而在未来的十年,以数据为核心构建的智能化体系会成为支撑智能制造和工业互联网的核心动力。Apache Spark 作为新一代轻量级大数据快速处理平台,集成了大数据相关的各种能力,是理解大数据的首选。Spark有一个机器学习组件是专门用于解决海量数据如何进行高效数据挖掘的问题,那就是SparkMLlib组件。今天的格物汇就给大家详细介绍一下Spark MLlib。

Spark MLlip 天生适合迭代计算

在介绍Spark MLlib 这个组件前,我们先了解一下机器学习的定义。在维基百科中对机器学习给出如下定义:

机器学习是一门人工智能的科学,该领域的主要研究对象是人工智能,特别是如何在经验学习中改善具体算法的性能。

机器学习是对能通过经验自动改进的计算机算法的研究。

机器学习是用数据或以往的经验,以此优化计算机程序的性能标准。

很明显,机器学习的重点之一就是“经验”,对于计算机而言,经验就是需要进行多次迭代计算得到的,Spark 的基于内存的计算模式天生就擅长迭代计算,多个步骤计算直接在内存中完成,只有在必要时才会操作磁盘和网络,所以说Spark正是机器学习的理想的平台。在Spark官方首页中展示了Logistic Regression算法在Spark和Hadoop中运行的性能比较,如图下图所示。

Spark MLlib 算法以及功能

MLlib由一些通用的学习算法以及工具组成,其中包括分类、回归、聚类、协同过滤、降维等,同时还包括底层的优化原语和高层的管道API。具体主要包含以下内容:

回归(Regression)

线性回归(Linear)

广义线性回归(Generalized Linear)

决策树(Decision Tree)

随机森林(Random Forest)

梯度提升树(Gradient-boosted Tree)

Survival

  • 宜家:智能家居有Tradfri快捷按钮 宜家:智能家居有Tradfri快捷按钮

    在这个智能家居大热的时代,谁不想自己的家就通过一个控制器或是语音就能完成我们预想的工作呢!目前,该快捷按钮的价格还没有公布,但随着宜家廉价的基于Zigbee的家庭智能生态系...

  • 华为智能家居双十一优惠提前看 华为智能家居双十一优惠提前看

    说到智能生活,智能家居是永远离不开的话题。如今,不少家居产品都能接入互联网、并能实现智能控制。11.1日,华为智能家居开门红当天,华为智能家居产品也将带来惊喜促销力度,...

  • 智能家居产品:樱花热水器 智能家居产品:樱花热水器

    (2020年以后)各大厂商已开始密集布局智能家居,尽管从产业来看,还没有特别成功、特别能代表整个行业的案例显现,这预示着行业发展仍处于探索阶段,但越来越多的厂商开始介入和...

  • 云米家电创新智能家居市场 云米家电创新智能家居市场

    智能家居最基本的目标是为人们提供一个舒适、安全、方便和高效的生活环境。对智能家居产品来说,最重要的是以实用为核心,摒弃掉那些华而不实,只能充作摆设的功能,产品以实...

  • 鸿雁赋能地产向智能家居转型 鸿雁赋能地产向智能家居转型

    市场明显看到了增长的势头,而且大的行业背景是房地产受到调控。智能家居的放量增长说明智能家居行业进入了一个拐点,由徘徊期进入了新一轮的融合演变期。接下来的三到五年,...

  • Aqara智能家居为地产赋能! Aqara智能家居为地产赋能!

    市场明显看到了增长的势头,而且大的行业背景是房地产受到调控。智能家居的放量增长说明智能家居行业进入了一个拐点,由徘徊期进入了新一轮的融合演变期。接下来的三到五年,...

  • 美菱构建AIoT新生态抢占智能家居先机 美菱构建AIoT新生态抢占智能家居先机

    据《IDC中国智能家居设备市场季度跟踪报告》显示,2019年上半年中国智能大家电市场出货量约为2838万台,同比增长22.8%。智能市场领域的发展潜力可谓是有目共睹,掀起一场全行业的商...

  • 智能家居万亿新风口中谁能脱颖而出? 智能家居万亿新风口中谁能脱颖而出?

    在物联网方向,消费科技作为最具潜力市场之一,IDC数据显示,今年全球物联网支出预计为7260亿美元,2020年将超过1万亿美元。其中,仅智能家居场景预计到2023年有望成为物联网最大支...

  • 宜家智能家居跳入IoT潮流 宜家智能家居跳入IoT潮流

    随着市场竞争的加剧,大部分中小企业会被迫退出这个市场 ,但他们已安装在各地的小区内的产品将无备品备件可供维修,受害者当然是业主或用户。这将是一种十分可怕的情景。由此...