Linux公社论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

查看: 49|回复: 0

Google Cloud在Cloud Dataproc中发布了SparkR作业类型的测试版

[复制链接]

373

主题

5

听众

986

积分

超级版主

Rank: 8Rank: 8

Rh08 发表于 2018-12-22 12:45:58 |显示全部楼层
谷歌在Cloud Dataproc上发布了一个测试版的SparkR作业,Cloud Dataproc是一种云服务,可以让你在本周早些时候以经济高效的方式运行Apache Spark和Apache Hadoop。

SparkR Jobs将在GCP上构建R支持。它是一个提供轻量级前端的软件包,可以使用来自R的Apache Spark。这个新软件包支持使用MLlib进行分布式机器学习。它可用于处理大型云存储数据集以及执行计算密集型工作。此外,这个新软件包还允许开发人员使用“类似dplyr的操作”,即一个功能强大的R-package,它可以对存储在云存储中的数据集上的行和列转换和汇总表格数据。

在构建数据分析工具和统计应用程序时,R编程语言非常有效。随着云计算风靡一时,甚至为使用R的开发人员开辟了更新的机会。

使用GCP的Cloud Dataproc Jobs API,可以更轻松地将SparkR作业提交到群集,而无需打开防火墙来访问基于Web的IDE或SSH到主节点。使用API​​,可以轻松自动化用户希望在其数据集上运行的可重复R统计信息。

此外,GCP for R还有助于避免限制理解数据的基础设施障碍。这包括选择由于计算或数据大小限制而需要采样的数据集。 GCP还允许您构建大型模型,以帮助分析以前需要在高性能计算基础架构上进行大量投资的大小数据集。

有关更多信息,请查看Google Cloud官方博客文章。https://cloud.google.com/blog/pr ... s-in-cloud-dataproc
您需要登录后才可以回帖 登录 | 注册

关注Linux公社官方微信,免费领取邀请码。

手机版|Linux公社(LinuxIDC.com)旗下网站【www.linuxidc.net】 ( 浙ICP备06018118号 )

GMT+8, 2019-1-16 16:36 , Processed in 1.047060 second(s), 8 queries , Wincache On.

Powered by Discuz! X 3.2

© 2010-2016 Comsenz Inc.

回顶部