十年前, 离子束 以及他在加州大学伯克利分校的同事们 计算机学院 确定了执行高级分析的障碍。当时的挑战是我们当时所说的大数据。由于Hadoop项目的支持,可以利用廉价的存储和计算,但这些工作往往需要数小时或数天。斯托伊卡和同事研究了一种利用记忆的解决方案,结果是 阿帕奇火花 项目。创建于加州大学伯克利分校 AMPLab,它已经成为大规模批量数据处理的事实上的标准,更不用说诞生了一家公司的技术了 目前价值280亿美元。
快进到现在,Stoica和他的同事们已经确定计算机是新的瓶颈,因为机器学习的普及使得工作量处理变得更加复杂。当然,它们仍然消耗大量的数据。
具有讽刺意味的是,这种脱节并不是因为缺乏资源。在生产中运行人工智能模型的所有要素现在都已经到位,如果运行得当,它可以相当划算。例如,云计算中的无服务器服务变得越来越流行,但它们通常被限制为服务由功能构建的简单应用程序,其中最大的需求是自动缩放。存储已经变得相当便宜,开发人员面临着丰富的处理器实例,从gpu到专用asic,这些实例可以与问题相匹配。有很多框架,比如 TensorFlow,帮助开发人员构建计算的编排。还有Kubernetes可以自动编排。
但是句号。今天,它需要端到端的服务来自动化ML模型的部署、Kubernetes的工作知识和/或处理自动缩放的复杂工具链。与基于函数构建的相对简单的应用程序不同,机器学习和深度学习通常涉及复杂的、多步骤的、迭代的程序,从计算的角度来看,这些程序会消耗经典的HPC(高性能计算)之类的资源 RISELab,解决方案是 雷,安 开源项目 托管在GitHub上。斯多伊卡,还有其他的实验室成员 罗伯特西哈拉 伯克利大学教授 迈克尔一世。乔丹 创建了这个项目,他们共同创建了这个公司, 任何规模,商业化。与 $6000万美元的资金,由一些支持Databricks的风险投资伙伴支持。简而言之,Ray将使开发人员和数据科学家能够为自己的ML模型和应用程序启动无服务器计算,而无需了解底层管道。今天,雷社区开始了第二次 雷峰 Ray提供了一个构建分布式应用程序的API。它使任何在膝上型电脑上工作的开发人员都能够在无服务器环境中部署模型,在这种环境中,部署和自动缩放是自动进行的。它提供了无服务器的体验,而不需要开发人员注册特定的云无服务器服务,也不需要知道如何设置和运行这样的基础设施
A 射线簇 由一个head节点和一组worker节点组成,这些节点可以在任何基础设施、本地或公共云中工作。它的功能包括一个自动缩放器,它可以内省挂起的任务,然后激活最少数量的节点来运行它们,并监视执行情况以增加更多节点或关闭它们。但是,由于开发人员需要注册以计算实例类型,因此需要一些程序集
Ray可以选择在云中启动和停止vm;雷医生 提供有关如何在每个主要云和Kubernetes中执行此操作的信息
如果有人觉得雷是个疯子,那是可以原谅的éjà 又是似曾相识。斯托伊卡在促进斯帕克的出现方面起到了重要作用,他也在雷身上扮演着类似的角色。两者都起源于加州大学伯克利分校,作为开源项目,它们都走社区路线。就像Spark吹嘘社区贡献的数十个开源库的组合一样, 同样的道理 和雷在一起。主要区别在于目标受众之一:Spark和Databricks的目标受众是数据科学家和数据工程师,而Ray的目标受众主要是寻找捷径让复杂的机器学习模型投入生产的开发人员。是的,它看起来很像卡夫卡,不是吗?但别上当。在光线簇上运行模型的输入或输出可能涉及一个卡夫卡流,但这两者之间的联系非常密切。
正如Spark是在Scala中开发的,并为此进行了初步优化一样,Ray是作为一级公民为Python及其库生态系统设计的,但它有一个API,可以从其他语言调用。但最初,一些语言和模型将比其他语言和模型更加平等。任何语言的库都可以通过Ray的API调用compute。尽管如此,库仍然可以通过专门的执行例程进行优化,以更有效地利用Ray的无服务器编排,并且 霍洛沃德 就像Databricks成立的初衷是为优化Spark提供商业平台即服务一样,Anyscale也将紧随其后。斯托伊卡继续担任Databricks的执行主席,他将在这家新成立的公司中重新扮演自己的角色。该公司已经从Databricks的支持者那里获得了4000万美元的资金。Anyscale的服务目前处于测试阶段
我们可以想象,Anyscale将添加一些功能,比如预填充流行节点类型的特性(例如amazonec2c6g)和一个更丰富的管理控制台,而不是使用开源社区版的基本仪表板。当比尔它的API是“通用的”,这意味着它可以从任何语言编写的程序中访问,如果该公司(像之前的Databricks一样)开发优化,不要感到惊讶。
时间尺度扩展并将目光投向分析
DataStax推出Astra流媒体服务的测试版
IBM的混合云launchpad在哪里?
Grafana 8.0通过注册与Prometheus alerting集成
,您同意使用条款,并承认隐私政策中概述的数据实践。
您还将获得免费订阅的ZDNet今日技术更新和ZDNet公告时事通讯。您可以随时取消订阅这些时事通讯。
您同意接收CBS系列公司的更新、提醒和促销活动,包括ZDNet的今日技术更新和ZDNet公告时事通讯。您可以随时取消订阅