Nefele是可以在分布式环境中有效部署 扩展和监视流程的系统
Nefele是可以在分布式环境中有效部署,扩展和监视流程的系统。
来自:沃尔夫冈·约翰[v1]2020年6月12日,星期五13:21:59 发布的论文。
无论是操作系统级别还是硬件级别的虚拟化,在云计算中都扮演着重要角色。它使分布式环境中的自动化更加容易,部署速度更快。
尽管虚拟化基础架构提供了一定程度的管理灵活性,但它们缺乏对分布式资源的实用抽象。在这样的环境中,开发人员仍然需要处理构建分布式软件系统的所有复杂问题。构建了不同的业务流程系统来提供该抽象。
但是,它们不能解决分布式系统固有的挑战,例如同步问题或故障恢复能力。
本文介绍了Nefele,它是一种分散的流程编排系统,可自动部署和管理集群中的各个流程,而不是容器/ VM。
Nefele的灵感来自于缓解远程执行的复杂性的单一系统映像(SSI)愿景,但它保持了虚拟化基础架构的灵活性和性能。
Nefele提供了一组用于构建云原生应用程序的API,使开发人员可以轻松地在云环境中构建,部署和扩展应用程序。我们已经在数据中心的集群上实现并部署了Nefele,并对其性能进行了评估。我们的评估表明,
Nefele可以在分布式环境中有效部署,扩展和监视流程,同时它整合了基本原语以构建分布式软件系统。Nefele提供了一组用于构建云原生应用程序的API,使开发人员可以轻松地在云环境中构建,部署和扩展应用程序。我们已经在数据中心的集群上实现并部署了Nefele,并对其性能进行了评估。我们的评估表明,Nefele可以在分布式环境中有效部署,扩展和监视流程,同时它整合了基本原语以构建分布式软件系统。Nefele提供了一组用于构建云原生应用程序的API,使开发人员可以轻松地在云环境中构建,部署和扩展应用程序。我们已经在数据中心的集群上实现并部署了Nefele,并对其性能进行了评估。我们的评估表明,Nefele可以在分布式环境中有效部署,扩展和监视流程,同时它整合了基本原语以构建分布式软件系统。
对于多节点系统,可以向开发人员隐藏分布式的复杂性,使应用程序更易于开发、调试和操作。
构建分布式软件系统一直以来都是复杂的。在分布式系统中,进程运行在不同的网络计算机上,通过在网络上传递消息来传递它们的操作,而不需要任何全局时钟的概念。在这种环境中,有许多挑战,如保持同步、一致性、确保可用性、故障恢复能力和可跟踪性。在此环境中发生的事件可能不会按预期顺序出现,必须处理系统的部分故障,节点可能不同意系统的当前状态。许多在单个节点上运行良好的解决方案不再适用。
单一系统映像(SSI)概念自20世纪80年代中期以来已被许多项目实现,提供这种幻觉或抽象的非现代化硬件视图是其目标。然而,这些项目都没有获得大规模的主流采用,主要是由于单节点结构的低性能和缺乏可扩展性。为了提供完整的UNIX接口,对这些结构的仿真具有基本的限制,这些限制通常归结为不同节点之间的同步需求。此外,许多在单个节点上运行良好的技术在分布式环境中运行不好。例如,在单个节点中,多个进程之间的内存共享是有效的,但在分布式环境中是无效的[2]。
x86平台虚拟化技术的发展催生了云计算,在云计算中,用户根据服务模型租用一组分布式计算资源来部署其应用程序。虽然云平台提供了对分布式资源的简单且可伸缩的访问,但它们本身并不能解决上述分布式软件系统固有的挑战。为了缓解这些问题,云提供商提供了广泛的服务和产品,这些服务和产品被设计成在分布式环境中运行,并提供通常需要的功能,如日志、数据库、锁定[1]、监视和存储。然而,云应用程序的开发人员仍然必须精心设计应用程序,以处理由于底层系统的分布式性质而产生的许多复杂问题。
此外,这些项目中的许多在内核级实现了SSI特性,例如,作为一组补丁。这使得它很难跟上开源内核的快速发展。最后,为了满足不同应用程序的需求,SSI服务通常实现了最严格的一致性版本,例如分布式文件系统,即使大多数应用程序实际上并不需要它。必须选择最低的公分母来构建通用系统会严重影响性能。最后,SSI工作的一个好处是,一个规模通常不是全部。
Erlang/OTP[3](开放电信平台)是构建分布式软件系统的成功途径。它是一种功能语言和运行时,用于构建分布式、容错和高可用系统。Erlang模型的核心是放置所有com-
多核机器有许多相同的问题。然而,在很大程度上,这个行业已经能够提供一个单一核心系统的假象,可以编程为一个单一的系统。
将计算放入强隔离的进程中,它们之间不共享数据,并且只通过异步消息传递进行交互。OTP通过一组支持库和设计原则扩展了基本的Erlang语言和运行时。
e、 例如,容器或vm,进程在其中运行。这些进程以主机到主机的方式相互通信,除非它们在同一执行环境中运行。执行环境中的进程可以使用操作系统(OS)服务,这些服务基本上不是默认分布的。为了简化开发分布式软件系统的任务,设计用于在分布式环境中操作的服务作为外部服务提供。通常,有多个这样的服务提供具有不同特征的相同功能,允许开发人员选择最适合任务的服务。
在本文中,我们扩展了在[4]中的工作,并介绍了一个能够在集群上执行和管理Linux进程的分布式进程编排系统Nefele。Nefele受到SSI减轻远程执行困难的愿景的启发,并采用了一些Erlang/OTP设计原则和机制来处理分布式软件系统。在Nefele中,除了虚拟化环境中的本地操作系统功能外,开发人员还配备了一组类似于SSI的功能和编程API。这些额外的功能通过为流程提供简单的编程接口来部署、执行、连接和监视其他流程,从而隐藏了分布式环境中流程部署和IPC的复杂性。然而,Nefele并没有试图隐藏应用程序在分布式环境中执行的事实,因此也没有限制开发人员在单个节点上使用当前可用(或有效)的功能。在Nefele中,进程是调度和执行的单元,也是消息传递的端点。与容器或虚拟机相比,工艺是一个增强单元,具有更高的灵活性和延展性。在Erlang中,应用程序内部的依赖关系和关系由应用程序本身定义,而不是使用外部部署图表和清单。
在图1c中描绘了SSI模型。在SSI模型中,流程调度器执行与容器编排引擎相似的角色,但是,它直接部署和管理流程,而不是执行环境。这些进程彼此直接通信,而不需要任何底层主机的概念。SSI操作系统本质上提供了开发分布式软件系统所需的功能,例如进程间通信(IPC)系统或一致的分布式文件系统。通常情况下,用户不能对这些功能做出任何选择,而且她必须遵守系统提供的功能。反过来,系统必须实现这些功能中最严格的形式,以支持最严格的应用程序要求,例如,通过使用强一致性的分布式文件系统,而不是最终一致的系统。Nefele的目标是一个混合模型,从每个模型中继承有用的方面。图1b显示了Nefele的设计,阴影背景突出了与其他模型的重叠。Nefele采用了SSI关于共享进程空间、IPC、进程放置和受限操作系统服务集的思想,并通过查看和与底层单节点操作系统交互以及利用虚拟化基础设施中当前可用工具的能力来增强它。因此,由Nefele管理的进程可以从节点的本地功能和分布式SSI服务中获益。
本文以SSI和Erlang/OTP为基础,提出了一种分散式流程编排系统Nefele。Nefele的目标是通过提供底层分布式资源的聚合视图以及动态运行时信息(例如,运行进程的聚合列表),简化构建云本地应用程序。使用Nefele,开发人员可以在集群上以编程方式部署和管理应用程序,部分抽象为单个节点。这是通过一个分布式控制平面实现的,该控制平面跨多个节点协调应用程序的进程并与之通信。Nefele执行分布式进程管理,允许开发人员在分布式环境中生成、列出、监视故障、发送信号和控制进程。
在Nefele中,不同过程之间的关系是用所选的编程语言定义的,而不是通过外部,例如YAML模板。程序化的关系定义方式使得定制它们背后的逻辑成为可能,例如,开发人员可以实现自定义逻辑来确定何时以及如何扩展。
我们的评估表明,Nefele可以有效地部署、扩展和管理分布式进程,根据任务大小和到达率,平均进程调度时间在10到20 ms之间。在一个由15个节点组成的集群中,Nefele每分钟能够处理30000个请求,平均调度时间低于50ms。
由于Nefele的控制平面是分散的,因此不存在单点故障,系统可以通过网络分区等故障保持运行。采用监督树的过程容错模型,故障检测和处理时间低至20ms。
目前,Nefele的alpha版本正在我们的数据中心作为服务运行,面向内部用户开放。我们的用户正在部署多层分布式应用程序,测试Nefele的开发和部署优势,并特别利用内置IPC和故障转移机制。我们正在扩展Nefele的更多功能,增加更多的内部和外部服务,进一步简化分布式应用程序的构建。我们也在更大、更具异质性的集群中测试该系统,以发现和解决瓶颈问题。基于用户反馈,我们计划进一步重新定义API并改进现有功能的性能,例如,在Placement agent中应用机器智能,并通过RDMA减少IPC延迟。
标签: Nefele可以在分布式环境部署
相关阅读
-
api-ms-win-core-bicltapi-l1-1-0.dll文件丢失如何修复?|热点在线
api-ms-win-core-bicltapi-l1-1-0 dll通常存储在Windows操作系统的系统
2023-06-08
精彩推荐
阅读排行
相关词
- 比亚迪推出10万元内新SUV车型 焦点热议
- 世界速看:公共 | 河北省石家庄市井陉县文旅局关爱未成年由“送文化”到“种文化”传承优秀文化
- 环球短讯!剑影寻光官网在哪下载 最新官方下载安装地址
- 河南省渑池县持续优化营商环境激发经营主体活力_今日快看
- 四川省市场监管局全力助推个体私营经济高质量发展 聚看点
- 旅游 | 河东文旅精品“引燃”美丽深圳 环球热文
- 国家金融监督管理总局:要真正实现金融监管“全覆盖 无例外”-焦点播报
- “第一生育大省”广东作部署:支持有条件地区发放育儿补贴 全球信息
- 坐竹筏被筏工索要红包?广西阳朔:景区公司暂停涉事人工作2个月
- 天天速读:两部门印发通知:举办全国和美乡村篮球大赛
- 向海图强!海洋经济“扬帆远航”_环球讯息
- csgo国服不能开箱子吗?csgo国服开箱子详细介绍
- wmvdspa.dll损坏修复方法
- 如何解决出现olepro32.dll加载错误的问题
- Win7运行Wegame蓝屏出现该怎么应对
- 天天要闻:实控人被列入失信被执行人名单,加加食品的股价持续下跌
- storport.sys蓝屏无限重启应该如何应对
- 潘功胜回应汇率波动:我国外汇市场将有条件保持较为平稳运行状态
- 德阳市旌阳区人大常委会调研区农村集体经济发展情况
- 新疆皮山机场新建工程选址报告获中国民航局批复 环球速看料
- 每日观点:政府当“红娘”,企业来“相亲” 这场产销对接会为四川纺织服装产业送福音
- 德阳市旌阳区双东镇“三强化”提升基层人才能力|世界快消息
- 浙江空管分局首次建设完成国产化导航台设备
- 顶烈日 战高温 什邡公安交警为高考保驾护航
- 世界微资讯!线上线下齐发力 全民共享“四川非遗购物节”
- 世界快讯:移动廊道亮相广州白云机场 为远机位乘机旅客撑“伞”
- 天天快看点丨海南海洋乐园大盘点~别收藏,我怕你玩不过来
- 山东机场:强化“四心宣讲”奏响“空港乐章”|每日动态
- 天津航空:为旅客提供安心的出行保障
- 【环球播资讯】南充蓬安:护航高考 交警同行
- 南充顺庆:爱心助考 “电”亮未来
- 环球热资讯!emulator64.dll丢失如何修复
- PEX启动蓝屏出现应该如何应对 世界简讯
- 践行“绿水青山就是金山银山”通过设立巡逻队来禁止渔民非法采集珊瑚 并吸纳渔民进入景区就业|环球微头条
- 2023年6月大学生村官考试公告汇总
- 环球快报:生存冒险游戏《血清》新预告 支持简体中文
- 天天最资讯丨应急管理部:今年以来生产安全事故起数和死亡人数持续下降 但重特大事故有所反弹
- 微动态丨威高骨科:脊柱、创伤、关节三大领域全部集采并落地执行
- 康泰医学:暂无脑机接口相关产品
- 士兰微:65亿定增获证监会批文 IDM龙头加速汽车芯片产品升级
- 李云泽:下好风险前瞻防控先手棋 以更加主动态度应对风险隐患-全球今亮点
- 全球热讯:中级经济师《金融》每日一练(2023.06.08)
- 腾讯《无畏契约》国服今日终测 20名英雄爽玩 天天报资讯
- 永远杀不完 任天堂发布《塞尔达》历代总BOSS加农集锦_焦点速读
- 世界新资讯:君禾股份:未来预期随着海外库存消耗及消费市场逐步复苏 水泵主业会呈现复苏反弹
- 2023山西太原市古交市招聘社区专职社工体检和考察公告_天天时快讯
- 易纲:坚决把绿色金融工作摆在突出位置,实现“3060”目标需要胡萝卜加大棒
- 2023年山东泰安肥城市城市社区专职工作者招录进入面试范围人员递补名单(第三批)_时讯
- 每日看点!隔夜SHIBOR报1.3390% 下降6.50个基点 7天SHIBOR报1.8500%
- 世界快播:华菱钢铁:目前废钢资源相对稀缺成本较高,长流程炼钢更具经济性
- 全球消息!易会满:进一步打通痛点堵点,为机构投资者入市创造更加有利环境
- 《神秘岛》开发商新作《苍穹乾坤》使用AI辅助开发 引众筹者不满
- 天天头条:五大行再次下调存款利率
- 客人去哪了?五一后各地餐饮生意直线下滑,突然就没人了
- 当前快看:理想汽车在青岛成立销售公司
- 潘功胜:中国稳健金融周期为经济和金融市场运行提供适宜环境
- 美国社交电商再起波澜:TikTok商城开张,Meta却要闭门做生|今日快看
- 世界快资讯:上海再保险“国际板”正式启动
- 特别好评RPG游戏《恐怖的世界》 完整版10月19日上线|环球精选
- 易会满:持续加大对伪私募、地方交易场所等重点领域风险的整治
- 十元店重回巅峰:新穷人与日本1990s
- 每日快报!教育股震荡走低 国新文化跌超8% 荣信文化跌逾7%
- 全球快讯:央行潘功胜:人民币债券具有良好的投资组合分散化价值
- 国产大飞机开启常态化商业运行:C919带动产业链一起飞 市场规模有望达万亿元量级
- U盘安装系统时蓝屏怎么解决 全球头条
- ROG蓝屏后该采取什么解决方法来重启 世界快报
- 中国地震局:国家地震烈度速报与预警工程已完成主体建设任务 焦点讯息
- win10启动就蓝屏是怎么回事 全球热点
- 环球头条:华硕笔记本acpi蓝屏该如何解决
- 世界最资讯丨打击违规销售作弊器材行为 海南省市场监管部门多措并举为高考中考保驾护航
- 每日热议!永劫无间蓝屏死机应该如何处理
- KMODE蓝屏出现应该如何处理 全球观热点
- 携程集团发布2023年第一季度财报
- 甘肃省华亭市东华镇市场监管所开展农村夏季食品安全专项检查_环球热资讯
- 深圳市市场监管局总部经济审批服务“全市通办”正式落地
- 解码开化(一) 文旅产业:从“高看一眼”“棋高一招”到“焕然一新”
- 第五届京津冀石墨烯大会在北京房山举办,加速三地产业链深度融合
- 高考期间海南天气如何?未来两天多云有雷阵雨 焦点速读
- 别被“蚊蝇通杀”迷了眼
- 啥是海洋?直播带你一起看 天天快看点
- 内罗毕:低碳和电动交通载具展 天天观速讯
- 环球播报:斯诺克新星赵心童为涉赌遭禁赛道歉
- 《沙石镇时光》:1.0版本发售日期公布!通过“塑造你的未来”预告片为前方的秘密和危险做好准备 世界独家
- 关注眼健康亟须全社会行动起来
- 哈利波特魔法觉醒怎么尊享眉色 尊享眉色方法攻略 环球速看
- 甘肃省华亭市市场监管局多举措保障中高考期间食品安全 环球新动态
- 第19届深圳文博会人气旺 每日快报
- 甘肃省嘉峪关市市场监管局镜铁分局全力保障高考期间食品和特种设备安全
- 河北沙河:太行古村落焕发新活力_天天快播
- 世界百事通!晋陕峡谷遇奇石
- “共建首都跨境电商新生态”系列活动在京启动 每日热门
- 环球看热讯:汉字工坊上班不带饭怎么过 找出9个公司吃的答案分享
- 甘肃省张掖市新墩市场监管所“三力齐发”加强中高考期间特种设备安全保障_环球热推荐
- 快消息!小心,这种眼疾易盯上上班族
- 眼药水怎样使用才正确
- 当前讯息:机器人:公司基本实现了35kg以下新款机器人减速器的国产化替代
- 华菱钢铁:钢材产品在新能源新材料领域需求前景将持续向好-天天通讯
- 今早发布!雷雨!_天天即时
- 全球快报:云顶之弈s9暗影岛格温阵容攻略 s9赛季暗影岛格温阵容搭配
- 江苏“智造”夯牢实体经济“家底”
- 加拿大野火烟尘飘至美国 部分地区被烟尘笼罩
- 【环球时快讯】文字玩出花无法原谅怎么过 无法原谅十二处细思极恐在哪
- 环球快播:百亿授信!民生银行与协鑫集团达成全面战略合作
- 前5月外贸保持稳定增长 制造业转型升级塑造出口新动能
- 简讯:江苏油田页岩油累产突破4万吨
- 让城市成为“开放的艺术馆”(金台随笔) 视点
- 易会满:适时出台资本市场进一步支持高水平自立自强的政策措施 全球报道
- 【全球聚看点】河南麦收进度过八成 夏播已完成近五成
- 今起,在锡启幕!
- 两大国际组织上调中国2023年经济增长预期
- 仲景食品:公司产品以国内销售为主 出口业务占比较小-每日速看
- 天天速递!U盘装系统进入PE蓝屏该采取什么解决方法
- 充满算计!日美澳在南太铺光缆,日媒炒“抗衡中国影响力” 焦点热门
- 重点聚焦!力箭一号火箭的专属发射工位长什么样?
- 袁明辉:拍摄下来记录下来用自然摄影留住那些美好
- 扫码支付已在国内迅速发展普及 刷掌支付是否还有市场前景
- “去风险”成脱钩新马甲
- 环球微资讯!360qpesv.sys导致蓝屏该采取什么解决方法
- 【新要闻】北海市海城区地角街道辖区率先完成第二季度食品安全“两个责任”包保工作
- 国家开发银行前5个月发放交通领域贷款2687亿元
- 当前视点!带火原料药企,马斯克加持的“减肥神药”又火了
- 什么是股份制企业?股份制企业和私营企业的区别有哪些?
- 怎么才能正确安装python39.dll
- 全球连线|对两国合作机遇充满期待——洪都拉斯各界热议中国驻洪使馆开馆
- 兰州新区召开第二季度落实食品安全“两个责任”推进会议
- 民泰银行绍兴分行创新产品助共富系列① | 动产融资业务,为民播下“共富”希望-世界实时
- 【世界快播报】我国外贸连续4个月保持正增长
- 偷渡罪一般判多少年?偷渡人员怎么正规回国?
- 吉利雷达以“真乘用化”撬动市场,5月销售1016台创历史新高 焦点资讯
- 故意伤害致人死亡如何处罚?故意伤害致死赔偿多少?
- “6·6”全国爱眼日公益讲座在京举办
- 上古诸神:卡牌对战官网在哪下载 最新官方下载安装地址 环球热推荐
- 天天头条:电脑中缺失alrsvc.dll文件应该怎么处理
- 赡养费标准是什么?不给赡养费最严重的后果有哪些?
- 只允许跟院方合作民营救护车辆进入?医院回应
- 涉案金额959万元!海口曝光9家定点医疗机构
- 世界快播:如何解决电脑端丢失rasmans.dll提示问题
- 微资讯!江西省新余市市场监管局:强化建材质量监管 守牢质量安全防线
- 【快播报】警惕“负首付”骗贷
- 财产税有哪些税种?所得税和财产税的区别有哪些?
- 高考第二天部分地区已公布查分时间 胜利在望,加油少年!|全球快看点
- 青海省海西州四项措施为“中高考”保驾护航_每日看点
- 嫖娼拘留多少天?初次涉黄拘留几天?
- 青海省市场监管局发布中高考期间食品安全消费提示 天天热门
- 浙江金华婺城区:天然富硒,“硒”望之旅
- mtfutils.dll缺失如何恢复
- 忘了车限号开了一天罚多少钱?郑州限行免罚有几次机会?
- 焦点快播:网红化妆大师官网在哪下载 最新官方下载安装地址
- 动态:量子密钥分发攻防研究获重要进展
- 什么是违法所得?违法所得和非法财物的区别有哪些?