基于区块链技术的分布式计算处理平台CONUN介绍
扫描二维码
随时随地手机看文章
CONUN是建设水平分布式桌面计算系统来处理多个项目(工作),通过分享个人电脑的闲置处理资源高性能计算资源的平台。该平台不仅包括个人电脑,还包括个人携带的智能手机的资源。 CONUN是一个人或组织(“供应商”)要在个人计算机通过Internet连接到一个对等网络(P2P)网络和共享的需要高性能计算能力的应用程序的计算资源所有者(“请求者”)从计算机租用一些计算能力并将其配置为运行该应用程序。此配置对于通常需要大量工作和较⻓处理时间的项目非常有用。 CONUN实现了一种从请求者的应用程序组织必要过程并在分布式计算资源上有效执行它们的方法。这种方法取代了昂贵的云计算服务,减少了计算时间,并使复杂的应用程序(如科学计算和机器学习更容易使用,成本更低)。 CONUN不必为使用现有的云计算付费,因为它通过收集和共享个人台式计算机的资源来构建高计算能力。另外,由于分布式计算架构,某些组织没有单独的控制权来垄断和管理资源。
我们计划使用基于以太网block chain的我们自己的token,为分布式桌面计算向参与平台运行平台生态系统的请求者,供应商和投资者提供价值。token用作处理平台生态系统分布式计算服务的支付媒介,请求者和供应商可以使用token来兑换计算机资源的使用。这意味着需要高性能计算能力的用户可以使用token来解决计算性能问题,连接到Internet的提供商可以直接从提供他们的计算资源中受益。因此,CONUN计算资源提供者和他们的计算能力每一个应用程序请求者和提供所有这些都需要参与一个可以自由使用水平的分布式计算能力共享平台,使所有参与者都方便的交易的加密货币(cryptocurrency )构建面向未来的计算能力共享生态系统。
技术
1. 基础、前景、目标
最近,这一数字正在逐步增加用于科学计算和人工智能,深度学习和高性能计算能力的应用处理在这样一个高水平的大数据的需求(高级别)我通过媒体了解。但是,满足这些需求的常⻅方式是利用云计算服务或构建和部署自己的高性能计算机基础架构。特别是,高性能计算机的基础设施复杂且成本高昂,需要专业人员来操作它们并为管理操作分离人力资源。另外,传统的云计算是一种封闭式网络,专有计费策略,以及无法在完全分布式基础架构中部署的预先计划的资源分配。为了解决这些问题,我们需要实现突破性的分布式计算资源共享架构,通过使用block chain技术实现计算资源管理并降低计算机基础架构成本。我们的系统将帮助您使用适当的计算资源自动检测和部署所有必要的计算资源,包括应用程序,数据和计算过程,并使用基于block chain的分布式应用程序(DApps)成本。分布式应用程序方法现在被⼴泛使用,可靠且足够灵活,可以减少实施block chain平台的时间和成本。
分布式计算是一种分布式处理模型,它利用连接到Internet的多台计算机的处理能力来解决巨大的计算问题。分布式计算可以利用多个计算机网络,每个计算机网络执行整个操作的一部分,以获得比使用一台计算机更快的计算结果。我们认为,要充分利用这些闲置的个人电脑的处理资源被证明,当ARPANET也被称为70年代初的先驱,互联网首次亮相,国际项目的各种应用,如生物,⽓象,人工智能,数学,密码学进步,我们是一个非营利性的项目,比如SETI @Home的,distributed.net和BOINC(伯克利网络计算开放架构),Folding @ Home进行非盈利资金会项目。
此外,分布式计算处理的模型使用个人计算机的发展,是指在桌面网格计算技术,覆盖现有的高性能工作站计算机作为构建基础设施共享的计算资源为基本架构的个人桌面计算机的解决方案。网格计算是一种分布式分布式架构,它通过结合许多计算机的计算能力来构建虚拟超级计算机,以解决高计算和高容量处理等复杂问题。
在网格计算模型中,服务器或个人计算机运行独立任务并连接到Internet或网络。在分布式计算中,同一网络中的不同系统共享一个或多个资源。网格计算的优势在于它提供对资源的透明访问,以提高用户生产力,从而可以更快地完成任务,网格随着时间的推移逐渐缩小,以将许多处理器整合到一个集群中。提供可扩展性和灵活性,以便在最需要的地方提供计算能力。我们引用Desktop Grid开源平台(XtremWeb),它可以将网格计算技术应用于台式计算机。
开源平台旨在帮助你建立你自己的网格,台式电脑,大学,企业或自愿的,基于互联网的资源PC上,XtremWeb开发是基于桌面网格,全球计算和对等网络分布式系统用于科学计算和高级应用程序处理。与其他大型分布式系统一样,该平台使用连接到Internet的远程资源(PC,工作站和服务器),并使用内部网络池(资源,让参与者通过提供闲置的计算资源进行协作。
我们将研究在网格计算/分布式计算中使用移动设备(如智能手机和平板电脑)的可能性,并且我们将配置如何将上述技术应用于移动设备。最新智能手机的性能正在快速稳步增⻓,而且它们始终处于开启状态的事实将成为智能手机成为分布式计算平台的主要原因。
一般来说,要在异构移动平台和各种网络拓扑中运行分布式应用程序,它必须足够抽象以从底层平台获取。部署工作将是实现特定于平台的算法效率,并为每个平台创建不同的版本,以便可以使用抽象的虚拟机在跨平台技术(如Java)中执行它们。为了有效的利用跨多个移动设备分发任务,并以此作为我们计算节点的基于Java的开源高性能分布式计算平台,并且已经被开发出来,如弗吉尼亚OGSI.NET大学使用荷兰阿姆斯特丹大学的架构和技术架构并参考BOINC和Folding @ Home移动平台。
CONUN允许请求者加入平台的计算机上运行应用程序。连接到互联网的工作人员只需创建一个可以在下载并安装可执行程序并注册帐户后自动参与项目的环境。该程序仅在您的计算机上使用空闲区域,因此您可以对其进行调整以对实际的计算机使用率产生最小的影响。 CONUN将支持可为多个平台参与者提供更多价值的设备,以更低的成本处理block chain计算资源。为此将被设计成使得适当的补偿通过透明的质量管理实现根据不同的提供者和请求者的贡献,以确保提供者是透明关于可靠性提供商提供服务和高品质的服务。
2. 架构
我们将设计一个控制个人计算机组件的计算节点。如CPU,GPU,内存和存储设备,并配置每个节点以模块化其应用程序处理。每个节点都在虚拟机环境中运行,并根据Docker的容器操作方法实施,以便它可以与计算机的操作系统分开运行。存储应用程序数据的存储设备(磁盘驱动器)将参考分布式数据存储解决方案(如IPFS,Storj和Sia)来实施。每个节点的计算机都可以通过远程下载和存储用于服务操作的应用程序和数据来运行。
CONUN将每个节点的计算机配置为在水平分布式网络上运行。这意味着没有对节点集合的集中控制,正如block chain的概念所暗示的,每个节点都将自主访问服务并配置平台生态系统,同时控制其自身的过程控制。
CONUN实现了一个单独的资源调度算法,可以管理多个资源,以便在多个计算机节点上可靠且高效地处理应用程序。这基本上是一个复杂的程序模型,可以处理数据的安全性,管理和恢复。
《 平台架构 》
•网格计算核心
使用个人计算机资源处理计算任务的分布式计算核心功能
•虚拟机(Docker Container
独立的自包含应用程序,可在每个计算节点上部署和自动运行应用程序,而不受个别操作系统的干扰 虚拟处理系统
•混合对等网络
不区分计算机的类型,充当网络上的所有计算机客户端和服务器
•以太坊智能合同
透明而安全地交易,合约并付款而不需中介服务的系统
1. Fabric Layer
✓ 为特定站点上的本地资源提供接口。
✓ 可在虚拟组织内共享资源。
✓ 为实际资源管理提供功能,以及查询资源状态的功能。 存储系统,集群,网络,网络缓存等。
2. ConnecTIvity Layer (连接阶层)
✓ 包含一个通信协议,以支持跨越多种资源使用范围的电网交易。 包含用于认证用户和资源的安全协议。通信,服务发现(DNS),身份验证,授权,佣金。
3. Resource Layer (资源阶层)
✓ 管理单个资源。 使用连接层提供的功能,并直接调用结构层中可用的接口。 由于它负责访问控制,因此它依赖于作为连接层一部分执行的身份验证。 数据访问,计算机访问,网络性能数据访问。
4. CollecTIve Layer(集群阶层)
✓ 处理对多个资源的访问。 资源发现,多资源任务分配和调度以及数据复制。 它可以针对各种用途和各种协议进行配置,以反映可以提供给虚拟组织的各种服务。
✓ (App)一致性控制,复制选择,作业管理,虚拟数据目录,虚拟数据代码目录。 (Generic)复制目录,复制管理,共同分配,证书颁发机构,元数据目录。
5. ApplicaTIon Layer
✓ 由在虚拟组织内运行并使用网格计算环境的应用程序组成。 (DisciplineSpecific Data GridApplicaTIon)
3. block chain 技术的利用
Block chain基于密码算法设计,例如基于P2P的水平网络上的现有公钥和私钥以及分布式账本技术,确保书籍的完整性。 CONUN通过使用block chain技术来实现,以记录与计算能力请求者的应用程序处理相关的所有元数据并通过它来管理工作事务。这提供了一个一致和可靠的环境,因为没有任何贡献者可以任意操纵他们的工作。另外,CONUN在以太网block chain的基础上开发自己的token,为用户和投资者提供分布式计算的价值,为平台参与者提供交换请求和处理服务的服务的媒介。供应商和请求者将使用它来补偿计算资源的使用。
4. 应用事例
我们了解分布式计算系统的优点和需求。 不是将用户所需的资源从一台计算机处理到另一台计算机,能够更快,更高效地处理这些分布式计算机非常重要。 这使得可以使用具有高计算速度,易于系统扩展性,高可用性和可靠性的环境,并且最重要的是具有良好的性价比优势。
1. 科学计算用项目
CONUN可用于执行需要复杂和快速计算性能的科学计算任务。 一般来说,科学计算主要用于理解使用计算机的数学模型并理解研究对象并得出结果。 例如,物理学,生物学和化学信息学等学术研究领域,或诸如药物开发,社会统计学,⽓候预测和密码分析等社会研究目的,所有这些都需要大规模计算功能。
2. 深度学习模型开发项目
近年来,深度学习中的人工智能和机器学习最活跃,也是发展最迅速的领域之一。 我们已经看到需要一个大规模的计算基础设施来开发和实施深度学习模式,就像我们在AlphaGo中看到的一样。 CONUN使用这种分布式计算能力来实现能够学习深度运行算法(如卷积神经网络(CNN)递归神经网络(RNN)和强化学习)的多进程环境, 用于快速创建模型。 我们还在考虑开发一种解决方案(API),以在我们的分布式计算环境中启用Tensorflow,Theano和Caffe(目前正在积极使用深度运行的框架)。
3. 大数据分析项目
大数据是一种从数据中提取价值的技术,包括大量的结构化或非结构化数据集,超越现有数据库管理工具的功能,并分析和预测结果。 大数据已经突出了好⼏年,因为它有可能提供包括政治,社会,经济,文化和科学技术在内的所有领域的信息。
这需要一个计算基础架构,可以快速计算和处理大量数据,例如深度学习。 大多数大数据分析技术和方法是在现有的统计和计算机科学中使用的数据挖掘,机器学习,自然语言处理,模式识别等,以及深度学习情况下计算和处理大量数据的计算基础。 是必需的。 尤其是由于社交媒体等非结构化数据的增加,文本挖掘,⻔户挖掘,社交网络分析,聚类分析等技术在分析技术中得到了⼴泛的应用,而分布式数据处理解决方案如Hadoop NoSQL技术被用来使其更加灵活和快速。
4. 计算机图像处理项目
在计算机图像领域,计算机生成图像(CGI)是电影,电视节目,⼴告,模拟器,模拟和三维计算机图形。 计算机上使用的CGI软件不断发展并变得更易于使用,使得中型企业和没有专业人员的个人可以制作出专业品质的计算机图形内容。 然而,这也是一个限制,即需要配备高性能GPU的计算机性能。 CONUN配置为在分布式计算环境中进行计算机图形处理,以便用户可以快速且便宜地运行项目。
5. 生命科学研究先发个慕
用于改进现有疗法和开发治疗疾病的新疗法的生物学研究是利用分布式计算的领域之一。 GPUGRID.net是一个非营利性的分布式计算项目,通过原子生物分子模拟进行生物医学研究,它是一个由大量图形卡(GPU)组成的超级计算机级计算(GPU)系统, 我们正在做一些需要力量的棘手任务。 这些研究已经成为高校研究机构和生物工业的必要研究领域,分布式计算环境将成为必不可少的计算基础设施。
Block chain token
CONUN使用基于以太网block chain的自己的token,为用户和投资者提供分布式计算的价值。 该token可作为平台参与者请求和交换处理服务的媒介。 提供者和请求者使用token来补偿应用程序和计算机资源的使用。 在实施应用程序注册表和事务框架之后,token还需要处理其他进程。
正如应用实例中提到的,⼏乎所有需要高容量/高性能计算能力的应用,如科学计算,深度学习和大数据分析,都可以使用CONUN平台来处理他们的项目。 任何连接到互联网的人或组织都可以使用他们的CONUNtoken来解决他们自己的计算能力问题,所有提供他们计算资源的互联网用户都可以直接或间接地获得收益。
CONUNtoken是基于以Block chain发布的token。 token的设计遵循许多地方已经采用的token执行标准,并且使用以太网智能合约功能来创建CONUNtoken。 希望参加CONUN平台的申请人可以在预售或众筹期间购买和保留代币。 我们将继续进行token预售,并首先向参与者提供代币。 通过售前服务提供的token在ICO之后安全地转换为CONUN默认token。
开发路线
我们计划制定一个循序渐进的战略,以构建一个水平分布的桌面计算系统平台。 CONUN将是一个非常复杂的项目,因为我们需要参照当前开发的开源解决方案开发新配置的体系结构。
我们将在每个开发阶段添加和分配新配置的功能,并且将首先测试网络服务以测试项目。 最初的工作是独立于ICO完成的,并且可能会更快,这取决于将来ICO的水平。
■ Phase 1: Platform Development (Late 2018)
CONUN开发初期以平台基础的技术研发为主。 同时,我们开发CONUN的block chain核心和token,Ethereum智能合约以进行token存储和交易管理。
A. 平台的基础定义工作,及建立每个步骤的框架和计划(Base platform definition)
B. 实施智能合约核心,管理基于etherium的block chain链代币和交易的核心部分。
C. 实现用户电子钱包的核心算法。 (Wallet core & Mining Algorithm)
D. 实现应用程序的虚拟机系统以在个人计算机上工作。 (Virtual Machine base on Docker container)
E. 在应用程序的用户界面工作。 (Application UI/UX)
■ Phase 2: Alpha Version Deployment (Early 2019)
这一步实现了可以成为CONUN平台核心的桌面网格系统。 开发一个初始平台来实现部署版本的用户应用程序,并通过测试网络运行服务。
A. 设计并实现桌面网格系统的核心。 (Desktop Grid Platform)
B. 点对点网络架构是桌面网格系统的基础。它的设计就像桌面网格系统。(P2P NetworkArchitecture)
C. File transportation & Distributed data storage management : 设计和实现一个传输和管理应用程序数据的分布式数据存储核心。
D. 在1阶段中实现的智能合约应用程序实现了添加到分布式计算处理环境的附加扩展。(EthereumSmart Contract – Phase 2)
E. CONUN实施应用使用和信息安全相关任务的认证方案。(Authentication & Security)
F. 实现用户应用程序需要定义的在平台上使用应用程序(CONUN Task API)
■ Phase 3: Market version Deployment (Mid 2020)
在这一步中,配置一个CONUN平台实际可以运行的实时网络环境,并实施一个可以利用token处理分布式计算请求的部署版本。 现场网络适用于行业中的每个人,包括个人和研究机构和企业。 根据实际应用于平台的项目分类,此步骤可以细分为⼏个详细步骤。 这是为了避免在多个大型应用程序项目同时运行时可能出现的许多⻛险。
A. 按类别划分的应用类别管理(逐步),也许开始将在科学计算和深度学习领域。 (应用程序类别管理)
B. 通过加强CONUN的认证和信息安全水平,并通过实施一个系统来管理社区活动,以根据用户参与程度来管理平台是否有效运作。(Security & Reputation Management)
C. 构建一个管理系统,可以监控COUNU的用户活动和作业处理状态。 (Resource Monitoring)
D. CONUN支持可以创建和运行社区的网络服务。 (Community Network)
■ Phase 4: Mobile Cluster (2022)
通过开发支持分布式计算在移动设备上工作的移动网格系统体系结构和框架,它们也形成了与现有桌面网格平台集成的单一网络。
A. 开发与多个移动设备一起工作并将其用作计算节点的体系结构和框架。
B. 构建移动应用程序并开发用户界面。
C. 将桌面网格系统与移动网格系统通话。
D. 现在开始构建可以利用个人用户桌面和移动设备的计算资源的环境。