深谈Web3.0与分布式存储结合的未来,FileCoin仍或有不少缺陷

      最后更新:2020-06-16 10:09:36 手机定位技术交流文章

      这篇文章是由李舒美·弗兰克写的,作者打算以发行合伙人的身份为《节奏布鲁斯》撰稿。李硕是ParallelVC的投资副总裁,为Node Capital工作。

      本文分为六个阶段:

      每个人都在谈论的网络3.0到底是什么?

      分布式存储的发展过程及其在网络3.0中的作用传统云存储的现状分散存储的发展文件硬币项目介绍文件硬币分析和未来发展预测1。大家都在谈论的web3.0是什么?

      互联网的发展现在已经经历了两个阶段:网络1.0和网络2.0。网络1.0阶段的大多数网站都是静态网站。网络用户和网络信息之间没有交互过程。用户只能获得网络上显示的信息。信息获取的有效性和效率相对较低。

      随着网络速度和带宽的增加,人们和互联网逐渐开始互动。2003年,欧莱利媒体副总裁戴尔·多尔蒂提出了网络2.0的概念。网络2.0被称为读写网络。在web2.0的早期,与web1.0相比,所有网络用户都可以创建自己的内容并上传到网络,而不是只从网络上获取信息,这大大增加了网络信息的丰富性。近年来,随着人工智能、大数据等技术的进一步发展,人机交互已经提升到一个新的阶段。由用户在互联网上产生的在线行为数据,例如浏览信息、点击和搜索被捕获和记录。技术背景可以通过结合用户的实时数据和他们过去的信息来分析更准确的用户肖像,并根据用户肖像为用户推荐相应的产品或信息。这样,不仅提高了商家的购买转换效率,而且用户可以更快地找到他们想要购买的商品,用户体验变得更好。

      然而,信息集中化在方便的同时也有一个很大的缺点,即用户的所有数据都被平台手机使用而没有任何感知,甚至数据的所有权也是模糊的。

      在web1.0和web2.0的早期,由于用户数据量很小,数据维度也相对较小,用户的个人数据无法产生太多价值。然而,随着近年来网络使用量的增加,个人信息在网络上的价值不容忽视。在过去两年中,互联网公司侵犯个人隐私数据和用户数据被盗的案件时有发生。未来,随着人工智能物联网和5G网络的发展,个人网络数据的维度将更加全面和有价值,使得数据安全和数据隐私更加重要。

      网络3.0的出现是为了解决网络2.0目前面临的问题。然而,区块链网络具有不可信、不篡改和权利确认的功能和属性,很好地满足了作为网络3.0底层技术的要求。同时,由于网络架构的变化,数据不再是简单的数字,而是一种具有价值属性的商品,这也使得我们现有的数据网络逐渐转变为价值网络。

      二。网络3.0需要集中存储

      如上所述,如果您想要构建一个分散的网络来确保数据安全和隐私,那么您需要确保数据只能由它的所有者(数据生产者)控制,这包括获得或授权他人使用它的权利。遗憾的是,目前,互联网中的存储方案是集中式存储。主要的存储提供商是亚马逊、阿里云、谷歌云和其他中央组织。与此同时,用户在互联网上生成的个人数据现在被各种平台和应用程序占用。即使个人数据的所有权将来可以归还给用户自己,用户也不能保证他们的数据不会被应用程序平台甚至存储提供商在集中存储的情况下使用或修改。

      此外,5G和AIoT尖端技术正在迅速发展。未来,网络中个人数据的规模将进一步扩大,数据的价值也将迅速增加。只有使用分散存储才能进一步确保数据安全和隐私。

      如果没有非集中化存储技术作为非集中化网络的底层技术支持,即使实现了非集中化信息传输和非集中化计算,也无法真正保证非集中化数据。因此,分散存储将是未来web3.0生态的一个重要技术组成部分。

      三。传统云存储的现状

      目前,传统云存储领域可分为公共云、私有云和混合云。公共云是目前最常见的云服务形式。公共云由技术提供商拥有和管理,并为多个客户服务。同时,公共云可以分为SaaS、部分授权和内部授权。

      SaaS是“软件即服务”的缩写。这种服务将应用程序作为服务提供给用户。主要客户是个人家庭用户和中小型企业用户。中国的主要服务提供商是百度网盘和腾讯魏云,而国外的主要服务提供商是Dropbox和iCloud。

      PaaS是“平台即服务”的缩写。这种服务是将开发平台作为一种服务提供给用户,主要面向中小型企业和个人开发者。中国领先的PaaS平台拥有百度云,而Openshift平台主要是为谷歌应用引擎和红帽开发的。

      IaaS是“基础设施即服务”的缩写,它主要将虚拟机和云存储等云计算资源作为服务网络提供给用户。国内领先企业包括阿里云和华为云,而亚马逊EC2主要在国外提供此类服务。

      与公共云不同,私有云和混合云为大型企业用户提供更多服务。私有云由企业或组织使用和维护,用户对个性化等有更多的控制权。混合云是一种混合和匹配公共云和私有云以实现相对较高性价比的解决方案。

      首先,我们可以分析一下国内个人用户对云存储的使用情况:根据奥罗拉2019年的MAU份额数据,排名前四的是百度网盘、腾讯魏云、蔡赟和天一云盘。

      其中,百度网盘活跃用户的比例达到了82.9%。继续观察用户对百度网盘的兴趣和爱好TGI,我们可以得出结论,用户存储的数据主要与电影、动画和体育有关。

      在公司层面,数据显示39%的企业目前正在使用云存储相关服务(如AWS、Azure、谷歌云等)。),根据预测,到2022年,约60%的企业将使用云存储相关服务。在美国三大云存储公司中,微软Azure的市场份额为44%,AWS的市场份额约为32%,而谷歌云的市场份额仅为19%。Azure还被《2019年公共云报告》评为最具竞争力的云服务提供商。同时,根据调查,79%的企业主在他们的企业中主要使用视窗系统。微软的Azure云存储服务有更好的产品体验。

      当前的云存储服务架构相对成熟。用户可以根据需要选择使用公共云、私有云或混合云服务。在公共云服务中,用户可以根据数据调用的频率选择不同的存储方法,这样可以在不影响使用的情况下最大限度地节约成本。

      与云存储相比,近81%的企业仍然使用传统的存储矩阵,即硬件存储。目前,戴尔EMC的市场份额高达42%。调查显示,80%的企业选择传统存储矩阵是因为其可靠性更高,同时也认为与云存储相比,传统硬件存储具有更高的保密性和安全性。

      在技术层面,传统云存储经历了三个迭代阶段。第一阶段是存储体系结构方案,底层是网络连接存储和存储区域网络。这种架构初步形成了云存储方案,但在服务器地理位置高的情况下,很难同时灵活调用不同的存储集群,因此在容量和性能的扩展上存在很大的瓶颈。

      第二阶段的开始标志着EMC VPLEX体系结构的出现。VPLEX在原有存储架构的基础上实现了虚拟存储和异构存储的功能,解放了存储硬件的地理位置限制,解决了集群间的操作问题。通过智能分布式缓存的集成,实现了主机、集群和数据中心之间的访问和数据共享,大大提高了云存储的容量和可扩展性。它提供的服务类似于IAAS目前提供的服务。

      第三阶段是云存储目前所处的阶段。当前的云存储基础架构是一个类似云的结构,多个存储设备相互连接。硬件设备根据不同需求智能切换。同时,在原有的基础上,多副本的一致性、容灾性和灵活扩展性都得到了很大的提高。当前的云存储SaaS和PaaS平台可以为用户提供简单易用的存储服务。

      四.分散存储的发展

      在当前的云存储基础架构中,分布式架构因其高性能、一致的多分发和支持分层存储的优势而成为标准。去集中化存储实际上可以归类为分布式存储。

      与其他分布式存储方案相比,分散存储架构中的数据中心将不会完全归云提供商所有,而是由网络中的多个节点共同提供,数据将以加密方式存储。这样,可以更好地解决数据的隐私性和安全性,甚至数据中心或存储硬件提供商也不能获得保存的数据。

      目前,分散存储中最具代表性的项目是IPFS和菲力肯。IPFS被称为“星际文件系统”,中文名字是“星际文件系统”。IPFS是一个底层网络传输协议,相当于当前互联网世界中的超文本传输协议。HTTP是一种相对简单请求-响应协议,用于用户和服务器之间的交互。

      IPFS的功能与HTTP相似,但增加了p2p网络的架构特征。与HTTP相比,IPFS效率更高。HTTP是单线程通信,一次只能在一台服务器上执行一项任务。IPFS使用p2p进行多线程下载,可以节省50%以上的带宽成本。同时,由于当前互联网服务器的集中性,网络中的信息完全可以控制,难以保存。但是,如果使用非集中式协议(如IPFS协议),只要该信息为网络中的任何用户所拥有,整个网络都可以获得该信息。

      在分散存储生态系统中,IPFS主要承担底层技术协议的角色,其他具体的业务方方案将由第2层项目实施。目前,最有可能基于IPFS协议的第一次着陆是由IPFS团队开发的激励层文件硬币。该项目已经启动了测试网络,并将于今年启动主网络。

      除了IPFS之外,还有许多项目试图分散,但目前没有实际进展,所以我们不多介绍。

      V.理解文件硬币

      Filecoin是一个基于IPFS协议的分散存储项目。通过该协议,在用户和存储服务提供商之间建立了一座桥梁,为用户提供分散的存储服务。

      文件硬币网络的参与者可以分为三个部分:存储挖掘者、检索挖掘者和用户。存储矿工为分散的存储网络提供存储空间,并抵押网络中的一些令牌来防止矿工作恶。存储挖掘者需要向网络证明他们已经在一定时间内存储了用户的目标数据。如果他们不能,他们将扣除一定比例的承诺令牌作为惩罚。

      搜索挖掘者主要负责为网络中的用户提供数据搜索服务。当用户发起需求时,搜索挖掘者需要在网络中找到相应的信息并将其发送给用户。同时,该网络不需要矿工的参与。矿工既可以是储存矿工,也可以是回收矿工,并且只能参与其中之一。

      用户在使用文件硬币时也有更大的灵活性。一方面,用户可以使用文件硬币网络作为网络磁盘。用户只需要指出他们想要存储的数据和报价,系统将匹配用户和矿工的报价。当价格统一后,系统会将用户数据发送给存储矿工。

      存储挖掘器根据数据的大小将数据放入不同的扇区(存储单元),然后封装和切片扇区。同时,事务信息将存储在网络中的哈希表中。随着命令的继续,节点将不断询问挖掘者,并检查挖掘者是否保存了该文件。这就完成了整个存储过程。

      在数据隐私方面,用户可以选择他们存储的数据是仅支持个人查看,还是在创建存储订阅时向整个网络公开。如果向整个网络公开,那么网络中的所有人都可以通过搜索矿工来查询这些数据。用户将数据存储在几个不同的节点中。

      就一致性算法而言,文件硬币使用三种不同的一致性算法:预期一致性、复制证明和时空证明。

      预期一致性是一种在文件硬币中用于指定块规则的一致性算法。这是一种基于概率的拜占庭容错算法。根据预期共识,当生成每个新块时,将选出一个领导者来创建该块。与BTC矿业相似,被选中的概率与计算力与整个网络的计算力之比成正比,但在Filecoin网络中,计算是基于矿工提供的有效存储量空而不是BTC网络中的计算能力。在生成网络的每个块之前,矿工将根据前一个块证明的票值通过VRF和VDF的线性过程生成新票,然后通过比较新票的值和有效计算力与整个网络的总力的比率来确认他们是否有资格获得该块。如果新票证小于其有效计算力/净计算力,则矿工被选为块状矿工。

      与BTC网络不同的是,菲力肯的选举方法可能会导致没有人出一个街区或者几个人作为领导者一起出一个街区的情况。当没有人从块中出来时,网络中的高度显示为空块。因为也有可能不止一个人可以同时产生块,所以文件硬币团队设计了一组块。像BTC网络一样,由于网络延迟,两个tipset可能同时存在。然而,最终的网络将根据权重选择一个唯一的tipset,并开发一个向下的链机制。每个区块的重量计算公式如下:

      重量=父母重量+ ECV + ECPrM *比率

      目前,ECV设置为10,ECPrM设置为100,Ratio是当前节点的存储效率(节点的存储容量/所有节点的存储容量)。换句话说,在当前算法下,节点的比率高,权重高。当重量相同时,将选择具有小票值的tipset。因为这种技术设计也使得filecoin的底层架构更偏向于DAG结构。

      复制一致性证明算法用于证明矿工确实完成了指定的工作。在文件硬币网络中,矿工的主要工作是存储用户数据。矿工们需要将用户的数据封存在某个部门。在密封过程中,系统将生成一个DRG(深度稳健图),也称为复制值。只有与生成的副本值空对应的存储才能被视为有效存储空。

      空间证明共识最终负责验证步骤。在生成每个新块时,网络将随机挑战矿工。矿工需要提供副本值进行验证,这将通过零知识证明进行验证。如果结果是正确的,那么挖掘者通常存储封装的数据,并且他们的有效存储份额保持不变。如果其中一个副本值无法正确验证,对应于此副本值空的存储将从有效存储空中删除。

      档案硬币的发展前景如何?

      目前的Filecoin技术方案与传统成熟的云存储方案相比还有很大差距。以下是对当前文件硬币问题的简单分析。

      1.信息安全

      与传统的集中式存储相比,分散式存储的最大优势在于它能更好地保护数据安全的隐私。然而,文件硬币的当前设计使人们对数据的安全性和隐私性提出了质疑。

      具体来说,看看用户的存储过程:成功匹配订单后,用户将直接将原始数据发送给挖掘者,此时用户的数据不会被加密或分段。挖掘者可以直接访问完整的用户数据,而不会被网络或用户检测到。根据该技术方案,文件硬币中用户个人数据的隐私安全将受到极大威胁,其安全性和隐私性甚至比传统的云存储方案更弱。与此同时,在存储过程的早期,存在导致直接数据泄露的漏洞,因此在后续过程中保证数据隐私的加密、分段等方法也变得毫无意义。

      另一方面,由于用户的所有数据都存储在矿工的硬盘中,如果矿工由于某种原因放弃继续挖掘,用户的数据将从网络中完全丢失,并且在矿工被推出之前,网络中没有为用户设置检索其数据的相关机制。这种不可预测的事件也大大降低了文件硬币网络中数据的安全性和可靠性。

      同时,根据本项目在AMA提到的信息,文件硬币只是一个协调存储提供商和用户需求的协议,不能要求存储提供商进行特定的操作。尽管这降低了去集中化的风险和用户数据平台操作的发生,但也降低了存储提供商的邪恶成本。即使存储应用方要求存储提供商删除或销毁所存储的数据,存储提供商也可以欺骗用户私下复制用户数据,或者甚至强制不执行用户要求。目前,传统云存储的技术设备或服务提供商都是大公司。问题发生后,可以立即确定责任方并解决问题。然而,分散网络中的矿工(如Filecoin)相对分散且不为人知,这也给问题发生后的后续解决造成了很大障碍,使得其综合安全性比集中式存储更弱。

      2.用户体验问题

      根据白皮书中的总体描述,文件硬币用户的体验应该很差。首先,除了最简单的存储功能之外,Filecoin项目不为用户提供任何额外的技术服务,如灾难恢复解决方案。用户只能通过在几个不同的节点中存储他们自己的文件来解决由于存储单元丢失或损坏而导致的数据不可访问甚至数据丢失的问题。对于不了解技术和容灾能力的用户来说,这可能会导致用户数据的永久丢失。

      此外,由于上述信息安全问题,如果用户想要进一步确保其数据的安全,他们需要在存储文件之前对其进行加密。这样,对用户的操作要求更高,使得用户体验更差。

      3.不完全存储技术方案

      目前,Filecoin的技术方案还不完善,这是影响用户使用存储网络的一个重要原因,如上述容灾问题。根据Filecoin当前的设计方案,用户每次存储的数据将由一个矿工独立存储,而其他矿工不会主动存储该文件的备份。这样,对灾难恢复技术的要求就比传统云存储更高,因为传统云存储主要是由于设备本身的技术原因。然而,Filecoin需要防止存储矿工由于各种主要原因而停止提供服务,同时防止设备本身发生故障。导致这种情况的因素将远远超过那些导致简单技术故障的因素,解决方案也将更加复杂。

      目前,Filecoin通过允许用户将数据存储在多个挖掘器中进行主动备份,解决了容灾问题。然而,在网络的早期阶段,由于矿工自身的不稳定性,不能排除多个备份数据的丢失,甚至所有备份数据的丢失,这将对用户和网络的运行造成很大的打击。

      同时,简单的主动备份无法解决存储网络中的冗余问题。在传统存储中,由于存储是集中式的,系统可以在后台分析、处理和优化所有数据,以消除重复数据,提高存储网络效率。虽然用户存储的非公共数据由于其分散性而无法以这种方式处理,但如何结合IPFS网络的特点对用户存储的公共可用数据进行数据存储结构的优化是团队需要认真研究的方向。

      上述三个问题在不同程度上制约了Filecoin的未来发展。从文章开头对传统存储市场的分析可以看出,目前的存储市场基本上分为两类:第一类主要针对个人和小企业用户,主要以SaaS平台的技术形式存在。经过多年的发展,SaaS平台的用户体验和产品多样性已经相对成熟。同时,它在文件传输、文件搜索或Baidu.com、谷歌硬盘等云磁盘应用的协同办公方面也有自己的特点和优势。Filecoin本身在竞争中没有什么优势。如果数据安全方面仍然存在漏洞,filecoin将无法在这场竞争中生存。

      即使数据安全问题得到解决,从实际存储需求的角度来看,文件硬币的当前发展也不容易乐观。根据文章开头提供的中国互联网用户存储的数据,TGI前三大云盘用户主要是电影、体育和动画。然而,这些类型的相关视频或图片数据更注重传播而不是隐私。与分散存储相比,用户可以共享或查询的传统网络磁盘将更具优势。

      真正需要集中存储的数据大致可以分为两类:第一,个人照片和私人文件等数据类型对集中存储的需求更大,但在当前的股市中,这类数据相对较小。第二是未来个人物联网分配产生的个人数据。然而,由于小米等物联网设备公司的负责人现在将用户数据视为一项重要资产,并能通过它创造巨大价值,因此如果没有具体的促销,负责人公司不会将用户数据返还给客户。如果主企业不愿意返回个人数量,并且不适合分散存储,那么即使个人用户希望使用它,也是没有意义的,因为它的基本目的还没有实现。

      第二类用户是大中型企业。大中型企业使用云存储主要是为了存储公司相关数据,因此对存储方案的可靠性、安全性和保密性有更高的要求。目前,传统解决方案包括公共云、私有云、混合云和传统存储矩阵。私有云与传统存储硬件的结合解决了企业客户对公共云数据隐私的担忧,同时也满足了客户对存储解决方案可靠性和安全性的要求。目前,文件硬币在三个方面落后于传统的云存储方案,因此无法与之竞争。与传统存储矩阵相比,分散存储带来的好处不是传统存储矩阵的用户所追求的,因此很难在这些用户之间进行转换。对于分散存储,只有在未来能够保证数据的可靠性、安全性和隐私性,并且价格能够低于当前的传统云存储方案时,才有可能开始发展与ToB相关的业务。

      除了技术因素之外,Filecoin项目还有许多不确定因素。

      首先是团队因素。2018年的两个主要在线承诺没有兑现。挖掘从中央处理器挖掘变成了图形处理器挖掘。与此同时,挖掘规则在测试阶段发生了变化。尽管随后的更改是为了防止矿工恶意刷垃圾数据,但这种频繁的更改降低了用户和网络参与者的信任。

      此外,到目前为止,菲力肯矿业的奖励机制和分配规则尚未确定,这进一步增加了项目的不确定性。

      最后,Filecoin的挖掘逻辑不同于其他POW类型的挖掘。该项目需要矿工的长期参与,不能从中间退出,因为矿工的退出可能会导致永久的数据丢失。然而,菲力肯矿业的具体细节过于复杂,收入状况难以预算,这也增加了不可控制的因素。是否会有足够的矿工参与并留下来是一个值得关注的问题。同时,矿工离职对网络的影响只能在主网络上线后才能判断。

      在价格方面,由于Filecoin存在上述各种技术和产品问题,因此与传统云存储相比,它需要一个有吸引力的价格来降低用户的使用成本。

      通过以上分析,我们可以知道,在现阶段,Filecoin的主要竞争对手将是传统云存储系统中的Saas应用。然后,我们将整理出目前市场上的toB和toC的SaaS服务收费方案,供读者参考:

      收存箱:

      个人版免费提供2G存储空房间,PLUS版提供2T存储空房间,同时提供文本搜索,手机端离线存储等服务每月78元,专业版提供3T存储空房间,同时在Plus的基础上提供自动识别、文件协同编辑、文件锁定等服务,每月130元。

      ToB版,plus每月提供81元5T存储空间= 2G文件传输容量,0+至3人出售。专业版是每人每月130元。它提供无线数据空房间和300G文件传输能力。它也有三个人出售。

      方框:

      个人版免费提供10G存储空间空房间,单个文件的上传大小限制在250M。费用版本分为5美元/月、15美元/月、25美元/月和35美元/月。5美元的计划提供100克的存储空间=0个以上的房间,单个文件的上传大小限制在2 GB以内。15美元的机会提供无线存储=0间以上的房间。单个文件的上传大小限制为5GB。同时,box可以连接到一个应用程序,应用程序数据可以直接存储在box中。25美元的计划允许连接3个应用程序,而35美元的计划允许连接无限的应用程序。

      百度互联网光盘:

      如上图所示,百度个人网盘支付计划如下:svip每月18元,普通会员每月8元,非会员在完成任务前拥有15G存储空房间,完成一系列共享任务后,将获得2T存储空房间。

      上图显示了百度企业网盘的介绍和价格。

      与上面列出的三家集中式存储提供商相比,Filecoin在企业级服务方面仍然难以与之竞争。在个人服务方面,Filecoin只能通过定制更灵活的支付计划和更低的价格与之竞争。同时,Filecoin和其他分布式存储项目也需要丰富它们的附加功能,以提高它们的竞争力。

      七.去集中化存储的未来发展分析

      与技术架构和运营模式相对成熟的集中式云存储行业相比,分散式存储的概念仅在过去两年才被提出,在技术设计和运营模式上都有很大的提升。分散存储的发展应充分利用成熟的云存储方案,并根据自身特点进行改进。

      毫无疑问,以前所有的集中存储技术方案都过于仓促,市场也难以接受直接使用新的不完善的方案来取代原来的方案。只有在创新和传统之间找到良好的平衡,我们才能创造出满足市场需求的产品。

      目前,这是一个很好的尝试来重建像IPF这样的底层网络协议,但是它的可用性相对较差,很难满足存储用户的基本需求。相对而言,使用区块链技术在当前的公共云上构建中间层可能是一个更好的选择,因为该方案不仅可以全面调度高性能存储资源,还可以保证用户信息的隐私性,同时可以充分享受传统云存储的完整存储技术体系。这样的登陆方案可以较快地实现去集中化的要求,保证数据的安全性和保密性,同时给去集中化存储技术足够的开发时间。这不仅让用户有时间和机会充分了解集中式存储,而且也有利于去集中化技术在未来的大规模落地。然而,不可否认的是,只有通过不断的创新和试验,分散的生态储存才能开辟一条适合自己的道路。

      本文由 在线网速测试 整理编辑,转载请注明出处,原文链接:https://www.wangsu123.cn/news/7984.html

          热门文章

          文章分类