Filecoin可实现大规模数据的离线传输

转载

2020-06-09 16:43:37

5279

1626

0

1718

Filecoin被设计用来储存世界上最有价值的信息。在全球范围内,我们每天产生2.5万亿字节的数据。虽然大部分数据不需要永久存储,但其中一些数据涵盖了人类在科学、数学、艺术、历史和人文领域创造的最重要信息。

Filecoin是一个基于区块链的市场,用于买卖分散的存储。区块链机制提供了安全的存储保证,而加密货币机制创建了一个动态市场。

正如我们在(经济模型建设)博客文章中所讨论的。有时当你处理大量数据时,通过互联网传输这些文件以保证安全是困难的(昂贵和耗时的)。对于pb级或更大的数据集,最明智的解决方案通常涉及在硬盘上传输数据。Filecoin协议和项目拥有支持所谓离线数据传输的工具和结构。

01

何时考虑脱机数据传输

在决定是否在线或离线传输数据时,需要考虑的两个因素是费用和时间。

1.费用

把存储程序想象成网络——数据从一个地方移动到另一个地方的高速公路。

这种移动会很快变得非常昂贵。想象一个巨大的信息档案,比如一个博物馆或图书馆,希望在分布式web (dweb)上上传、存储和保护它的收藏。为了做到这一点,组织既可以在互联网上传输数据,也可以使用物理设备进行传输。

使用互联网来传输数据,传输成本会很快增加。在当今的云服务中,传输pb级的数据需要通过多个地区发送数据,这会产生互连费和区域带宽费,如果你选择租用专线或重试的话,还会产生额外的费用。粗略估计一下成本,仅传输2.5pb数据的带宽就需要大约14万美元——如果你要跨地区传输这些数据,成本还会更高。

这些费用会增加到档案馆、博物馆和其他非盈利企业。现代艺术博物馆的藏品超过90tb,预计到2025年将增长到1.2 pb。英文维基百科包含600多万篇文章和36亿单词。

欧洲核子研究中心的开放数据门户包括其粒子物理实验的超过1拍字节的数据。伦敦的自然历史博物馆数据门户包括近400万历史标本。国家档案馆的电子记录部门拥有500tb的数据。这些都是极有价值的海量数据。

然后,考虑一下硬盘驱动器本身的成本——存储和运输数据的物理介质。一个服务器级的8 TB驱动器大约需要200美元。例如,要传输2.5 pb的数据,你需要大约315个硬盘,总计约63,000美元。虽然你可能会有一些额外的单位成本运输,进口费用,和货币兑换-你远远低于成本流的数据在互联网上!

2.时间

现在,让我们想象一下,国家档案馆想要把它的电子记录转移到另一个服务器上。

以100mbps传输500tb的数据需要一年多的时间。

用硬盘传输相同的数据只需要下载和发送所需的时间——很可能一周之内就能完成!最重要的是,在某些情况下,物理地发送数据更经济、更快捷。

02

使用Filecoin进行脱机数据传输

在较小的数据传输中,当存储客户端想要与矿商达成协议时,他们会向矿商提出协议,将“X”数据存储为“Y”长度。

在挖掘方和客户端协商协议之后,他们开始将数据从客户端传输到挖掘方,通常通过网络传输。

Filecoin的离线数据传输功能允许数据集非常大的用户离线完成数据传输步骤(例如,通过将硬盘从客户端发送到存储矿机),并使交易工作按照预期的链式进行。

它是通过一个标志来实现的,这个标志告诉客户端不要通过网络传输数据。相反,客户端传递一个CID(描述数据的唯一标识符),挖掘器必须匹配这个CID才能通过交易。

这为客户节点在如何建立交易方面提供了灵活性——例如,为矿商传递硬盘驱动器上的特定位置,以获取它们可用于生成CID块的数据。

03

Filecoin如何支持离线数据传输

5月7日,我们启动了Filecoin Discover项目,该项目旨在激励早期的矿工订购并存储充满有价值的开源数据的硬盘驱动器,作为交换,他们可以获得额外的Filecoin通证。

这是一种帮助种子Filecoin成为人类最重要的数据集的大本营,并使其可访问他人的方式,以增长我们的知识库和形成新的想法。

矿工可以选择硬盘驱动器,并在Filecoin发现存储中签署保密协议,这是一个pb级的重要公共数据目录(而且还在增长!)然后矿商将以成本价接收驱动器上的数据。作为存储这些数据的交换,矿工们赚取了Filecoin。

在硬盘商城上线后的24小时内,我们收到了超过600次的订单,凸显了围绕这个项目的激情。

像Filecoin Discover这样的项目,成功编程的关键是降低硬件成本。今年4月,Filecoin提出了一个存储设备(类似于AWS Snowball)的提议,以实现更快的离线数据传输。

这个RFP的目标是构建一个高成本的、冗余且安全的硬盘驱动器解决方案。

矿工们可以租用这些设备一段固定的时间,以保持数据传输。客户端可以将数据加载到这些设备上,采集器在接收数据后将数据卸载到自己的服务器上。

离线交易也可以在Discover程序之外进行。设想一艘潜艇在海上收集太平洋海底生物的pb级信息。当船回到陆地时,通过邮件发送这些硬盘可能比依靠在线数据传输更有意义。在我们致力于web去中心化的过程中,大量数据的物理传输将继续在信息传播中发挥重要作用。展望未来,eb级的数据传输(例如AWS Snowmobile)是传输大量数据的下一步。

最终,像离线数据传输这样的解决方案将使Filecoin成为存储数据的传统云存储平台的更强大的替代品。数据存储对于每个行业的每个企业来说都是一项真正的成本。如果存储成本下降,小企业就可以节省资金——这些钱可以用于招聘或研发。

这只是Filecoin网络的独特特性如何帮助企业以更高效、更安全、更实惠的方式满足其存储需求的一个例子。在接下来的几周里,我们将推出更多的文章来强调这些功能。我们希望你能加入我们的任务,去中心化存储和改善信息的访问。

对IPFS/Filecoin感兴趣的小伙伴添加V❤:18792971022 交流学习鸭~

   
发稿时主流币价 :
BTC68397.4
ETH1717.28
EOS19.4109

1626

好的文章,需要你的鼓励

声明

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

评论