当突变者遇到ai特效(你大概会喜欢这样的种子库)

车栗子 发自 凹非寺

量子位 报道 | 公众号 QbitAI

来自谷歌大脑的David Ha,向你推荐了一个种子库

当突变者遇到ai特效(你大概会喜欢这样的种子库)(1)

这里的种子,是给AI程序猿准备的,不是因为他们单身。

是因为他们需要给自己的模型,喂食大量的数据

当突变者遇到ai特效(你大概会喜欢这样的种子库)(2)

名叫Academic Torrents的种子库里,包含了各式各样的数据集,总计27.31TB的资源。最近,五岁的它登上了Hacker News的顶端。

互相取暖,可以加速

开发团队说,这是一个分布式系统,以推动大规模数据共享为目标。

当突变者遇到ai特效(你大概会喜欢这样的种子库)(3)

有了种子,有了播撒种子的人类,再加一个搜索功能,大家就能迅速找到、下载到自己需要的数据集了。

虽然,很多数据集在别处也找得到,但Academic Torrents集合了每个数据集的许多镜像,这些镜像一起工作,下载会更快。当然,下载的人越多,速度也越快。

当突变者遇到ai特效(你大概会喜欢这样的种子库)(4)

另外,Academic Torrents里面的数据集也比较全。比如Netflix Prize比赛的数据集,原始地址已经用不了,但在这里还能找到其他可用的地址。

BT下载,或许是数据集最好的传播形式了。

当突变者遇到ai特效(你大概会喜欢这样的种子库)(5)

△这个习惯,要改

下载完成之后,seed一下,后人又可以从你这里下载,下载之后再seed……

BT和数据,更配咯

虽然,学术种子库和普通种子库相比,技术上并没有什么不同,但BT协议对于数据共享,依然有特别的意义

p2p下载中,镜像数据的过程是透明的,可以有效保持数据的正确性。这一点,对于研究人员尤为重要。

当突变者遇到ai特效(你大概会喜欢这样的种子库)(6)

△ 数据损坏,的错误示范

而当原始地址失效之后,人类从其他地址下载数据集,可能会遇到数据损坏的问题。BT客户端,就可以验证数据集有无发生变化,也可以修复损坏的部分。

果然,数据集和BT,很配吧。

沉迷学习,沉迷训练

除了数据集之外,这里还有论文课程资源。

当突变者遇到ai特效(你大概会喜欢这样的种子库)(7)

Academic Torrents也提供了创建列表的功能。每个用户,都可以按照自己的喜好,把资源分门别类收藏起来。

每个列表都有自己的RSS信息流,当列表里的某个资源有了更新,就可以自动完成下载。

当然,也可以看到别人创建的列表,并订阅之。

当突变者遇到ai特效(你大概会喜欢这样的种子库)(8)

一想到别人家的模型,吃着美味的数据,训练得有条不紊,你是不是也有理由开始努力了呢?

你也去看看吧

其实,Academic Torrents不止得到了David Ha的推特翻牌而已。

官网上说,许多学校也都在用这个种子库了。看,明晃晃的校徽:

当突变者遇到ai特效(你大概会喜欢这样的种子库)(9)

各位可从以下链接前往种子库:

http://academictorrents.com/

以及它的代码:

https://github.com/AcademicTorrents

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

,

免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。文章投诉邮箱:anhduc.ph@yahoo.com

    分享
    投诉
    首页