用全球最快GPU做这件事要花355年

最后更新：2020-06-13 10:29:38 手机定位技术交流文章

不久前，人工智能研究机构OpenAI发布了一个语言模型GPT-3。令人惊讶的是，这个模型如此之大，以至于即使是世界上最快的图形处理器也需要300多年才能完成训练。

根据海外技术网站lambdalabs，GPT-3有1750亿个参数模型。如果使用世界上最快的图形处理器——特斯拉V100进行训练，整个训练周期将需要355年。

相比之下，用世界上第一台光线跟踪GPU——QUADRO RTX 8000进行训练需要665年。

特斯拉V100是Avida的顶级图形处理器。它使用新一代的伏打架构，可以在一个图形处理器中提供高达100个处理器的性能。它的32GB版本售价近6万元。

更引人注目的是，通过在云中使用Lambda GPU云来训练GPT-3的全部成本将高达460万美元。

事实上，时间不是唯一的敌人。1750参数需要700GB的内存，比具有最大显示内存的图形处理器RTX 8000高出一个数量级。

那么，什么是GPT 3型？

根据analyticsindiamag，GPT-3是目前最先进的人工智能语言模型，它可以生成虚假新闻，翻译语言或回答标准化的测试问题。

研究人员发现，GPT-3在翻译、问答和格式塔填充空方面表现突出，在词汇解释和三位数操作方面表现良好。