算力直降97%，GPT-3存储只用20MB？！这篇新论文火了

赛前山东泰山队被认为是无欲无求，津门虎则是想要冲击更好的排名，但从比赛进程来看，泰山队还没有发力，早早的2-0领先，天津津门虎求胜欲望不足，联赛剩下3场，球员们表现的状态，很像是准备要放假了。崔康熙....

一水 发自 凹非寺
量子位 | 公众号 QbitAI

好家伙！1750亿参数的GPT-3只需2 B存储空间了？！

基于1.58-bit训练，在不损失精度的情况下，大幅节省算力（↓97%）和存储（↓90%）。

最近，从事机器学习的Will小哥发了一篇论文，直接引来几十万网友or同行围观。

他提出了一项名为“noise_step”的新技术，允许模型直接在1.58-bit低精度下训练，且无需反向传播或动量（Momentum）加速，从而降低算力和存储消耗。

对此，网友们也纷纷发来祝贺，表示很高兴看到模型越来越具有性价比。

话不多说，来看具体内容。