AI初创公司Hugging Face正在为“下一阶段机器人技术”构建小型语言模型

CN
Decrypt
关注
2天前

AI初创公司Hugging Face的联合创始人兼首席科学官Thomas Wolf表示,他们设想小型语言模型将用于包括“下一阶段机器人技术”在内的应用。

“我们希望在机器人中部署更智能的模型,这样我们就可以开始拥有不仅在生产线上的机器人,还有在野外的机器人,”Wolf在今天里斯本的Web Summit上发言时表示。但他指出,这一目标需要低延迟。“你不能等两秒钟让你的机器人理解发生了什么,而我们能做到这一点的唯一方法就是通过小型语言模型,”Wolf补充道。

Wolf表示,小型语言模型“可以完成我们认为只有大型模型才能完成的许多任务”,并补充说它们也可以在设备上部署。“如果你考虑这种颠覆性的变化,你可以让它们在你的笔记本电脑上运行,”他说。“未来你甚至可以让它们在你的智能手机上运行。”

最终,他设想小型语言模型将在“我们拥有的几乎每一个工具或设备中运行,就像今天我们的冰箱连接到互联网一样。”

该公司在今年早些时候发布了其SmolLM语言模型。“我们并不是唯一的,”Wolf说,并补充道,“几乎每个开源公司今年都在发布越来越小的模型。”

他解释说,“对于我们需要的许多非常有趣的任务,我们可以用AI来自动化,我们不需要一个能够解决黎曼猜想或广义相对论的模型。”相反,像数据整理、图像处理和语音等简单任务可以使用小型语言模型来执行,并在速度上带来相应的好处。

Wolf表示,Hugging Face的LLaMA 1b模型在今年的10亿参数性能“相当于,甚至可能优于,去年的一个10亿参数模型的性能。”他说,“所以你有一个小10倍的模型,可以达到大致相似的性能。”

“我们为大型语言模型发现的许多知识实际上可以转化为小型模型,”Wolf说。他解释说,该公司在“非常特定的数据集”上训练它们,这些数据集“稍微简单一些,并且有一些形式的适应,专门为这个模型量身定制。”

这些适应包括“非常小的神经网络,你将其放入小模型中,”他说。“你还有一个更小的模型,你将其添加进去并使其专业化,”这个过程他比喻为“为你要做的特定任务戴上帽子。我戴上我的厨师帽,我就是一个厨师。”

在未来,Wolf表示,AI领域将分为两个主要趋势。

“一方面,我们将拥有这个巨大的前沿模型,它将不断变大,因为最终目标是做一些人类无法做到的事情,比如新的科学发现,”他说,使用大型语言模型。AI应用的长尾将看到这项技术“嵌入到各处,就像我们今天与互联网的关系一样。”

主图由Shauna Clinton/Web Summit提供,授权使用CC BY 2.0

编辑:Stacy Elliott

免责声明:本文章仅代表作者个人观点,不代表本平台的立场和观点。本文章仅供信息分享,不构成对任何人的任何投资建议。用户与作者之间的任何争议,与本平台无关。如网页中刊载的文章或图片涉及侵权,请提供相关的权利证明和身份证明发送邮件到support@aicoin.com,本平台相关工作人员将会进行核查。

分享至:
APP下载

X

Telegram

Facebook

Reddit

复制链接