小语言模型在企业应用中崭露头角

编者按：随着大语言模型（LLMs）的发展，企业对语言模型的需求开始不断增长，小型语言模型（SLMs）因其较低的计算成本、领域特定以及更低的能耗而在企业中逐渐崭露头角。AI领域的著名投资人和作者Tom Taulli 在《Small Language Models Gaining Ground at Enterprises》“小语言模型在企业应用中崭露头角”一文中，深入探讨了小型语言模型在企业中崭露头角的原因和优势，但同时也指出了在采用这些模型时可能面临的挑战。对于企业而言，了解如何平衡SLMs和LLMs之间的权衡是至关重要的，特别是在高度受监管或处理敏感数据的行业。在技术和平台变化的背景下，构建支持易于交换不同SLMs的系统将成为企业更灵活应对未来挑战的关键。随着一些初创公司提供解决方案，企业也有望更好地利用小型语言模型的潜力，如需转载，请联系我们（ID：15937102830）。

• 由于较低的计算成本和通常是面向特定领域，企业对小型语言模型产生了浓厚兴趣。

• 目前引起最大关注的小语言模型是来自Mistral的Mixtral，以其专家混合方法而闻名。

• 一个问题是适应技术平台的变化：构建系统以便轻松交换不同的小型语言模型。

与大语言模型相比，小语言模型（SLMs）对企业而言变得更具吸引力，因为它们可以获得更多控制权，例如在特定领域的微调和数据安全方面。它们运行成本也更低。

SymphonyAI公司的高级副总裁兼AI/ML主管Pushpraj
Shukla表示：“我们现在看到企业正在早期采用SLMs，特别是随着AWS和Azure等超大规模云服务提供商提供对这些模型的托管API的访问。我们公司使用这些模型为零售、金融服务和工业类客户提供NLU（自然语言理解）任务支持。但是我们的客户通常并没有意识到他们正在使用SLMs。”

SLMs通常比LLMs小五到十倍，并且是开源项目。较小的尺寸意味着能耗大大降低。它们还可以托管在单个GPU上。考虑到芯片短缺和计算成本的急剧上升，这是一个主要的优势。

尽管它们尺寸较小，但在各种NLU任务中，SLMs展现出与LLMs非常接近的能力。特别是在它们被有效地为专业用途进行微调（或重新训练）的情况下，比如在医疗保健或编码方面。与LLMs相比，这个过程可能只需要几分钟到几小时，而不是几十小时到几天。为了在SLM中获得有效的结果，数据集通常应该包含数十万个示例。

SLMs的另一个好处是它们允许更快的训练和推断时间，从而提供更低的延迟。这意味着它们非常适合资源受限的环境。

戴尔科技的全球产品经理Gustavo Soares表示：“考虑到高度受监管的行业，如医疗保健或处理敏感个人数据的行业，可以选择SLMs。它们降低的复杂性使它们成为本地部署的良好选择，符合严格的合规性和数据隐私标准。”

市场上一些顶级的SLMs包括Meta的Llama-2-13b和CodeLlama-7b，Mistral的Mistral-7b和Mixtral 8x7b，以及Microsoft的Phi-2和Orca-2。

Shukla表示：“自从Llama 2 SLMs于2023年8月推出以来，它们一直是开源社区的首选，始终在许多不同的NLU任务中表现出色。”“但是Mistral-7b模型获得了很多动力。已经证明在几项任务中击败了Llama-13b甚至Llama-70b LLM。”

“但是当前在开源社区引起最大兴奋的模型是Mixtral，这是Mistral推出的一种专家混合模型，使用了八个基础的70亿模型和一个路由器，首次在几乎所有任务上能够匹敌或超越GPT 3.5的性能，”他补充道。“至于来自Microsoft的Phi和Orca系列模型，它们非常出色，专注于推理任务，并且可以快速进行领域适应的微调。”

接下来有许多参数大小低于十亿的SLMs，如DistilBERT、TinyBERT和T5-Small。它们主要用于有限的用例，比如摘要，但非常适合计算资源受限的环境。

交换不同的SLMs

在企业中采用不同SLMs时存在一些重大障碍。一个问题是技术仍处于初级阶段，平台经常发生意外变化。这可能使应用程序的管理变得困难。因此，一个好的方法是构建系统，可以轻松地交换不同的SLMs。

另一个挑战是使用这种类型的技术需要专业的专业知识，比如机器学习操作。确保拥有这样的人才并不容易，并且可能代价高昂。

将SLMs与传统系统集成也不是一件容易的事。需要管理用于前处理和后处理的复杂工作流程，以便对数据进行精炼和调整。然而，当前的SLMs可能无法有效完成这项工作。

最后，企业仍然需要考虑LLMs和SLMs之间的差异。Shukla表示：“开发人员和企业用户担心他们在与像OpenAI的GPT-4这样的闭源LLMs进行质量权衡时必须做出的权衡，后者在企业的几乎所有NLU任务上仍然是金标准。”

他说：“为了确保他们在速度和成本上不会牺牲太多质量，企业需要了解如何在其任务上衡量SLMs与LLMs的质量，这是基于对样本集的人类判断的，而在许多情况下并不是微不足道的。”

到目前为止，公司一直在聘请顾问或利用内部专家来解决这些问题。但也有新兴的初创公司提供解决方案。

例如，OctoAI正在开发用于托管微调模型的自动化。然后是Databricks：其对MosaicML的收购旨在简化微调过程。

想要了解更多，欢迎入群交流！

权益福利：

1、AI 行业、生态和政策等前沿资讯解析；

2、最新 AI 技术包括大模型的技术前沿、工程实践和应用落地交流（社群邀请人数已达上限，可先加小编微信：15937102830）

关于MoPaaS魔泊云

源于硅谷、扎根中国，上海殷泊信息科技有限公司 (MoPaaS) 是中国领先的人工智能(AI)平台和服务提供商，为用户的数字转型、智能升级和融合创新直接赋能。针对中国AI应用和工程市场的需求，基于自主的智能云平台专利技术，MoPaaS 在业界率先推出新一代开放的AI平台为加速客户AI技术创新和应用落地提供高效的算力优化和规模化AI模型开发、部署和运维 (ModelOps) 能力和服务；特别是针对企业应用场景，提供包括大模型迁移适配、提示工程以及部署推理的端到端 LLMOps方案。MoPaaS AI平台已经服务在工业制造、能源交通、互联网、医疗卫生、金融技术、教学科研、政府等行业超过300家国内外满意的客户的AI技术研发、人才培养和应用落地工程需求。MoPaaS致力打造全方位开放的AI技术和应用生态。MoPaaS 被Forrester评为中国企业级云平台市场的卓越表现者 (Strong Performer)。

  END  

▼ 往期精选 ▼

1、2023 年人工智能回顾

2、打造通用机器人大脑的全球合作项目

3、2024 年人工智能的下一步是什么

4、GPT-4和GPT-4V能否像人类一样进行抽象推理

▼点击下方“阅读原文”！