中国大模型爆发元年！AI界大佬共话LLM创新探索｜新浪新闻探索大会

  新智元报道  

编辑：桃子 好困

【新智元导读】AI时代，中国大模型进展到哪了？12月20日，「数字力量，探索无穹」2023探索大会上，新智元创始人&CEO杨静，与百川智能技术联创陈炜鹏、商汤科技数字文娱事业部总经理栾青、蓝驰创投投资合伙人石建平共话中国大模型的创新探索。

2023年即将拉下帷幕，大模型引爆AI的这一年，无数个大事件震撼人心。从ChatGPT、微软Copilot助手、谷歌Bard，到AI文生图Midjourney、AI视频生成Gen-2、Pika 1.0等等，都成为2023年最值得回味的经典案例。一起向前看，2024年大模型前行的路，仍值得每个人去深思。如何突破算力瓶颈？如何获取高质量数据？如何让大模型落地？如何让LLM更安全？等一系列问题都成为重要的议题。12月20日，由中国互联网协会、微博、新浪新闻主办的「数字力量，探索无穹」2023探索大会在北京拉开帷幕。新智元创始人&CEO杨静、百川智能技术联创陈炜鹏、商汤科技数字文娱事业部总经理栾青、蓝驰创投投资合伙人石建平共同探讨了AI时代，中国大模型的创新探索。

2023年，大模型引爆AI新纪元

杨静：尊敬的嘉宾，朋友们，大家好！我是新智元创始人&CEO杨静，今年是探索大会的元年，也是大模型大爆发的元年。ChatGPT横空出世的2023年，其实是2022年的11月，才满周岁，但2023年中国的百模大战处于白热化阶段，所以现在我们也算是迈向AI时代的新纪元。今天我们就来聊聊AI时代，中国大模型的创新探索。大家也知道今年大模型就像雨后春笋一样，遍布了各行各业，包括王巍说已经出现了星座大模型，有人还说为什么没有出现中医的大模型。大模型一词已经当选了今年的中国热词排第三，但已经鏖战激烈，进入了蓝海和红海的热战，请问几位嘉宾，你们有没有参加这个热战，在百模大战里面是怎么布局的？先有请陈炜鹏分享。

来源：https://github.com/Mooler0410/LLMsPracticalGuide陈炜鹏：大家都知道百川智能是今年4月份成立的公司，实际上在更早之前我们就已经在筹备要去做这样一个事情，4月份入场的时候整个行业处于非常微妙的状态，大家在对于OpenAI展示出来能力感到兴奋的同时，也会有一些焦虑，不确定中国能不能做出来自己的大模型。当时行业已经开始陆续在发布一些中国的大模型，但可能展示出来的能力还不是非常成熟，某种程度上加剧了大家的焦虑感。我们当时也在想怎么样能够去打开影响力，我们捕捉到一个机会，当时整个行业大家都对大模型充满了兴趣，想要把大模型落地到自己的行业里面，去做更好的产品。但当时国内没有一个非常好的基座模型，只有一些微调的模型，很难落地，因为它没有基座模型那么好的灵活性。我们当时觉得这可能对百川来说是一个很好的机会。另外当时开源模型的规模本身也不是特别大，对于百川这样的创业公司，从小模型开场会比较合适，因为小模型能够更好地比拼大家的技术能力和对模型的认知。所以我们当时从开源模型切入，在6月份就发布了Baichuan-7B，后面基本上保持一个月发布一个模型的节奏，因为百川模型本身的性能还不错，所以我们很快就打开了技术口碑，大家对百川这个品牌也会有越来越大的技术认可。所以一开始开源是帮助百川很好的打开了这个局面。开源以后我们想要做更多的事情，所以大家可以看到小川提的「理想上慢一步，落地上快三步。」理想上慢一步是相对OpenAI而言的，OpenAI在构建1000万个GPU的互联，对于我们来说在终极的想象上跟他们会有一些差距。但落地于中国的话，可能中国的大模型企业会有一个优势，我们是同时具备模型的训练能力，并且能够把这些能力和我们的应用结合起来的，所以百川既要保持技术领先，也希望在应用上做更多的探索，我们也提到在健康、快乐和创造上面，有一些应用的布局，这不分大家在明年上半年能够看到。我们也依然在做通用的模型，只是说在这些场景里面打造我们的产品。杨静：其实百川是以基座的模型，小模型里面的先驱，已经赢得了用户的口碑，栾青你讲讲你们的。栾青：大家也都看到了大模型在很多应用上面有非常多不同的平台和产品，其实我相信真正在做这个方向，从各方面积累上，大家肯定不是从今年才开始的。因为大家知道做大模型，我们需要在算法上有很强的并行的训练能力，前提得有足够多的算力来支撑。当然也包含我们各种训练的能力，行业落地经验的积累，对于商汤，在人工智能这个方向从长期来讲，在其中深扎是我们致力完成的工作。算力的积累方面，商汤从2019年就开始了早期规划和资源整合，包括并行计算能力的整合，我们大概4、5年之前提出的「商汤大装置」这个概念，从那天开始研究界不管是谷歌还是国外的一些研究，当然包含商汤，大家知道商汤是一个科研起家的企业，从那时候已经在这个方向做了比较多的研究。那时候，也许大模型的这些概念虽然科研的人已经都开始做了蛮久也看到了它的潜力，只不过咱们从大众的角度上来讲还没有受到大家的关注。我们很早就开始做这方面的算力，并行计算能力以及算法相关的一些积累，今年大家也可以看到我们4月份推出的大模型体系，全生态的，它包含了文字的、语音的、还有图片的，当然还包含后面即将推出的若干种多模态的这样的一些生成能力。所以也是希望做一个基座型的、平台型的企业，为各行各业提供大模型底层的模型体系。杨静：是的，今年就推出了「商量」这个大模型。栾青：我们的大模型体系叫做「日日新全家桶」，为什么叫日日新呢，因为我们的CEO当时发布的时候就起了这个名字，他说是不是特别像一个超市的名字，为什么特别像一个超市呢？他说从我们开始做这个理念，整个大模型实际上是一个应用场景和行业非常广泛的操作系统，如果它是一个操作系统它必将不是单一的应用，也不是单一的一种体验。我们相信会有非常多的企业、行业，都会从其中体验到效率的迭代和更新，可能行业中的很多做法都要被重做一遍，从商汤角度来讲，更加底层更加平台型的公司，我们更希望给大家提供素材，就像你要吃饭，你要到超市里面去选购瓜果蔬菜和各种调料一样，我们可以有很多不同的原子型的能力和基础的一些训练好的模型基座，让大家从中间选购，并且构建自己的应用场景和模型不同的一些升级的工具。杨静：非常令人期待。石总作为VC界的大佬，蓝驰创投也是在AI方面是在投资领域的先驱，也请您做一下分享。石建平：上一波AI我们已积极参与其中，这一波新的AI赛道我们从2020年就开始投资相关领域的项目，比如Transformer预训练模型，包括高性能架构等等。虽然我们对它有很多期望，但并没有想到会发展这么迅速，直到去年底ChatGPT终于把新一代的技术带到消费者眼前。我们非常关注这个领域的发展，从大模型角度来说我们已经投了不少项目，时刻关注未来技术演进的方向。大家都在讨论国内的百模大战，我们也希望整个市场能够更朝前看，更多样化去发展。无论从多模态、推理、边缘的更小模型、视频生成等等，大模型时代需要解决的问题相当多，我们期待学术界与工业界能够迸发出更多创新想法，让拥有创新思路的团队进入到这个市场中，推动它进入下一个发展阶段，落地解决日常生活和工作中各种场景。今年整个资本市场还是有寒意的，但相信很多朋友听说过蓝驰创投还在这个领域中持续投资，欢迎市场上对大模型方向有兴趣的小伙伴们找我们交流，共同碰撞出一些新的火花，带动AI领域的发展。杨静：大家要多投BP，刚才栾青也说大装置，无论说大模型是基座的模型还是大装置，都非常的烧钱。其实很多的创业公司都面对算力的难题，算力的紧缺和算力荒，是百模大战的瓶颈，就像互联网的瓶颈在后厂村，大模型的瓶颈就在算力这方面，算力的确是大模型发展的驱动力。想问问栾青你们是不是碰到过算力方面的压力，你怎么去面对算力紧缺和高成本的双向的挤压？栾青：其实我相信可能说是在所有大模型AI公司都必须要面对的一个问题，虽然说商汤在早期做的时候在整个基础算力能力上有一些比较多的积累，但是再多的积累它也没有办法完全抵制市场国际环境下我们受到的一些限制，相信所有的公司都不得不去面对这个问题，或早或晚都会面对这些问题，谁也不敢说已经有了一个解决方案，相信都在探索的过程当中。另外一方面，包括大家提到的并行计算，包括我们提到的各种性能优化，甚至在中小级别模型上面能否在很多行业里已经可以做到它非常好的应用了。所以我想说的是这个方向上对于我们所有的AI的上下游产业链来讲，既是危也是机，也是我们中国人非常擅长的在危机之中寻找到属于我们的解决方案。

算力荒、数据荒，大模型难题怎么解？

把模型做「小」，也是一条路杨静：石总您怎么看算力荒的问题呢？石建平：算力荒其实是一个动态的视角，因为第一，我认为海外供给也肯定取决于我们国产芯片的能力，这个标准一直是在动态朝上走的。第二，我们中国人有很多创造力，芯片上虽然碰到瓶颈，但很多问题其实在软件方面有不少解决方案，相信在并行计算里，无论是软件还是网络等方面，很多手段能够适当地解决其中的一部分问题。未来的模型拼的是模型的演进速度和加速度，在看得见的时间里，加速度肯定会因为天花板的限制受到一定的影响，但是我相信在整个模型演进的过程中，大家都在探索一些新的路径。包括前两天微软推出的Phi-2，也是探索通过更高质量的数据，去做出更高质量模型，而不是说是大力出奇迹是唯一路径。杨静：石总提出来从算法上解决算力的问题，但是不可避免的趋势是，现在有一种叫大模型参数的军备竞赛，从10亿级别参数到百亿级别再到千亿参数，大模型参数级别以指数级爆增。现在大参数暴增和大模型这个性能提升，是不是正相关呢？我们现在都猜测明年GPT-5到底多少参数，是不是能够达到像人脑神经元的860亿神经元，未来大模型最后会不会有超越千亿参数模型出现？这种参数持续爆增，肯定会吞噬算力。多大算力都能吞噬进去，石总您对这种趋势怎么判断呢？石建平：说老实话，这个参数取决于多少高质量的数据，现在数据变成一个比较更大的瓶颈。整个世界有两个路径，一个路径就是更大参数匹配更高质量的数据集，让模型涌现出其他的能力，特别在Video这些场景里，有可能模型规模更大，这是一条路径。另外一个路径，是如何用更高质量，更小的模型达到近似能力。这两个路径我认为对大模型发展同样重要。陈炜鹏：我的观点其实跟石总差不多，当前认为大模型如果拥有更大参数，更大的数据，更大的计算量，能够抬高模型性能。但是其实我们也能够关注到一个行业趋势，现在小模型的性能在越来越接近之前的参数量大的模型，这些模型很多都是通过蒸馏来实现。所以，这种模式下把模型做小也是很重要的一个趋势。让小模型不断逼近更大参数模型的能力，是大家当前研究的热点，也是面向行业落地很重要的一个途径。但是这里面有一个关键点，这些小模型其实只能够相对逼近更大参数模型的能力，真正的智力上限还是由大模型参数去决定。明年我们可能会看到一些小参数模型，在能力上接近GPT-4，这个是有可能发生的。不过这是在目前已有的计算范式里面，未来也有可能出现新的计算范式。高质量数据耗尽，大模型能够让数据「飞轮」转起来？杨静：跳脱现在算法陷阱。大模型三大暴力，一个大参数，还有一个大算力，另外是大数据，但是现在除了算力荒之外，其实也出现了数据荒。高质量的数据，大家互相抢，甚至互相偷，最近也爆出谷歌Gemini，也不是说偷，用了文心一言部分数据。我们中国的公司，有的也在用OpenAI生成数据，因为这个高质量数据确实稀缺，但是很多场景之下，咱们没有那么多数据，必须依赖生成数据进行训练。所以，这种数据荒的问题怎么解决？你们怎么去抢数据呢？陈炜鹏说一下。陈炜鹏：当前确实我们也关注到行业里面，尤其在行业早期的时候，有很多公司都在做数据蒸馏的工作。这种方式确实有可能在短时间里提高模型的效果。包括谷歌、OpenAI，他们也在对自己的大模型进行数据蒸馏工作，做一个更小参数模型实现效果逼近大参数模型。但如果我们追求智能的本质，其实还是要关注大模型是怎么产生的？所以通过蒸馏这种方式，我觉得很难触达智能本质。在大模型行业里面，其实我会有一个可能不太一样的观点，我觉得可能大模型这个行业数据飞轮效应其实没有以前的行业大。比如说以前我们在构建一个搜索系统的时候，用户点击数据量级非常庞大，甚至在百亿这个量级里面。在很长一段时间里面，大家可以关注到比如说必应搜索结果首条问答没有谷歌好，行为没有谷歌充分。当大模型出现之后，其实必应的首条问答效果跟谷歌在迅速逼近。这里面很核心的原因是，以前的计算方式我们依靠大量监督数据，习得这种知识和能力。但是大模型能力很大程度上是通过Prompt来展现出来，Prompt里依赖的数据很多相对公开可获取。大模型构建这种监督数据，主要通过SFT和强化学习去做的。但这里需要的数据规模要远低于以前的计算范式。因为他通过Prompt把大量的能力和知识都已经建模进去，某种程度上其实我觉得现在计算范式的数据飞轮效应相对比之前更弱。杨静：这真是一个非常新奇的思路。石建平：我认为未来，大模型生成的数据将会遍地开花，这是一个必然的趋势。很多数据假如说没有被打上水印，从用户或者是系统角度来说，其实很难判断到底是人类生成还是机器生成。所以数据到底是人类生成还是机器生成将不会是社会讨论的重点，只要是有价值的数据，我认为都应该有用。第二，今天大家讨论人工智能价值对齐，我认为AI模型之间互相交流是非常正常的事情。从一个模型里出来的数据，被其他AI模型学习到，我认为也很正常，正如人类社会中的交流。未来数据在多样化的同时，大家对这些数据是否是原创，界限并不分明。但是，数据本身对模型推进是非常重要的，需要更高质量的合成数据，这也是行业里面初步的共识。但是，生成这些高质量的合成数据，现在还是比较有挑战的。

LLM下一站：应用

杨静：我看到一个说法，OpenAI认为互联网现有的高质量数据到明年，2024年会枯竭，所以不生成数据，人类数据都学完了，那大模型学什么？就会存在一个高质量数据的巨大缺口。另外，大模型其实也存在很多问题，比如说刚才韦青总提到，有些大模型让人感觉到是一个人工智障。比如说星座模型到底能不能算得准？中医摸脉摸的准吗？大模型有幻觉，而且这个幻觉有时很严重。所以，现在大模型处于一种难题陷阱，纠结的状态。大模型的原生，就是说把大模型应用到方方面面。栾青说的大模型超市，王小川说应用上快三步，理想上慢一步。2024年大模型将怎样改变年轻人的生活呢？陈炜鹏：当前的模型能力确实会存在一些不足，包括幻觉、时效性不足，垂直能力不足等问题。但是我们会认为当前的模型能力其实还是能够产生足够好的应用的，因为任何技术本身都存在一个发展周期和发展过程，我们需要把当前的技术能力找到一个合适的场景，去把它匹配起来。包括最近大家看到小川在讲的TPF（Technology Product Fit），我们也关注到整个行业里做的很多应用还是在利用大模型的能力去改造自己的场景，我们也期待大家从大模型本身的能力出发去重新构造一个应用。比如说在行业里此前非常典型的现象级场景，像Character.AI其实就很巧妙利用了大模型当前的能力，包括大模型现在存在幻觉的问题，但是当它在做一个娱乐性的产品，用户利用它去构建一个角色，有可能幻觉反而是它去构造创造力的一个土壤。所以怎么样能够巧妙的结合当前的模型能力构建应用，这是现阶段非常重要的一个能力。杨静：幻觉有的时候是好的，迸发出创造力，是不是栾青？你来分享。栾青：我先跑个题，刚才那个问题还是蛮有意思的，数据枯竭的问题，我觉得到了下一步数据是不会枯竭的，原因是你可以给大模型装上眼睛，现在大模型的所有内容都来自于人，没有读书的人他仍然可以很好的认知世界，因为它有眼睛有耳朵，他可以自主的去观察周围的世界。大家都提到多模态，虽然它是一种能力的展现，反过来来讲它也是大模型枯竭信息和数据的一种方式，我相信未来或者说我们展望遥远的未来，大模型最好的应用领域，我个人的观点应该还是机器人。反过来说，我们日常生活中你的家务，孩子的学习，日常的这些东西当你给大模型装上眼睛之后，它拥有了新的获取数据，同时更丰富的认知能力一旦体现出来之后，它可以让我们每个人真正切切地用起来。我说一个非常远的应用，有可能是某种类型的不同场景应用的机器人，但是反过来到了今天来讲，我相信2024年有几个重要的主题一定是多模态的问题，以及更高维度的生产的内容，其中一个就是视频。今我们一直在做的是更传统一点的包括生成数字人，往前多走一步是我们怎么样更好的去控制人的动作，你现在觉得动作控制起来还不太自如，我们怎么用大模型更好地控制它，大家也看到了海外类似于皮卡，类似于新发的版本，包括SVD新出的东西，在2024年一定也是国内将要火爆的东西，所以我们也非常关注这一点，我相信可能在这个方面能够爆发出来的应用，有可能是更加让人惊喜的。再往回拽一点，我们说到现在已经产品化或者一段时间的文字型的应用，这个文字型的应用现在很多人都用起来了，Character.AI，或者国内也有一些产品化的人机对话型的，人设型的应用。但其实大家也会发现它会不温不火，或者大家用过一段时间之后觉得没有太多能让我attach的东西，所以用完了之后很快就抛弃掉了。但是它可能在娱乐领域还是会有，像王巍总之前也分享过我们一块合作的场景，虚拟明星，我相信IP粉丝等等带粉丝类的有情感支持的应用会成为2024年的主流，因为它既有粉丝的情感支持，同时它本身也具有IP的生命力，结合了大模型形成了一种粉丝和明星IP之间，可能是现实中的明星，也可能是虚拟的明星也有可能是正在培养中的明星，他们都有可能形成更有价值的交流，我相信它变成了一种IP与粉丝互动的一种工具，从远到近我觉得还是有很多有趣的事情。

大模型蓝海在哪？

杨静：栾青提到也许以后有具身AI的大模型机器人，另外也可能微博的虚拟明星就会变成大模型驱动的，AI生成的爽剧，AI生成的偶像剧，数字人，以后可能会与用户在线交互起来，变成一个生成式社交网络等等的场景，我想空间非常巨大，比如说微软把Copilot做一个全家桶，GPT嵌入了，就将驱动10亿打工人的办公革命。另外Pika刚出现就已经估值数十亿美元，石总您觉得大模型领域这种独角兽怎么挖掘啊，估值那么高的话该怎么投呢？石建平：这是一个好问题，第一从我们投资人角度，非常关注两类创新人才的来源。一批是AI-Native的年轻者，他们对于娱乐端、To C端的应用有很多想法。另外是既有平台的长期从业者，他们对历史场景有深度认知，对AI技术目前所处的状态和未来发展路径也有相当好的判断，这时候他们把这两个世界糅合在一起改变原来的世界，无论从AI Copilot，还是Native AI的思路去做下一代产品，都是我们关注的创业者的生态。第二，关于估值，未来可想象的空间去看估值是不是有它的合理性，大部分的估值体系其实都在回到业务的本质。但同时大家切身感受得到，这次AI浪潮带来的用户体验和用户价值，在某种程度上是超出你的预期的，很多用户自发性地在付费。很多AIGC的工具，从用户收费上取得了不少增长。虽然它的持续性我们需要持续观察，但大家的付费意愿促成了这类产品形成商业价值和服务价值的快速商业闭环，是比较激动人心的变化趋势。杨静：陈炜鹏你怎么看，大模型的大蓝海在哪？陈炜鹏：我觉得我们得回到AI带来了什么新的革命性变化，大家充分利用好新的特性，就有可能会产生创造性的产品。在我看来产生了三种变化，一种是自然交互的能力，以前我们通过点击、鼠标浏览或者通过文字的输入，现在我们能够非常自然地跟AI去做交互，这个其实是一种新的能力。第二种带来的变化是从感知智能到认知智能的变化，可能过去AI给大家的印象更多还是感知智能，比如人脸识别、语音识别等，如何能把声音和图片信号识别出来，但现在AI带来了一种新的认知能力。在GPT4发布的时候，大家会对一个演示印象非常深刻，当我们把足球比赛的图片输入到GPT4的时候，它能够把整个比赛做一场解说，这个其实就是带来了一种认知能力。未来还会带来新的变化，当大家把足球比赛的图片输进来生成解说，我们还能够围绕着用户的反馈继续产生新的内容，或者去做一个新的演绎，这个其实是现在AI带来的新生成能力，我们能够看到实时生成，无论是图片、声音、文本，包括未来的视频，也包括大家提到的具身智能，未来就能够生成机器人的动作，甚至还有可能会介入到科学研究里面，所以AI不仅提升了内容生成的效率，同时也显著的降低了门槛，我觉得未来新的革命一定是围绕着这些特性来产生。

大模型安全，重中之重

杨静：你提到了AI的科学家，我也听王小川说，OpenAI跟英伟达有一个登月计划，他们要用1000万块GPU，研发出涌现出AGI。他们志在必得，说十年之内一定能够搞出来通用人工智能。无论是从算力的暴增，他们要弄一个GPU的小镇。还有算法方面的迭代，他们都跑的相当邪乎。人类仰望星空，超级的AI，会不会很快的到来呢，另外AGI的超级对齐我们又该怎么做呢，超级AI能不能统治人类呢，这也是大家非常焦虑的，所以也想请教一下几位专家，咱们的年轻人如何能够把握住大模型的赛道，同时也能驾驭未来。陈炜鹏：我觉得大家所担心的AI伦理问题，一定会通过技术的方式去解决。我还是那个观点，未来AI爆发出来的机会，一定是围绕着AI新的特性去创造的。所以，我觉得我们应该更多去思考AI这个技术带来什么样新的可能性。围绕这个可能性，去构建我们的产品，或者构建我们未来的商业模式。这可能是非常重要的点。栾青：其实有关这个问题，整个学界大家也都有很多探讨，包括之前马斯克和Larry  Page一直辩论，我相信肯定很多人也意识到了这个问题，也必然是咱们整个AI行业，大家不断前行的过程中，一直都要在脑子里紧绷的一根弦。中国人在这方面做的特别好，包括管理大模型数据获取机制，包括一些整个内容的生成出来这样一个结果。我相信多方面的，可能刚开始让你脚步不像我们期待那么快，但是在这个过程当中，它可能避免掉这个未来潜在一些问题。其实它在最早期建设时候，拥有了自己一个叫世界观，拥有一个不是让它随便发展的机制。我反倒觉得有可能到了最后一天，也许中国的大模型最安全。

迎接大模型之战下半场

杨静：请石总做一个总结。石建平：我们应该持续关注、参与、感受AI带来的机会和想象空间，共同抱有更积极的心态去对待。杨静：是的，无论如何我们都应该参与进去，最后感谢各位嘉宾精彩分享，2024年大模型之战就要进入下半场，让我们一起探索AI的新天地，携手创变大模型，人机信有爱，世界更光明。我们明年再见！主持人：谢谢杨静，谢谢三位嘉宾，我相信各位在未来多少年都会印象非常深刻的思想盛宴。我们跟着新浪新闻和微博探索大会的节奏，我们可上九天揽月，可下五洋捉鳖啊。我们聊到6G、卫星互联网，我们还聊到北斗导航、人工智能、大数据、增强现实等等，在今天这个科技创新领域里面，基本上所有关键词以及这些关键词能够给你和我，给这个社会所带来的真实落地应用场景。如果用一句话总结，我觉得AI之路漫漫其修远兮，吾将上下而求索。今年是新浪新闻、微博探索大会的元年，我相信这也是后疫情时代的元年，这也是我们对于大模型进入深度认知的元年，也是它产生落地应用场景能够真正辐射到我们日常生活的元年。「数字力量，探索无穹」，谢谢大家，我们明年见！（以上是圆桌论坛实录，内容经编辑略有删减）