论关于GPT发展的异样感及其思考

这篇文章主要讨论生成式AI领域的发展，尽管该领域技术日新月异，但其中仍存在一些问题。作者就这些问题进行思考，并对微观、宏观两个层面提出对应的建议。希望能对你有所帮助。

在当前火热的生成式AI行业中，大模型的技术日新月异，对于那些一无所知的人来说，就如同面对着未知的世界，无所适从。

可以说，在这些领域上没有足够的技术知识，就像是当今社会的文盲一样，可能会错失很多机会。

然而，随着越来越多的企业、创业团队和研究机构进入这个领域，个人感到颇为奇怪，觉得这个领域的发展过快，仿佛有什么不对劲的地方。

这是一个非常有价值的话题，因此想在这里简要分享一下想法。

一、GPT发展的异样感

1. 要做中国的类ChatGPT

要做中国的ChatGPT 从各大厂商推出的大模型产品来看，它们借助自身的研发实力和财力，推出了文心一言、通义千问等产品，并早先进行内测和应用。

但是，其本质上的思路都是仿照OpenAI的思路，通过数据和预训练模型打造中国版的ChatGPT。初看起来，这似乎是适合我们发展的道路。

但这里面其实有着我们目前无法解决的两个关键问题：

1. 算力问题。如我国目前仍未有类似于英伟达的NVlink技术（将多个芯片连在一起输出比较宽的技术），而这项技术是训练大模型的关键技术之一。
2. 数据问题。在ChatGPT的训练数据中，中文数据占比仅为0.09905%，优质数据相较于其他语言，占比太少。

以上两个问题，个人认为是涉及到大模型行业发展的最重要的问题，没有之一。

其中，问题1目前国内并没有可以攻克的实力，更多的需要依赖国外的技术支持。

问题2关于中文数据的问题，目前中文在全世界应用的范围有限，在解决中文数据质量及数量问题上，仍需要时间。

2. 耗能及成本问题

根据《ChatGPT挑起的这场AI竞赛，有一个肮脏的秘密》描述：训练GPT-3消耗了1287兆瓦时，并导致超过550吨二氧化碳的排放——相当于一个人在纽约和旧金山之间往返550次。

大模型的训练成本不是一个中小型甚至是大型公司能够轻易承受的成本。此外，还需关注环境、灾害管理和训练方法等课题。这些因素会导致企业面临高昂的成本问题。

尽管我个人认为很多初创公司的思考仍然不够，但这并不影响认为这是一个需要关注的问题。

很多公司仍在喊口号：“未来，我们要打造属于XX行业的大模型”。仅注重应用场景的深度和广度，并未提及到自身企业的优势、成本及技术经验的储备。

3. 大模型行业陷入了“内卷”的恶性循环

类似于以往互联网、电商的发展，很多企业（包括openAI）已经在疯狂抢夺大模型人才。相关JD描述不少都是需要有大模型训练、GPT使用工具经验及prompt工程等要求。而这些在2022年前，都还不为大众所熟悉。

薪酬方面只要牵扯到GPT大型模型相关的，基本都保持在20w-80w的高水平（以深圳为例）。

另外大模型也出现了不少行业大模型，如BloombergGPT（金融）、MathGPT（数学）等，未来肯定还有更多行业属性的大模型出现。

但这个是很奇怪的一个现象，类似于以往的语音agents，又将通用智能割裂成一个又一个模块。后面也许又会变成比较哪一个行业大模型更智能的问题上。

二、引发的思考

1. 宏观层面

1）国家层面

1. 制定大模型、生成式AI的相关政策支持及监管，持续不断地推进大模型行业发展。
2. 探讨在国内应用生成式AI的可行性，与各大高校、研究机构及企业合作，可能还需要海外机构，逐步在各行业进行应用。
3. 更新或者设立高等院校的关于生成式AI的相关专业，另外还要注重芯片研发、统计科学及人工智能专业的发展。

2）企业层面

1. 积极拥抱国外的先进技术，探索出存在差异化的产品定位/思路，从其他赛道超过美国，而不是从数据、算力方面突破。
2. 做好后备资金及研发投入的支持，在保证自己能存活的前提下，鼓励创新及发展。

2. 微观层面

从业者或者期望从业者

1. 自主学习。尝试使用各类生成AI工具，在生活、工作及学习中使用，有时间可以整理分析各类AI工具的竞品分析材料.
2. 尝试应聘相关AI产品岗位时，带着你的思考和总结材料（如对目标公司的产品分析及产品原型，特别是AI相关的场景应用）去应聘，不用很详细，但最好有自己的独到见解。
3. （慎用）考虑是否有必要进修。AI行业本身就是存在一定门槛，很多时候对技术的学习需要系统化，结合自己的情况，了解海外或者国内比较有名的院校（一般都是人工智能、数据科学、计算机等专业）。

由于当前国内的学历贬值现象比较严重，深造是机会成本较高的选择，无论是跨学科还是非跨学科，都有时间、经济和精力相关的成本。

毕业后的就业也是一个挑战，所以需要结合自身情况，仔细考虑是否进修。

参考内容

hanniman，“最近ChatGPT这么火，总感觉有点不对劲”。

​Read More