大模型:模型大了难在哪里?

612次阅读
没有评论

自从GPT模型诞生以来,其参数规模就在不停得扩大。但模型并非简单的直接变大,需要在数据、调度、并行计算、算法和机器资源上做相应的改变。

大模型带来的挑战主要有两点:海量样本、参数(万亿级别)和较长的收敛时间。

别看只有这区区两点,它会衍生出很多要解决的问题,例如:

🎯 大模型训练需要更大的算力

🎯 大模型训练需要更多的显存内存资源

2024年1月18日19:30-21:00,NVIDIA将联合DataFun举办「NVIDIA大模型日之大模型没那么难!直播活动,来自NVIDIA的班智勇老师和杜承翰老师,将为我们带来LLM微调技术和LLM部署优化的技术干货。欢迎感兴趣的各位小伙伴扫码免费报名观看直播【报名】即可免费领取专题PPT《大模型微调与部署实践》👇

大模型:模型大了难在哪里?

(报名后进群,领取PPT)


大模型:模型大了难在哪里?

活动详情

大模型:模型大了难在哪里?

大模型没那么“难”

大模型:模型大了难在哪里?

扫码免费报名👇

大模型:模型大了难在哪里?
(报名后进群,会后领取PPT)

 

Read More 

正文完
可以使用微信扫码关注公众号(ID:xzluomor)
post-qrcode
 
评论(没有评论)
Generated by Feedzy