大模型晚报|百度CTO王海峰:文心大模型3.5新增插件机制

471次阅读
没有评论

大语言资讯:

百度CTO王海峰:文心大模型3.5新增插件机制

据科创板日报报道,百度首席技术官王海峰表示,文心大模型3.5最大的一个变化是新增了插件机制

该版本将默认的内置插件“百度搜索”,使得文心一言具备生成实时准确信息的能力;长文本摘要和问答插件“ChatFile”支持超长文本输入等等。

王海峰表示,下一阶段,文心一言将发布更多优质的百度官方和第三方插件,让用户能够更好地应用文心大模型。同时,文心一言也将逐步开放插件生态给第三方开发者,帮助开发者基于文心大模型打造自己的应用。

复旦与阿里巴巴、中国电信合作,国内高校最大科研智算平台上线

据上证报报道,国内高校最大的科研智算平台CFFF“切问”一号、“近思”一号在复旦大学正式上线。

这一新型“大科学装置”可实现高效的超千卡并行智能计算,支持千亿参数的大模型加速运行,在国内高校中尚属首例。会上,复旦大学分别与阿里巴巴集团、中国电信签署战略合作协议,复旦大学联合中国电信和阿里云建设全国高校算力第一的高性能专用智算平台。同时,复旦大学即将举办全球首个综合性科学智能竞赛。

京东将推出言犀 AI 大模型,参数达到千亿级

在京东云城市大会上海站上,京东云事业部总裁曹鹏介绍,京东即将推出的言犀大规模预训练语言模型。

大模型晚报|百度CTO王海峰:文心大模型3.5新增插件机制

据悉,该模型是参数达到千亿级的新一代模型。京东大模型将面向多模态,深入零售、物流、工业等产业场景。

曹鹏强调,在产业智能时代,也需要新一代数字基础设施,能广泛支持各类芯片架构,并兼容各类异构基础设施。

MongoDB与谷歌云合作发布AI计划,加速开发者开发AI应用程序

据界面新闻报道,MongoDB宣布将与谷歌云合作,加速开发者使用生成式AI并开发新型应用程序。

开发人员可利用MongoDB Atlas以及与谷歌云Vertex AI大型语言模型(LLM)的整合优势,加快软件开发进程。

香港电台推出 AI 天气主播 Aida

据 engadget 报道,香港电台近日推出数字人天气主播 Aida,将在天气预报节目中播报当地与世界各地的天气情况。

据悉,Aida 是台内 AI 应用的实验项目之一,历时约 3 个月制作筹备,由 AI 虚拟头像技术制作。

Aida 的表情、声线、口型和动作均完全由电脑合成,不需真实人物介入。不过从效果来看,Aida 的表现略有生硬。而香港电台也表示,正在研发改良版本,将改善其声线和流畅度。

大模型晚报|百度CTO王海峰:文心大模型3.5新增插件机制

Databricks 收购MosaicML,交易额达13亿美元

据 36氪报道,大数据巨头 Databricks 以13亿美元的价格,买下仅62名员工的AI初创公司MosaicML。

据悉,此次交易的收购方案包括所有员工将被保留。MosaicML,是一家主打生成式 AI 平台的初创公司,曾开源两个MPT系列大模型,其客户包括甲骨文等公司。

据悉,两者结合将帮助任何组织构建、使用生成式AI模型,成本将只会花费数千美元,而非数百万美元。

中国移动超大规模智算中心将于2024年投产

在今日举办“5G创新引领 数智融合共赢”发布上,中国移动副总经理李慧镝透露,在算力方面,中国移动将持续提升算力规模,大力发展智能算力。

一是大力推进算力资源建设,力争到2025年,算力规模超20百亿亿次/秒(EFLOPS);二是加快建设企业级集中智算中心,到2024年,中国移动超大规模智算中心将投产。

英伟达与云计算巨头Snowflake达成合作

据新浪财经报道,英伟达周一宣布,将与Snowflake合作,为这家基于云计算的数据仓库公司的客户提供生成式人工智能技术。

在一次视频电话会议上,英伟达企业计算副总裁马努维尔·达斯(Manuvir Das)对该公司与Snowflake达成的新协议表示乐观。Snowflake将整合英伟达的人工智能软件和芯片,为这项服务提供动力。英伟达没有具体说明新功能将于何时发布。

人工智能初创公司Stability AI两位高管离职

据财联社报道,人工智能初创公司Stability AI的首席运营官及研发主管均已经从公司离职。

此前有媒体报道称,该公司创始人兼CEO惯于夸大事实,令投资者对该公司业绩真实性存疑。而不久前,这家初创公司刚刚投资者给出了至少10亿美元的估价。

大模型晚报|百度CTO王海峰:文心大模型3.5新增插件机制

美国众议院办公室只能使用付费版ChatGPT

据财联社消息,美国众议院首席行政官Catherine Szpindor对国会工作人员表示,办公室只允许使用付费版的ChatGPT Plus。Axios报道称,Szpindor表示付费订阅版包含了保护数据所需的隐私功能。

科大国创:公司研发电信行业预训练大模型GC-TeleGPT

科大国创6月26日在互动平台上称,公司基于多年在运营商、能源、交通等行业积累的经验和高可信软件技术优势,积极推动程序自动生成和电信、电力、交通行业GPT的研发。

公司基于通用大模型,积极研发电信行业预训练大模型GC-TeleGPT,融合通用数据和运营商行业特有知识,目前已在电信智能客服等领域实现落地应用。

软通动力:公司虚拟数字人产品已升级至2.0版本

软通动力6月26日在互动平台上称,公司成立了人工智能研究与创新中心(AIC),聘请了国内AI行业领军人物卢志武教授作为首席AI科学家,构建AI技术能力线。

公司是微软大模型的较早接入应用开发者, 是百度文心一言、文心千帆大模型平台和阿里通义千问的生态合作伙伴,同时基于某大型通讯设备企业大模型的人工智能框架,将自身的业务范围覆盖至AI算力资源到AI开发平台层的领域。此外,公司与智子引擎元乘象也达成了合作。

近日,公司发布的软通天璇2.0 MaaS平台,在技术底座层级扩展了包括微软、阿里、百度及元乘象ChatImg在内的大模型接入。 公司的虚拟数字人产品已升级至2.0版本,聚焦元宇宙、智能化两大方面,推出元宇宙数字人创作与管理平台,可提供客户在云上使用。

生成式AI风险引起重视,投资者不再“无脑入”

据新浪科技报道,今年,生成式人工智能(AI)的迅速普及提振了市场。

但经历了最初的兴奋之后,投资者愈发重视潜在风险,比如选股的时候又开始警惕了起来。投资经理们如今正试图找出生成式AI可能要颠覆的领域,IT服务和咨询,媒体、信息、教育等行业如今都在他们的密切关注下。

美国银行6月份的最新调查显示,全球29%的投资者预计AI不会增加利润或就业机会。持乐观态度的投资者比例更高一些,为40%。

OpenAI计划把ChatGPT变成超级智能的个人工作助理

据The Information报道,在半年的时间里,ChatGPT已经成为世界上最知名的互联网品牌之一。

现在,它的创造者OpenAI对这个聊天机器人有了更大的计划:首席执行官萨姆·奥特曼私下告诉一些开发者,OpenAI想把它变成一个“超级智能的个人工作助理”。凭借对个人及其工作场所的内在了解,这样的助手可以按照该人的风格起草电子邮件或文件,并掌握有关其业务的最新信息。

重点论文:

微软推出 ZeRO++ 技术,可显著减少 AI 大模型训练时间和成本

微软官方消息,微软研究人员日前推出了名为 ZeRO++ 的新技术,可显著减少大模型训练时间和成本。

ZeRO++ 建立在 ZeRO 传输技术基础上,提供增强的通信策略,可提高训练效率,同时减少训练时间和成本。ZeRO++ 可对权重进行量化,其利用基于块的量化方法来保持训练精度,这种优化的量化过程相对原始 Zero 传输技术更快更准确。

微软研究人员表示,与 ZeRO 相比,ZeRO++ 减少了高达 4 倍的通信量,提高了训练吞吐量和效率。

论文地址:https://www.microsoft.com/en-us/research/blog/deepspeed-zero-a-leap-in-speed-for-llm-and-chat-model-training-with-4x-less-communication/

Read More 

正文完
可以使用微信扫码关注公众号(ID:xzluomor)
post-qrcode
 
评论(没有评论)
Generated by Feedzy