计算机行业研究:如何实现AGI:大模型现状及发展路径展望 国金证券 2024-04-05(26页) 附下载
发布机构:国金证券发布时间:2024-04-05大小:4.83 MB页数:共26页上传日期:2024-04-08语言:中文简体

计算机行业研究:如何实现AGI:大模型现状及发展路径展望国金证券2024-04-05.pdf

摘要:目前大模型能力仍处于Emerging AGI水平,就模型成熟度而言,语言大模型>多模态大模型>具身智能大模型。根据DeepMind的定义,AGI应能够广泛学习、执行复杂多步骤的任务。模型的AGI水平可分为Level-0至Level-5共6个等级,现阶段大模型在处理任务的广泛性上还有很大提升空间,即使是国际顶尖的大模型也仍处于Level-1Emerging AGI阶段。不同类型大模型成熟度差异较大,目前大语言模型能力相对完善,落地应用场景丰富,底层技术路线较为成熟;多模态大模型已经能够面向B\C端推出商业化产品,但细节优化空间较大;具身智能类大模型还在探索阶段,技术路线尚不清晰。现阶段讨论AGI能力提升仍需聚焦于多模态大模型的训练和应用。目前学界和业界重点关注Scaling Law的有效性,以及模型算法的可能改进方向。Scaling Law仍有深入空间。根据OpenAI研究,随模型参数量、数据集规模、训练使用的计算量增加,模型性能能够稳步提高,即Scaling Law。从训练样本效率、训练时长、各类资源对模型的贡献维度来看,目前ScalingLaw仍是提高模型性能的最优方法。OpenAI测算在模型参数量扩展到88万亿及之前,Scaling Law依旧有效,则中短期仍可延续此路线进行训练。模型骨干网络架构尚未演变至终局,微调及稀疏结构成为提升模型性能的重要方法。目前主流大模型均采用Transformer作为底层骨干网络,但针对编码器\解码器选择、多模态融合、自注意力机制等方面的探索仍在持续推进。微调使用更小的数据量、更短的训练时间,让模型能够适应下游任务,以降低边际落地成本。以MoE为代表的稀疏结构通过分割输入任务并匹配专家模型,能够提高模型的整体性能。开源模型性能优化速度快于闭源模型。我们认为,目前第一梯队AI大模型纷纷进军万亿参数,且不远的将来大模型将逐步逼近十万亿参数收敛值,对于本轮AI浪潮而言,找场景或优于做模型。在场景选择方面,对“幻觉”容忍度高且能够替代人工的场景可实现应用率先落地,如聊天机器人、文本/图像/视频创作等领域;而对“幻觉”容忍度较低的行业需要等待大模型能力提升或使用更多场景数据训练。投资建议算法、数据、算力是影响模型性能的关键因素,相关企业能够直接受益于大模型训练的持续推进,推荐国内AI算法龙头科大讯飞等,建议关注数据工程供应商以及算力产业链相关公司。对于行业类公司而言,寻找通过AI赋能带来效率提升的场景更为重要,建议关注AI+办公领域的金山办公、万兴科技,AI+安防领域的海康威视,AI+金融领域的同花顺等公司。风险提示底层大模型迭代发展不及预期;国际关系风险;应用落地不及预期;行业竞争加剧风险。

免责声明:
1.本站部分作品是由网友自主投稿和发布、编辑整理上传,对此类作品本站仅提供交流平台,不为其版权负责。
2.如发布机构认为违背了您的权益,请与我们联系,我们将对相关资料予以删除。
3.资源付费,仅为我们搜集整理和运营维护费用,感谢您的支持!

合集服务:
单个细分行业的合集获取请联系行研君:hanyanjun830

关于上传者

文档

532

粉丝

0

关注

0
相关内容
加入星球
开通VIP,可免费下载 立即开通
开通VIP
联系客服 扫一扫

扫一扫
联系在线客服

公众号

扫一扫
关注我们的公众号

在线反馈
返回顶部