计算机行业点评:无损长文本长度达200万字,Kimi打开大模型应用新世界平安证券2024-03-22.pdf
摘要:事项:近日,国内人工智能公司月之暗面(MoonshotAI)在其微信公众号“MoonshotAI”宣布,该公司的Kimi智能助手在长上下文窗口技术上取得突破,无损上下文长度可以到200万字。此前,在2023年10月公司的智能助手可以实现20万无损上下文长度,最新能力提升了一个数量级。平安观点:Kimi智能助手短期内能力得到了大幅提升,在国内热度快速提高。此次发布的无损上下文长度达到200万字,较此前的20万字,中间仅相隔了5个月左右。而公司月之暗面也是在2023年4月份才成立,成立时间也不足一年。Kimi智能助手又称KimiChat,是月之暗面基于自研千亿参数大模型打造的对话式AI助手产品,于2023年11月正式面向市场应用。该产品最强的能力在于长上下文处理,包括长文总结和生成、联网搜索、数据处理、编写代码、用户交互和翻译等。上线之后,该工具的热度快速提升。根据Similarweb数据显示,近几周Kimi的访问量上升趋势非常明显,该网站统计的最近四周(2.20-2.26、2.27-3.4、3.5-3.11、3.12-3.18)的访问量分别是100.3万、112.8万、152.0万和225.0万。虽然公司对服务器持续进行了扩容,但是面对快速的用户增长,压力已经开始显现。长文本有望打开大模型应用新世界。大模型的参数量决定了其能够支持多复杂的“计算”,而能够接收多少文本输入(即长文本技术)则决定了大模型有多大的“内存”,两者共同决定模型的应用效果。当前大模型输入长度普遍较低的现状对其技术落地产生了极大制约,比如虚拟角色会“忘记”部分重要信息,Agent无法获得全面的输入信息可能出现运行失败,部分游戏产品由于无法处理长文本能力而被迫简化剧情等。Kimi支持更长的上下文意味着大模型拥有更大的“内存”,从而使得大模型的应用更加深入和广泛,公司官方公众号显示,Kimi可以通过多篇财报进行市场分析、处理超长的法务合同、快速梳理多篇文章或多个网页的关键信息、基于长篇小说设定进行角色扮演等等。大模型无损上下文长度的数量级提升,未来会帮助用户打开对AI应用场景的想象力,包括完整代码库的分析理解、可以自主完成多步骤复杂任务的智能体Agent、不会遗忘关键信息的终身助理、真正统一架构的多模态模型等。“无损压缩”和文本长度提升是长文本技术需要兼顾的要求。公司创始人表示,如果要实现通用人工智能,无损的长上下文将会是一个很关键的基础技术。历史上所有的模型架构演进,本质上都是在提升有效的、无损的上下文长度。上下文长度在提升的过程中,需要兼顾长度和无损压缩水平两个指标,这样才能有意义的规模化。从此次升级的间隔来看,时间非常短,可见公司并没有走渐进式的迭代路线,当然面临的技术难度应该也更大。公司的研发和技术团队从模型预训练到对齐、推理环节均进行了原生的重新设计和开发,在千亿参数下实现了无损的长程注意力机制,不依赖于滑动窗口、降采样、小模型等对性能损害较大的“捷径”方案,兼顾了对长度和“无损”的两项指标。投资建议:Kimi的火热,是国内在大模型基础技术研究方面的突破的一个缩影。无损长文本模型的出现,也解决了很多大模型在应用中的痛点,打开了大模型的应用空间。AIGC最终的落地,还是要找到合适的场景。Kimi作为千亿大模型,能够支持复杂运算,同时还能接受和处理大文本,解决了很多大模型实际应用中的难题,后续商业化潜力将凸显。目前,Kimi智能助手已在苹果iOS应用、Android应用、小程序、网页Web等多端平台上线。我们继续看好AIGC产业链,尤其是大模型的应用潜力。在标的方面:1)算力方面,推荐浪潮信息、中科曙光、紫光股份、神州数码、海光信息、龙芯中科,建议关注工业富联、寒武纪、景嘉微、高新发展、拓维信息、软通动力;2)算法方面,推荐科大讯飞;3)应用场景方面,强烈推荐中科创达、恒生电子、盛视科技,推荐金山办公,建议关注万兴科技、同花顺、彩讯股份;4)网络安全方面,强烈推荐启明星辰。风险提示:1)国内算力提升速度不及预期的风险;2)版权等合规监管风险;3)技术演进风险。
免责声明: 1.本站部分作品是由网友自主投稿和发布、编辑整理上传,对此类作品本站仅提供交流平台,不为其版权负责。 2.如发布机构认为违背了您的权益,请与我们联系,我们将对相关资料予以删除。 3.资源付费,仅为我们搜集整理和运营维护费用,感谢您的支持!
合集服务: 单个细分行业的合集获取请联系行研君:hanyanjun830
-
预制食品行业全景图:供需两旺,行业正在走向高质量发展 平安证券 2024-04-25(32页) 附下载
核心摘要上游:原材料依存度较高,成本下行阶段有望释放利润弹性。预制食品直接材料成本在总成本中占比极高...
2.36 MB共32页中文简体
2天前020积分
-
计算机行业:商汤日日新5.0对标GPT-4Turbo,打造“云、边、端”全栈大模型矩阵 中国银河 2024-04-25(3页) 附下载
核心观点:事件:4月23日,商汤科技SenseTime在上海、深圳等多地举报技术交流日活动,发布行业...
297.54 KB共3页中文简体
2天前020积分
-
中科飞测 业绩符合预期,产品种类日趋丰富 平安证券 2024-04-25(4页) 附下载
中科飞测(688361)事项:公司公布2023年年报,2023年公司实现营收8.91亿元(74.95...
754.74 KB共4页中文简体
2天前218积分
-
长城汽车 坦克及出口保持高增长,发布直营销售体系 平安证券 2024-04-25(4页) 附下载
长城汽车(601633)事项:长城汽车发布2024年一季报,一季度公司实现营业收入428.6亿元,同...
696.05 KB共4页中文简体
2天前218积分
-
芯碁微装 PCB主业阿尔法显著,泛半导体业务维持高增长 平安证券 2024-04-25(4页) 附下载
芯碁微装(688630)事项:公司公布2023年年报和2024年一季报,2023年,公司实现营收8....
813.75 KB共4页中文简体
2天前418积分
-
立讯精密 各项业务进展顺利,半年度业绩预增 平安证券 2024-04-25(4页) 附下载
立讯精密(002475)事项:公司公布2023年年报,2023年公司实现营收2319.05亿元(8....
776.03 KB共4页中文简体
2天前218积分
-
九典制药 销售费用率改善趋势明显,酮洛芬凝胶贴膏迎放量元年 平安证券 2024-04-25(4页) 附下载
九典制药(300705)事项:公司公布2023年报,实现收入26.93亿元(+15.75%),归母净...
777.99 KB共4页中文简体
2天前218积分
-
坚朗五金 业绩保持平稳,应收款持续减少 平安证券 2024-04-25(4页) 附下载
坚朗五金(002791)事项:公司公布2024年一季报,期内实现营收13.7亿元,同比增长0.9%,...
693.35 KB共4页中文简体
2天前218积分
-
成都银行 盈利稳健资产质量夯实,持续看好区域红利释放 平安证券 2024-04-25(5页) 附下载
成都银行(601838)事项:成都银行发布2023年年报及2024年一季报,公司23年、24Q1分别...
985.79 KB共5页中文简体
2天前218积分
-
东方财富 自营投资表现较好,支撑业绩韧性 平安证券 2024-04-25(4页) 附下载
东方财富(300059)事项:东方财富发布2024年一季报,实现营业总收入24.56亿元(YoY-1...
863.8 KB共4页中文简体
2天前218积分
-
广联达 营收同比微幅下降,看好数字新成本业务未来发展 平安证券 2024-04-25(4页) 附下载
广联达(002410)事项:公司公告2024年一季报,2024年一季度,公司实现营业总收入13.00...
750.05 KB共4页中文简体
2天前218积分
-
加仓有色、通信,减仓医药、计算机 华金证券 2024-04-25(13页) 附下载
一季度整体仓位下降,主板持仓占比明显上升,创业板和科创板仓位回落。首先,2024Q1主动偏股型基金整...
3.29 MB共13页中文简体
2天前010积分
-
平安研粹:2024年5月市场观点 平安证券 2024-04-25(23页) 附下载
海外:全球避险情绪升温1、 美国通胀仍强, 美联储“放鹰” 。 4月以来公布的数据显示, 美国经济韧...
1.37 MB共23页中文简体
2天前210积分
-
计算机行业周报:Llama 3发布,开源大模型迎重要进展 上海证券 2024-04-24(15页) 附下载
市场回顾过去一周(4.15-4.19)上证综指上涨1.52%,创业板指下跌0.39%,沪深300指数...
669.3 KB共15页中文简体
3天前020积分
-
汽车行业点评:特斯拉一季度业绩下滑,新车型加速推出 平安证券 2024-04-24(3页) 附下载
事项:特斯拉发布2024年一季度业绩报告,2024年一季度特斯拉实现营业收入213.0亿美元,同环比...
311.59 KB共3页中文简体
3天前220积分
-
计算机行业周报:Meta推出开源Llama 3,关注国内AI产业技术进步 华龙证券 2024-04-24(11页) 附下载
摘要:开源推动大模型产业进步,有望进一步推动国内算力需求。近期,Meta发布开源大模型Llama38...
683.2 KB共11页中文简体
3天前020积分
-
非银行业主动型基金重仓数据跟踪(24Q1):板块持仓已处底部,关注左侧布局机会 平安证券 2024-04-24(13页) 附下载
核心观点一、行业数据跟踪:A股重仓市值环比继续下降,新发基金数量下滑。24Q1上证综指宽幅震荡,结构...
1.36 MB共13页中文简体
3天前420积分
-
光伏玻璃行业深度报告:供需阶段性改善,龙头竞争优势稳固 平安证券 2024-04-24(24页) 附下载
光伏玻璃为组件重要构成,产品趋于轻薄化。光伏玻璃作为光伏组件重要防护构成,主要采用压延法生产工艺,相...
2.04 MB共24页中文简体
3天前220积分
-
沪电股份 数通PCB领域传统强者,乘AI之风实现业绩高增 平安证券 2024-04-24(23页) 附下载
沪电股份(002463)平安观点:国内领先高端PCB厂商,深耕数通和汽车两大领域。公司是国内高端PC...
2.6 MB共23页中文简体
3天前018积分
-
中国中免 Q1海南离岛免税影响收入,经营开始改善向上 平安证券 2024-04-24(4页) 附下载
中国中免(601888)事项:中国中免2024Q1营收188.07亿元,同比下滑9.45%,归母净利...
708.37 KB共4页中文简体
3天前218积分