DeepSeek:破坏性的人彻底改变了人工智能景观

Aipu Waton Group

介绍

竞争大型模型,云提供商竞争市场份额以及勤奋的芯片制造商的持续焦虑 - DeepSeek效应仍然存在。

随着春节即将结束,DeepSeek周围的兴奋仍然很强。最近的假期强调了科技行业内部的重要竞争感,许多人讨论和分析了这种“ cat鱼”。硅谷正经历着一种前所未有的危机感:开源的拥护者再次发表意见,甚至Openai都在重新评估其封闭源策略是否是最佳选择。较低的计算成本的新范式引发了NVIDIA等芯片巨头的连锁反应,从而记录了美国股票市场历史上的单日市场价值损失,而政府机构正在研究DeepSeek使用的芯片的合规性。在国内对海外深处的评论中,它正在经历非凡的增长。 R1模型推出后,关联的应用程序的流量激增,这表明应用程序扇区的增长将推动整体AI生态系统向前发展。积极的方面是,DeepSeek将扩大应用程序的可能性,这表明将来依靠Chatgpt不会那么昂贵。这次转变反映在OpenAI最近的活动中,包括提供了一种称为O3-Mini的推理模型,以响应DeepSeek R1,以及随后的升级,这使O3 Mini Public的思想链成为了。许多海外用户对这些事态发展表示感谢,尽管这个思想链是一个摘要。

乐观地,很明显,DeepSeek正在统一国内玩家。侧重于降低培训成本,各种上游芯片制造商,中级云提供商以及众多初创公司正在积极加入生态系统,从而提高了使用DeepSeek模型的成本效率。根据DeepSeek的论文,对V3模型的完整培训仅需要278.8万H800 GPU小时,并且培训过程非常稳定。与拥有4050亿参数的Llama 3相比,MOE(专家)体系结构(专家的混合物)对于将预训练成本降低了十倍至关重要。目前,V3是第一个公开认可的模型,证明了MoE中如此高的稀疏性。此外,MLA(多层注意力)在协同上起作用,尤其是在推理方面。 Chuanjing Technology在AI技术审查的分析中指出,“少碎机构的MOE越大,批次尺寸越大,可以充分利用计算能力的计算能力,而KVCache的大小是关键的限制因素; MLA大大降低了KVCACHE的大小。”总体而言,DeepSeek的成功在于各种技术的结合,而不仅仅是一个技术。行业内部人士赞扬DeepSeek团队的工程能力,指出了他们在并行培训和操作员优化方面的卓越表现,通过完善每个细节来实现突破性的结果。 DeepSeek的开源方法进一步增强了大型模型的整体开发,预计如果类似的模型扩展为图像,视频等,这将大大刺激整个行业的需求。

第三方推理服务的机会

数据表明,自发布以来,DeepSeek在短短21天内就累积了2215万活跃用户(DAU),占Chatgpt用户群的41.6%,超过1695万Douelao的活跃用户,从而成为全球增长最快的应用程序,从而成为157个国家/地区的Apple App Store。但是,尽管用户蜂拥而至,但网络黑客一直在不懈地攻击DeepSeek应用程序,从而对其服务器造成了重大压力。行业分析师认为,这部分是由于DeepSeek部署了用于培训的卡,同时缺乏足够的计算能力来推理。行业内部人士告知AI技术评论,“可以通过收取费用或融资来购买更多机器来轻松解决服务器问题;最终,这取决于DeepSeek的决定。”这在专注于技术与生产力方面进行了权衡。 DeepSeek在很大程度上依赖量子量化来进行自我维护,几乎没有获得外部资金,从而导致现金流动压力相对较低,并且具有更纯净的技术环境。目前,鉴于上述问题,一些用户敦促在社交媒体上进行DeepSeek提升使用阈值或引入付费功能以增强用户舒适性。此外,开发人员已经开始利用官方API或第三方API进行优化。但是,DeepSeek的开放平台最近宣布:“当前的服务器资源很少,API服务充值已被暂停。”

 

毫无疑问,这为AI基础设施领域的第三方供应商打开了更多机会。最近,许多国内和国际云巨头推出了DeepSeek的模型API -Overseas巨头Microsoft和Amazon是1月底最早加入的人之一。国内领导人华为云采取了第一步,并于2月1日与基于硅的Flow合作发布了DeepSeek R1和V3推理服务。AI技术评论的报告表明,总部位于硅的Flow Services看到了大量用户的涌入,有效地“崩溃”了该平台。这家三大科技公司(BAIDU,阿里巴巴,腾讯)和拜托斯(Bytedance)也发行了低成本的限时报价,从2月3日开始,让人联想到去年的云供应商价格战,DeepSeek的V2模型推出,DeepSeek的DeepSeek开始被称为“ Price Butcher”。云供应商的疯狂行动与Microsoft Azure和Openai之间的较早牢固的联系呼应,2019年,Microsoft在2023年Chatgpt在2023年推出后,对OpenAi进行了10亿美元的投资,并从2023年推出后获得了收益。但是,这种紧密的关系开始在Meta开放式Llama之后开始与Microsoft ecosystem的其他模型相处,使其与其他卖机相处,使其与Microsoft ecosysy竞争。在这种情况下,DeepSeek不仅在产品热量方面超过了Chatgpt,而且在O1发行后也引入了开源模型,类似于围绕Llama复兴GPT-3的兴奋。

 

实际上,云提供商还将自己定位为AI应用程序的交通网关,这意味着与开发人员的联系加深了联系,转化为先发制人的优势。报告表明,百度智能云在模型发布日通过Qianfan平台拥有15,000多个客户使用DeepSeek模型。此外,几家较小的公司还提供解决方案,包括基于硅的流量,Luchen Technology,Chuanjing Technology以及各种对DeepSeek模型的支持的AI Infra提供商。 AI技术评论了解到,当前主要存在于两个领域的DeepSeek局部部署的优化机会:一种使用混合推理方法优化MOE模型的稀疏特性,以在本地部署6710亿个MOE模型,同时利用混合GPU/CPU/CPU/CPU选择。另外,MLA的优化至关重要。但是,DeepSeek的两个模型在部署优化方面仍然面临一些挑战。 Chuanjing Technology的研究人员说:“由于模型的规模和许多参数,优化确实很复杂,特别是对于在绩效和成本之间达到最佳平衡的本地部署将具有挑战性。”最重要的障碍在于克服内存能力限制。他进一步解释说:“我们采用异构协作方法充分利用CPU和其他计算资源,仅将稀疏的MOE矩阵的非共享部分放在CPU/DRAM上,用于使用高性能CPU操作员处理,而密集的部分则留在GPU上。”报告表明,Chuanjing的开源框架KtransFormers主要通过模板将各种策略和操作员注入原始变形金刚实现,从而使用Cudagraph等方法显着提高推理速度。 DeepSeek为这些初创公司创造了机会,因为增长益处变得显而易见。许多公司在推出DeepSeek API后报告了明显的客户增长,并收到了以前的客户寻求优化的询问。行业内部人士指出:“过去,经常将某种成熟的客户群锁定在大型公司的标准化服务中,受其成本优势的紧密限制。但是,在完成春季音乐节之前的DeepSeek-R1/V3部署后,我们突然突然收到了几个知名客户的合作要求,甚至从几个知名的客户那里收到了以前的客户,甚至接触了我们的DeepSeekssects Serviceek。”目前,DeepSeek似乎正在使模型推理绩效越来越重要,并且随着大型模型的广泛采用,这将继续影响AI Infra行业的发展。如果可以以低成本的价格在本地部署DeepSeek级别的模型,那将极大地帮助政府和企业数字化转型工作。但是,挑战仍然存在,因为一些客户可能对大型模型功能抱有很高的期望,这使得平衡性能和成本在实际部署中变得至关重要。 

要评估DeepSeek是否比Chatgpt更好,必须了解其主要差异,优势和用例。这是一个全面的比较:

功能/方面 DeepSeek chatgpt
所有权 由中国公司开发 由Openai开发
来源模型 开源 所有权
成本 免费使用;便宜的API访问选项 订阅或按需付费定价
定制 高度可定制的,允许用户调整并在其基础上构建 有限的自定义可用
特定任务的表现 在某些领域(例如数据分析和信息检索)表现出色 多才多艺,在创意写作和对话任务中表现出色
语言支持 强烈关注中文和文化 广泛的语言支持,但以美国为中心
培训成本 降低培训成本,优化效率 较高的培训成本,需要大量的计算资源
响应变化 可能会提供不同的反应,可能受地缘政治背景的影响 基于培训数据的一致答案
目标受众 针对想要灵活性的开发人员和研究人员 针对寻求对话能力的普通用户
用例 更有效地用于代码生成和快速任务 生成文本,回答查询和进行对话的理想之选

关于“破坏Nvidia”的批判性观点

目前,除华为外,几家国内芯片制造商,如Moore Threads,Muxi,Biran Technology和Tianxu Zhixin也正在适应DeepSeek的两种型号。一家芯片制造商告诉AI技术评论:“ DeepSeek的结构证明了创新,但仍然是LLM。我们对DeepSeek的适应性主要集中在推理应用上,使技术实施变得相当简单,快速。”但是,MOE方法在存储和分配方面需要更高的需求,并在与国内芯片部署时确保兼容,并提出许多工程挑战,在适应过程中需要解决。一位行业从业人员根据实践经验说:“目前,国内计算能力在可用性和稳定性方面与NVIDIA不符,需要针对软件环境设置,故障排除和基本绩效优化的原始工厂参与。”同时,“由于DeepSeek R1的较大参数量表,国内计算能力需要更多的并行性节点。此外,国内硬件规格仍然有些落后;例如,当前的Huawei 910B目前无法支持DeepSeek引入的FP8推断。” DeepSeek V3模型的亮点之一是引入FP8混合精度训练框架,该框架已在非常大的模型上有效验证,这标志着一项重大成就。以前,像Microsoft和Nvidia这样的主要参与者提出了相关的工作,但怀疑该行业对可行性的持续存在。可以理解的是,与INT8相比,FP8的主要优势是,训练后量化可以达到几乎无损的精度,同时显着提高了推理速度。与FP16相比,FP8最多可以在NVIDIA的H20上实现两次加速度,而H100的加速度超过1.5倍。值得注意的是,随着围绕国内计算能力加上国内模型的趋势的讨论,人们对是否可以破坏NVIDIA的猜测以及是否可以绕过Cuda护城河的猜测变得越来越普遍。一个不可否认的事实是,DeepSeek确实确实导致了NVIDIA的市场价值大幅下降,但是这种转变引发了有关NVIDIA高端计算能力完整性的问题。以前关于资本驱动计算积累的叙述正在受到挑战,但是在培训方案中,NVIDIA仍然很难被完全替换。对DeepSeek对CUDA的深入使用的分析表明,灵活性(例如使用SM进行通信或直接操纵网卡)是不可行的,因此常规GPU可以容纳。行业观点强调,NVIDIA的护城河涵盖了整个CUDA生态系统,而不仅仅是CUDA本身,而DeepSeek采用的PTX(平行线程执行)指令仍然是CUDA生态系统的一部分。 “在短期内,NVIDIA的计算能力不能被绕过 - 但是,这在培训中特别清楚;但是,部署国内卡来推理将相对容易,因此进步可能会更快。国内牌的适应能力主要侧重于推理;没有人能够培训DeepSeek在国内纸牌上的型号,该模型在规模上进行了国内纸牌的培训,”一项行业分析的评论,”一项In Acally toce of Analys Technology of Analy Analys Insport of Analy Analys Analys Inspers Insection toce of Anecort of Analy Analys Inspers of Anece In a nii In II II II II II II II II II II。总体而言,从推论的角度来看,对于国内大型模型芯片而言,情况令人鼓舞。由于培训的要求过高,因此在推理领域内的国内芯片制造商的机会更为明显。分析师认为,仅利用国内推理卡就足够了;如有必要,购买额外的机器是可行的,而培训模型会带来独特的挑战 - 管理增加的机器可能会变得繁重,并且更高的错误率可能会对培训结果产生负面影响。培训还具有特定的集群量表要求,而推断集群的需求并不那么严格,从而减轻了GPU的要求。目前,NVIDIA的单个H20卡的性能尚未超过华为或寒武纪的表现;它的力量在于聚类。根据对计算电源市场的总体影响,卢钦技术的创始人Youang在接受AI技术评论的访谈中指出:“ DeepSeek可能会暂时破坏超大培训计算机插件的建立和租金。从长远来看,长期以来,通过与大型模型培训相关的成本可以显着降低,从而可以基于持续的型号,并可能降低基于市场的持续需求,并可能取决于A的持续范围。在计算电源市场中。”此外,“ DeepSeek对推理和微调服务的需求提高与国内计算局势相对兼容,国内计算局势相对较弱,有助于减轻群集中的闲置资源的浪费;这为制造商提供了可行的家庭计算生态生态系统的生产商。” Luchen Technology与华为云合作,基于国内计算能力启动DeepSeek R1系列推理API和云成像服务。 Yang对未来表示乐观:“ DeepSeek灌输了对国内产生的解决方案的信心,鼓励对未来的国内计算能力进行更大的热情和投资。”

微信图片_20240614024031.jpg1

结论

DeepSeek是否比Chatgpt更好地取决于用户的特定需求和目标。对于需要灵活性,低成本和自定义的任务,DeepSeek可能会出色。对于创意写作,一般查询和用户友好的对话界面,Chatgpt可能会带头。每个工具都有不同的目的,因此选择将在很大程度上取决于使用它们的上下文。

查找电缆解决方案

控制电缆

用于BMS,公共汽车,工业,仪表电缆。

结构化电缆系统

网络和数据,光纤电缆,贴片线,模块,面板

2024年展览与活动评论

2024年4月16日至18日,迪拜中东 - 能源

2024年4月16日至18日,莫斯科Securika

2024年5月9日,新产品和技术在上海推出活动

2024年10月22日25日,北京安全中国安全

1924年11月19-20日,连接世界KSA


发布时间:2月10日至2025年