20240604001604_65173.jpg" loading="lazy" alt="大模型让让小模型退场丨科创要闻">

4月23日，微软推出小言语模型（SLM） Phi-3系列 ，有Phi-3-mini、Phi-3-small、Phi-3-medium三个版本，在评价言语、编程、数学才干等的基准测试中，Phi-3系列模型表现优于等同规模甚至更大规模模型（如GPT-3,5）。微软称其是目前同类中最弱小且最具老本效益的小型言语模型。

Phi-3模型的“小体积”，让手机上运转高才干的言语模型成为或者。如Phi-3-mini只占用手机18GB内存，如在iPhone 14上部署，苹果的A16仿生芯片在设施上脱机运转，可以成功每秒超越12个token。

自2022年12月ChatGPT爆火之后，科技公司们一头扎进了大型模型的竞争，2023年接连刷新模型参数，2024年开局“内卷长文本。大家仿佛自动数据越多、参数越大、算力越强，模型的才干越强。

然而，高昂的运转老本、详细场景模型调试难度等疑问，让大模型商业化的门路慢上去。此时小模型的长处就表现进去了。

小模型，目前某些畛域也能凑近大模型的功能。特意是在各手机和PC厂商正在力推的AIPC、AI手机上，对设施计算才干、运转才干、贮存才干需要较低，能在地化运转的小模型，确实是不错的选用。

其实早在2023年6月份，微软就颁布了第一代Phi模型，Phi-3系列曾经是其第四代产品。近期，苹果公司也凑了小模型的繁华。

2024年4月24日，在大模型上没有什么动态的苹果公司，颁布 开源小言语模型OpenELM ，包含

什么是大模型和小模型？

大模型（Large Model）是指具有数百万或数十亿个参数的深度神经网络模型，这种模型经过专门的训练过程，能够对大规模数据进行复杂的处理和任务处理。

大模型需要占用大量的计算资源、存储空间、时间和电力等资源来保证它的训练和部署。相比之下，小模型（Small Model）是指具有较少参数的深度神经网络模型。小模型常常运行速度更快，也更加轻便，适用于一些计算资源和存储空间较少的设备或场景，例如移动设备或嵌入式设备。

在实际应用中，选择大模型或小模型取决于需要解决的问题和可用资源。大模型通常在自然语言处理、计算机视觉、推荐系统等方面表现良好，它们通常需要高性能计算资源的支持，例如标准的GPU或云端集群。

小模型适合解决一些简单的、小规模的问题，例如信用卡欺诈检测等，它们具有更快的推理速度，可以在低功耗设备上运行，例如智能手机或物联网设备。

大模型能解决的问题

大规模预训练可以有效地从大量标记和未标记的数据中捕获知识，通过将知识存储到大量的参数中并对特定任务进行微调，极大地扩展了模型的泛化能力。在应对不同场景时，不再从0开始，只需要少量的样本进行微调。

再比如BERT已经训练好了，我们要做下游任务，做一个句子的情感分析。那么就会在BERT的输入token中加入一个 class token，这个和vit的做法一样，encoder以后用class token的向量做一下linear transoformation 和softmax和gt做损失训练，所以这一步可以直接初始化BERT模型的预训练参数做finetune，效果要更好。收敛的又快，loss又低。

华为盘古大模型如何赋能自动驾驶？

盘古大模型主要是帮助自动驾驶提升数据闭环。

华为盘古大模型开始赋能自动驾驶。

近日，华为云智能驾驶创新峰会上，基于盘古大模型，华为发布自动驾驶领域四个场景大模型。分别是，场景生成大模型、场景理解大模型、预标注大模型、多模态检索大模型。与此同时，华为方面称，基于盘古大模型3.0，华为云还可以帮助企业打造自己的自动驾驶大模型。

事实上，自2017年谷歌发布Transformer网络结构，成为大模型发展源头技术后，大模型技术在自然语言理解、计算机视觉、智能语音等方面都取得了突破。中国自2020年也进入大模型快速发展期，出现了文心一言、通义千问、星火认知等一批预训练大模型。

那么，与其他大模型相比，华为盘古大模型有什么不同？“3.0”又是什么架构？它在自动驾驶领域主要有哪些作用，又面临哪些挑战呢？

盘古大模型3.0是什么？

华为盘古大模型布局已久，其负责人是华为云AI首席科学家田奇。

田奇曾于2008至2009年，从大学调至微软亚洲研究院多媒体计算组进行研究工作。2018 年，田奇加入华为担任首席科学家，负责华为云相关业务。

2020年，在田奇带领下，华为启动盘古大模型启动研发，并于2021年4月正式发布，到2022年聚焦行业应用落地。今年7月7日，华为开发者大会（Cloud）期间，盘古大模型3.0正式发布。

盘古大模型3.0是一个完全面向行业的大模型系列，包括“5+N+X”三层架构。

Δ 华为云盘古大模型架构

其中，L0层是指基础大模型，包括NLP（自然语言处理）大模型、CV（计算机视觉）大模型、多模态大模型、科学计算大模型和预测大模型五个基础大模型。

华为在这五大发展方向中的成熟度是不同的。与风头正劲的ChatGPT在NLP领域比较强势不同，盘古大模型的初衷主要是服务B段的客户，因此更聚焦比较成熟的CV领域。

L1层指N个行业大模型，华为云可以提供使用行业公开数据训练的行业通用大模型，包括政务、金融，制造，矿山，气象等大模型；也可以基于行业客户的自有数据，在盘古大模型的L0和L1层上，为客户训练自己的专有大模型。

L2则提供了更多细化场景的模型，是在L1基础上结合行业细分场景得到的推理模型，包括政务热线、网点助手、先导药物筛选、传送带异物检测、台风路径预测等具体行业应用或特定业务场景，提供“开箱即用”的模型服务。

整体来看，盘古大模型分为三个训练阶段：一是预训练，利用海量数据进行预训练得到通用基础模型，二是微调，针对下游行业具体任务，结合行业数据进行微调；三是大模型迭代，结合不断产生的新数据和之前训练使用的数据，实现大模型的终身学习。

在此之下，盘古大模型3.0还具备自研和解耦两大特征。

自研方面，根据华为云CEO张平安此前介绍，“华为自研的AI根技术，在最底层构建了以鲲鹏、升腾为基础的AI升腾云算力底座。并在升腾之上，提供了计算框架CANN……升腾云的效能不仅不落后，反而领先于业界主流GPU，盘古大模型训练效率对比业界主流GPU平均提升1.1倍。”

解耦，是盘古大模型3.0的另一个关键词。设计上，盘古大模型采用完全的分层解耦设计。合作伙伴可以基于此为自己的大模型加载独立的数据集，也可以单独升级基础模型，又可以单独升级能力集。

与此同时，在L0和L1大模型的基础上，华为云还为客户提供了大模型行业开发套件，通过对客户自有数据的二次训练，客户就可以拥有自己的专属行业大模型。此外，根据客户不同的数据安全与合规诉求，盘古大模型还提供了公用云、大模型云专区、混合云多样化的部署形态。

如何赋能自动驾驶？

具体到自动驾驶领域，盘古大模型3.0当下的主要作用是提升数据闭环。

数据闭环核心目的，是不断将高价格数据从原始数据中提取出来后，输送给算法做训练，最终不断完善算法，解决各种corner case（长尾场景）。

方式则是从车端提取数据做初期整理，然后进行场景化管理，再进行数据标注、训练、仿真，最后回给采集需求。其中，每一个过程都有大数据可以发力的机会点。

Δ 华为云盘古大模型赋能场景理解

首先是场景理解，这主要是为了提取自动驾驶高价值数据。

当下，随着高速NOA、城市NOA的不断推进，自动驾驶公司或车厂每年积累的数据不断增加，甚至达到百TB级别，其中真正能够送去做算法训练的不到百分之十，如何高效从原始数据中把需要的数据筛选出来非常重要。

根据华为方面透露，一些企业已经有大量的数据积累，传统的方式需要人工回看，再进行打标、分类组织起来。这样的速度是比较慢的，因此容易造成前端数据积压。大模型的机会点在于，可以自动理解视频当中的内容进行自动打标签，并形成产品化管理，为提取高价值场景做自动筛选。

其次是数据标注，正如上文所说，一些企业每年有上百TB数据需要标注，每年在此之中的花费可能为千万甚至上亿元，且效率还不能满足数据供给需求。大模型的机会点在于，它具有高精度优势，可以完成2D、3D的高精度标注，最高可以降低90%标注量。

一般来说，在华为做完预标注后，会与车企、标注第三方公司合作，在此基础上进行进一步处理。在华为看来，这意味着车企的任务从标注变成了质检，可以有效降低成本，并提升30%到40%的效率提升。

Δ 华为云盘古大模型赋能预标注

再此是场景生成，这一部分的主要目的是使感知模型的长尾问题能够自动生成补齐。一般情况下，当算法团队发现其算法在某些长尾问题下完成度不高时，会提出corner case收集需求。

此前主要是两种方式去进行采集，一是出采集任务，到真实场景里去采集，但corner case往往可遇不可求，很难真的碰到并被收集，效率低下；另一种则是传统3D建模的方式，这非常依赖3D建筑工程师的人工经验，且由于精度不够，当需要输出感知模型进行训练时，往往不足以支撑，导致模型精度下降。

这其中，大模型的机会点是，从实车数据学习如何生成新视频，同时处理重建和渲染，生成数据可用于感知算法训练；重建各类障碍物构建素材库，根据需要构造corner case，增强数据完备性；针对天气、昼夜、季节等环节因素对已有场景进行变换，构造corner case。华为提供的方式是，基于神经网络做实车场景，并进行重建跟渲染。

总之，根据华为云EI服务产品部部长尤鹏的说法，华为云通过盘古大模型赋能自动驾驶开发平台，可以实现三层加速：

通过数智融合架构打破数据、AI资源管理边界，在一个平台即可完成开发、测试、交付上线工作，让业务创新提效2倍，实现数据加速；

借助盘古大模型在认知、感知、决策、优化等全领域的能力，车企可以快速基于盘古训练出自己需要的模型，实现算法加速；

基于升腾AI云服务，可针对自动驾驶300+算法进行优化，60+实现精度性能提升，可以做到千卡训练数月不中断，实现算力加速。

还有哪些挑战？

未来很丰满，但当下盘古大模型的应用还处于比较早期阶段，至少在自动驾驶领域如此。

根据华为方面介绍，目前上述三种华为自动驾驶相关大模型中，只有场景理解大模型已有客户（比亚迪）合作落地。其他场景有一些联创项目，正在计划落地中。

与此同时，大模型也面临成本压力。

有数据显示，大模型的训练成本很高很高，GPT-3训练一次的成本可能在1200万人民币。而华为方面，在训练千亿参数的盘古大模型时，也调用了超过2000块的升腾910，进行了超过2个月的训练，价格不菲。

因此，大模型运用于自动驾驶时要求算力所带来的成本，以及如何分配算力成本也是量产面临的关键问题。

华为方面以高精地图类比称，高精地图对于自动驾驶的加持作用是毋庸置疑的，但近期多家车企提出了“无图”方案，除了政策原因外，成本问题是很大的因素。

实际上，GPT-3出现之后也给了业界一个很大的启示，是否还要继续这样“暴力美学”地走下去。

学界有观点认为，大模型在现在的参数基础上再指数级增加对模型的性能边际效应已经减弱了，那么这就需要一些降本的方法：Open AI团队选择的方式是做精准高质量的标注。

华为也有自己的思考。

一方面选择小样本训练，通过自监督的方法，以更少的标注数据来做训练，以降低成本。

另一方面，盘古大模型的三层架构也能在结构上实现降本。L0层是通识性的大模型，具备鲁棒性和泛化性；大模型训练好了之后不用再重复训练，只需在L1和L2层做适应性训练，成本关系是上一层的5-10%。

除此之外，大模型落地还面临数据复用、云端和车端不同芯片匹配、数据脱敏后鲜艳度等一系列问题待讨论。

可以预见，无论是华为，还是其他公司关于大模型的探索还在起步阶段，还需要很长时间去落地、验证。（完）

再增两百博士下一线，华为云盘古大模型奔涌进行业

在过去几个月的大模型落地实践中，业界遇到了方方面面的挑战。为了攻下行业山头，华为常务董事、华为云CEO张平安在华为全联接大会2023上，提出了 “解难题、做难事、行致远”的号召。华为云今年还将派出200多位博士和天才少年，与行业头部企业、战略伙伴一起，开展大模型落地会战。

文｜赵艳秋

编｜牛慧

9月21日，在盘古大模型3.0推出两个多月后，华为云在华为全联接大会2023上又推出了汽车、医学等新的行业大模型，并对政务、矿山、气象、数字人直播、软件研发等大模型进行了升级。

与会者观察到，华为云全力在行业大模型的道路上快速推进，打法路径更为明晰。会议上宣布了矿山、气象、政务等大模型落地的标杆案例。

由于不少行业处于大模型落地早期，在过去几个月的实践中，业界普遍反映，遇到了方方面面不小的困难。华为常务董事、华为云CEO张平安在会上提出了“解难题、做难事、行致远”的号召。

数智前线获悉，为了攻下行业山头，华为云今年还将增派200多位博士和天才少年到一线，与头部企业、战略伙伴一起，开展各种会战。

大模型的路线“分歧”

今年7月华为云发布盘古大模型3.0后，很多客户和业界朋友找到软通动力华为云智能服务总经理魏建勋咨询，华为云所说的大模型，为什么与OpenAI的ChatGPT大语言模型不同？

华为云对大模型的定义和发展路径，在业界也引发争论。不少大厂今年强力投入的是大语言模型，但华为云发布的是自然语言、视觉、科学计算、预测、多模态等五个基础大模型以及数个行业大模型，对大语言模型并未特别强调。

有人士认为，这混淆了大模型的概念，也有人士认为，解决行业问题才是硬道理。不过，魏建勋发现，最近一个多月，华为云的大模型单子越来越多，找华为云和软通动力合作的企业也越来越多。“大家看到在行业中，尤其在矿山和气象领域的典型落地案例后，无论在惠民，还是在企业收益上，大家都渐渐有了感知。”

“华为云主打的是行业，行业有纵深，会遇到多种多样的诉求。”魏建勋告诉数智前线，在这种情况下，只有大语言模型是不行的。

华为云一位高管告诉数智前线，之所以选择这个模式，是因为他们觉得一个模型解决不了所有问题。“有的模型擅长文，有的擅长理，比如我们的科学计算大模型，能解决调度这类复杂问题。我们的盘古气象大模型，研究成果上了《自然》杂志，就是因为它有一个独立的模型。”

“从本质上看，华为云的大模型道路是一条可落地、可变现、不烧钱的商业路径。”从事数字人应用开发的云蝠智能创始人魏佳星观察。

他坦言，华为云选择这条路径与ToB基因密切相关。国内外有多个大厂在做大语言模型，但在大语言模型还未展现出明确商业化优势前，“在这样一个竞争氛围里，我感觉华为即使去做，胜算也不会太高”。而在产业这块就不同了，像华为云盘古气象大模型，一两年内可能就是市场上的独家技术。“在这个窗口期内，它可以继续加大数据、加大算力，做到占领市场。”

实际上，在华为全联接大会2023上，张平安介绍，盘古气象大模型已在欧洲中期天气预报中心、国家气象局等开始试用。泰国气象局也启动了与盘古的合作。在矿山领域，山东能源集团已把矿山大模型全面应用到9大业务系统、21个场景中。目前，矿山大模型在全国其他8个矿井开始规模使用......

华为判断，人工智能应用迎来奇点，正在加速进入行业生产系统，未来2年将深入到50%以上的行业核心场景，逐步成为数字经济增长的主引擎。

“这是不是有点像5年前新能源车的状况？”魏佳星说，“在纯电赛道没有一个明确的定论前，一些企业先做增程式，比做纯电跑得要快，但大家一开始也有争议。”

不过，大模型落地行业，并不是一件容易的事。

一位金融行业资深人士向数智前线描述了今年银行落地大模型的状态：二三月，大家都很焦虑，怕落后；四五月，纷纷组建团队去做；之后几个月，大家在找方向、落地上遇到了困难，开始变得理性；现在，他们看标杆，把验证过的场景拿来试用。

在这个过程中，除了编程助手这类开箱即用的功能外，业界发现，大模型与业务场景结合的难度不小，一方面需要大算力，不少头部企业因为数据与合规要求，要构建基础设施，投资大，有一定周期；另一方面，在行业或企业大模型的训练上，即便是微调，也可能要一两万条数据，还要找到适宜的方法，企业都在探索中；同时，不少企业还要开发算子，解决公有云和私有云协同。

魏建勋观察，目前阶段，华为云的打法是聚焦头部企业，找到具有代表性和普适性的痛点，结合盘古大模型和企业know-how，打造行业标杆，为行业复制打基础。

大模型落地大会战

打造标杆是一件具有开拓性的事。在华为内部有着密密麻麻的Roadmap，科学家和数学家进一步下沉一线，识别行业难点，更快构建行业大模型，拓展行业深度。

华为云人工智能算法专家金博士，参与了盘古汽车大模型的构建。“下到一线后，我充分理解到自动驾驶中数据的价值。”数据是个吞金兽，一个包含视觉、雷达等多传感器的10秒图像文字训练，数据采集标注成本要几百元，而自动驾驶需要几百万小时的行驶数据。

同时，如何补足“鬼探头”这类Corner Case长尾数据，解决几年前自动驾驶车将横穿马路的白色大卡车误判为云朵，而酿成事故的这类问题，是行业难题之一。

在盘古汽车大模型中，采用NeRF构建的数字孪生、元宇宙虚拟环境中，利用大模型的生成和泛化能力，产出大量虚拟数据，而且只要训练一次，就可生成适配不同新车型视角的视频，让Corner Case闭环周期，从两周以上缩短到两天内，也降低了实际道路采集标注成本。

盘古汽车大模型也进入汽车的研产供销服场景中，一汽解放数字化部宋磊部长，在会上分享了一汽解放，应用盘古汽车大模型的实践。

在金融领域，负责盘古金融大模型的祝博士，下到一线后，了解到银行的痛点之一，是传统智能客服仍要依赖大量人工，而对一线人员的知识传递也存在瓶颈。大模型结合知识库，可理解专业知识，实现专业问答，成为一线人员的助手。基于盘古金融大模型的网点问答，7月在工行上线后，陆续推广了几百个网点，答案采纳率超过85%，获得一线业务的好评。目前，文档问答孵化成的标准解决方案，又快速复制到交行、农行、银联以及上交所等。

值得关注的是，工行向祝博士反映，他们在人才上面临两难：一方面不希望员工被大模型取代；另一方面很多岗位还有人才缺口。他们期望大模型释放出的员工，能做更多高价值的事。在这一诉求下，华为联合工行实验室的人力资源团队 ，梳理了大模型在企业应用的人员转身实践，设计了系列培训课程，如Prompt调优、微调、大模型运营等，并与远程银行、网点等部门合作，建立联合项目组，驱动企业人员能力提升。

“这样的实践，也驱动我们梳理了一整套企业落地方法论，真正做到授人以渔，让企业和员工深入拥抱新技术，提升生产力。”祝博士说。

在气象领域，盘古气象大模型此前创造了台风路径的预测纪录。这次升级后，它又攻克了暴雨预测这一全球气象领域Top级难题，让暴雨红色预警从3小时预报，提前到24小时发出，这对政府的灾害防御、老百姓的生产生活极为关键。

深圳气象局也在与华为合作，基于盘古气象大模型，打造深圳区域气象预报大模型。数智前线获悉，这或将成为全球首个区域气象预报模型，有望实现大约三公里精度的气象预报。

9月30日，华为云还将启动盘古气象平台的邀测，这是一个SaaS服务，让全球用户可以直接调用降水预测等功能。

在医学领域，乔博士和刘博士的团队在解决医疗大模型严肃性和专业性的挑战。“通用NLP大模型通过公开数据学习，能力非常有限。”乔博士介绍，他们通过大量医学数据，并定义了大量医学任务，教会NLP大模型学习医学的知识和场景。“大模型还结合搜索、知识图谱，进一步保障大模型的可溯源性。”刘博士说。

盘古医学大模型的目标是让每个医生拥有可信赖的临床助手，这对普惠医疗的实现也意义深远。目前，在由10个科室真实病例构成的检验报告解读测试中，在三个对照组中，盘古医学助手几乎达到了对照组1，也就是相当于临床医生的平均水平。

在大会期间还公布了多个大模型的落地进展，如政务大模型首次将NLP大模型与CV大模型融合，让城市各类开放和长尾事件秒级发现、分钟级分拨。矿山大模型，让山能济宁二号煤矿每年多产出8000吨精煤，增收数千万元；数字人直播，让丹寨农特产和非遗产业蜡染走出大山，走向全球。

过去几个月，华为攻克行业难题的各种会战中，合作伙伴的能力和价值也在快速释放中。他们识别行业关键问题，结合自身行业know-how，推动盘古进入行业。魏建勋告诉数智前线，软通动力在尝试突破车险理赔的难点，将原来理赔定损，从几天逐步缩短到小时级、分钟级，“现场就能解决”，目前该项目与车企客户在PoC阶段。

支撑百模千态

在大模型训练和落地过程中，算力目前是行业的“集体焦虑”。这也是华为全联接大会2023上，与会者最关注的事情之一。

“大家都在到处找算力，供需比大约在 1：10 之间。”一位算力行业人士说，“大模型厂商都在各地密集访谈，到处寻找稳定算力的合作伙伴，每家对算力的需求都在万P以上。”