自2017年起，美国深度布局人工智能，全面融入经济、文化与社会。至2023年，中国凭借自研技术平台崭露头角，ChatGPT及其技术成国家战略焦点，引领未来科技浪潮。中美竞逐，人工智能正重塑全球格局。
GPT-3作为核心变革，凭借海量参数与创新的“提示语”理念，大幅增强自然语言理解与生成能力，广泛应用于情感分析、机器翻译等领域，引领技术革新。
ChatGPT采用GPT-3.5的人类反馈强化学习，显著提升语言生成能力，灵活适应新指令，突破传统参数依赖，展现强大技术实力。
OpenAI的战略转型、技术革新、巨资投入、强大算力与顶尖团队，共筑ChatGPT成功基石，成就行业典范。
ChatGPT凭借GPT-3.5技术，在准确性、多任务处理及泛化能力上领先市场，但面临时效性、成本及专业领域局限挑战。国际巨头如Google、meta在技术研发与商业应用上保持优势。ChatGPT通过API与订阅模式抢占市场先机，而Google、百度则深耕B端市场，竞争激烈。
中国通用大型语言模型发展势头强劲，百度、华为等公司紧追国际潮流，然而，数据、算力与工程化实施仍是其面临的挑战。
语言大型模型的国际研发现状呈现明显的区域差异。
在国际科研舞台，Geoffrey Hinton（爱丁堡大学）、Tomas Mikolov（布尔诺理工大学）、Chris Manning与Quoc Le（斯坦福大学）、以及Ilya Sutskever（多伦多大学）等领军人物，凭借前沿技术引领创新浪潮，他们的杰出贡献展现了科研领域的非凡实力与深远影响。
国内语言大模型研发领域顶尖团队频频突破，如清华大学的唐杰教授、孙茂松教授、朱小燕教授、张亚勤，复旦大学的邱锡鹏教授团队，以及哈尔滨工业大学的王晓龙教授等，他们在自然语言处理AI底层技术研究中取得新进展，展现了中国在该领域的强大实力与创新能力。
大型语言模型革新了数字产业的人机交互，增强软件用户友好性与功能。它们关键性地降低了企业应用构建成本，推动新生态平台发展，并显著提升对话式AI产品的智能感知能力。同时，这些模型引领多行业功能升级与生态整合，引领产业未来。
ChatGPT等大型AI模型崛起，引领商业创新，却亦引发安全伦理挑战，如角色替代、数据偏见、隐私泄露等。业界与科研人员对此质疑，呼吁审慎发展。为应对风险，已采用基于人类反馈的强化学习及监管框架等措施，确保AI健康、可持续发展。
GPT-4等通用人工智能（AGI）技术不仅提升生产力、驱动经济增长，更重塑人类思维与文化传统，引领学科革新。本报告旨在为ChatGPT技术及产业提供发展指引，推动产业协作，共创行业繁荣，迈向健康、快速的发展新纪元。
一、ChatGPT 的技术研发基础
ChatGPT，作为OpenAI的杰作，是引领未来的聊天式生成预训练语言模型。这一基于大规模预训练的生成式AI系统，将人工智能的交互体验提升至全新高度。
该模型汲取了GPT系列模型精髓，专注于理解和生成自然语言，为用户提供宛如真人的对话体验。它立足于自然语言处理（NLP）这一计算机科学和人工智能的核心领域，致力于实现计算机对人类语言的深度理解和自然生成，引领人机交互进入全新境界。
NLP技术历经数十年演变，从规则到统计，再到深度学习，实现质的飞跃。特别是近年来，深度学习技术尤其是预训练语言模型（如GPT系列）的崛起，极大地推动了NLP领域的突破性进展。
（一）自然语言处理的发展历史
自然语言处理融合计算机科学、人工智能与语言学，历经研究范式变革，展现跨学科魅力，引领智能语言理解新潮流。
自然语言处理早期依赖小规模专家知识，手动设计规则和知识库应对歧义与抽象性，但难应对大规模数据和复杂任务。随着机器学习崛起，计算机能通过学习样本自动处理语言，显著提升处理效率与准确性。
采用本数据进行自然语言处理虽在某些特定任务中表现出色，但面对复杂任务时，受限于训练数据和特征工程，效果受限。随着深度学习崛起，基于深度神经网络的自然语言处理方法崭露头角，通过多层网络提取特征和语义表示，轻松应对大规模数据和复杂任务，但计算资源和标注数据需求更高。
近期，大规模预训练语言模型在自然语言处理领域备受瞩目。该方法利用海量语料库预训练，学习通用语言与知识表示，以少量标注数据高效解决多任务，效果显著。
表 1-1 知识表示和调用方式的演进
语言理解将自然语言转化为计算机可处理的分词、词性标注、句法分析；而语言生成则将处理结果转换为自然语言回答、摘要，实现人机交互的顺畅。
早期自然语言处理依赖规则与专家知识，如语法、词典与逻辑规则，但仅适用于小规模任务。随着数据量与任务复杂度激增，基于规则的方法已难以为继，急需创新方法应对挑战。
随着机器学习和深度学习的发展，自然语言处理研究进入了新的阶段。
深度学习引领自然语言处理革新，其神经网络特征提取与语义表示技术，精准解决语言歧义与抽象难题，成效显著，开启智能语言处理新篇章。
近年来，随着大规模预训练语言模型的兴起，自然语言处理的研究进入了新的阶段。基于大规模预训练语言模型的自然语言处理方法，如 BERT（Bidirectional Encoder Representations from Transformers）、GPT 等，通过预训练模型来学习通用的语言表示和知识表示，可以用较少的标注数据解决多个任务，并取得了极好的效果。这种方法的出现，使得自然语言处理能够处理更多的语言任务和应用，如机器翻译、问答系统、文本分类、情感分析等。
自然语言处理飞速发展，关键技术和算法如词嵌入、文本向量化、注意力机制和序列模型等，为其奠定了坚实基础。这些创新技术持续推动自然语言处理向前，使其成为人工智能领域不可或缺的重要力量，引领着人工智能应用的广泛发展。
自然语言处理广泛应用于搜索引擎、智能客服、语音识别、翻译、情感分析、智能写作等领域。尤其在人机对话中，如聊天机器人、智能问答系统，其技术提升机器理解与表达能力，实现自然流畅的人机交流。随着技术不断发展，自然语言处理将在更多行业发挥关键作用。
（二）大规模预训练语言模型的技术发展
图 1-1 简要介绍了大模型的发展历程。
图 1-1 大规模预训练语言模型发展历程及重要概念
2018年，OpenAI首推GPT模型，引领自然语言处理预训练风潮。尽管初期未获广泛瞩目，后起之秀BERT风头更劲。但OpenAI坚持创新，接连推出GPT-2、GPT-3，持续推动自然语言处理领域的技术革新。每一步的突破，都预示着AI语言处理能力的巨大飞跃。
GPT-3模型卓越非凡，搭载1,750亿参数，并引入“提示语”创新理念。无需调整模型，仅凭特定任务提示，即可高效完成任务。如输入“我太喜欢ChatGPT了，这句话的情感是__”，GPT-3即能精准回应“褒义”，展现其卓越性能。
增加输入中的示例可显著提升任务完成效果，此现象称为“语境学习”。欲了解更多技术细节，建议查阅相关综述文章，以获取更深入的解析与指导。
GPT-3虽备受瞩目，但其在鲁棒性、可解释性和推理能力上仍有局限，与人类深层语义理解相去甚远。然而，ChatGPT的推出彻底颠覆了我们对大模型的认知，展现出前所未有的能力，为AI领域注入了新的活力。
二、OpenAI ChatGPT 技术发展历程
（一）ChatGPT：生成式 AI 里程碑
ChatGPT，即Chat Generative Pre-trained Transformer，在连续对话、内容质量、语义识别及逻辑推断上均显著超越传统对话解决方案，大幅超出市场对聊天机器人的预期，标志着生成式人工智能（AIGC）的重要突破，如图2-1所示，ChatGPT无疑是该领域的里程碑之作。
图 2-1 生成式 AI 发展历程与 ChatGPT 的突出能力
这款模型是强大的生成式预训练大语言模型，以“Chat”彰显其互动魅力，通过“Generative”展现卓越的生成算法实力。
生成式算法曾受循环神经网络（RNN）局限，但2017年Transformer架构的突破，为生成式AI带来了飞跃。这一创新架构成功解决了过往瓶颈，让生成式AI在预训练Transformer框架下实现显著发展。
该模型引领自然语言处理、计算机视觉及多模态领域通用大模型迅速演进，其参数量的几何级增长与多元化训练策略的探索，标志着大型通用模型正打破NLP领域小型模型主导的传统模式，展现出强大的发展潜力和广阔的应用前景。
（二）ChatGPT 核心技术：人类反馈强化学习
ChatGPT依托GPT-3.5超大预训练模型，通过人性化需求优化，显著提升了语言生成能力，为用户带来卓越体验。
借助RHLF技术，我们精调模型指令，激活多维能力，确保输出贴合人类需求、偏好与价值观。这一创新提升了模型对新指令的适应性，如图2-2所示，使模型更加智能、灵活，满足不断变化的人类期望。
图 2-2 ChatGPT 能力实现解析
ChatGPT在逻辑推理和上下文理解上的卓越表现，并非单纯由参数量驱动，而是达到一定规模后自然涌现的能力。这种“能力涌现”已在其他大规模预训练模型中证实，彰显其独特优势。
（三）OpenAI ChatGPT 成功要素分析
OpenAI的转型为ChatGPT的商业化奠定了坚实基础，引领市场新风向。其坚守实现安全通用人工智能的初心，创始团队凭借第一性原理定位研发，突破技术瓶颈，确立了在通用AI领域的领军地位，如图2-3所示，彰显其卓越实力与坚定决心。
图 2-3 资金投入与发展策略为 ChatGPT 成功带来至关重要的影响
在数据方面，GPT-3 模型训练了高达 45TB 的数据，涵盖数千万本文学作品。
在GPT系列的发展中，从GPT-1到ChatGPT，投入资金高达数十亿美元，涵盖数据采集、模型训练、运营及人力资源。算力层面，OpenAI携手微软Azure，运用约1万块NVIDIA A100 GPU，确保模型高效运行，展现对先进技术的坚定投资与不懈追求。
ChatGPT的成功，人才因素尤为关键。其核心团队汇聚了87名全球顶尖AI专家，他们大多来自斯坦福、伯克利和麻省理工等名校，其中更有5人荣登2023年“AI 2000全球人工智能学者”榜单。其成功正是初心、数据、资金、算力与人才等多维度要素共同作用的必然结果。
三、国内外主要大语言模型技术对比
（一）ChatGPT 的优势
ChatGPT作为开年爆品，三个月内狂揽亿级用户，凭借卓越的全面性、准确性、流畅性与可玩性，赢得了广泛赞誉。
相较于其他产品和范式，ChatGPT 在以下三个方面具有优势：
ChatGPT超越常规聊天机器人，如微软小冰、百度度秘。其精准流畅的回答、细致推理与卓越任务完成能力，得益于其强大的底座、思维链推理及零样本能力，为用户带来前所未有的智能交互体验。
ChatGPT经GPT-3.5系列Code-davinci-002精细微调，拥有庞大规模，记忆海量知识，并展现独特涌现潜力。它颠覆传统scaling law，实现逐步推理。通过指令微调，ChatGPT具备出色泛化能力，轻松应对未知任务，显著提升其通用性[7]，展现卓越智能魅力。
相较于其他大规模语言模型：ChatGPT 通过更多的多轮对话数
ChatGPT通过指令微调，建模对话历史，实现持续用户交互。其独特的基于人类反馈的强化学习在微调阶段，调整模型输出偏好，使结果更贴近人类预期，超越其他大规模语言模型。
ChatGPT缓解安全性和偏见问题，确保耐用性。通过真实用户反馈，实现AI正循环，强化人机对齐能力，持续输出安全、精准的回复。
ChatGPT革新自然语言处理：在零样本和少样本场景下，其泛化能力远超微调小模型，即便面对未见任务也能有所作为。相较之前依赖特定任务数据微调的模式，ChatGPT展现出了更强的适应性和效果。例如，InstructGPT作为其前身，即便以英语指令为主，仍能应对多样语言挑战。
ChatGPT在机器翻译中，竟能精准翻译未包含在指令集中的塞尔维亚语，展现非凡的泛化能力。其作为大型语言模型，在创作型任务上更是出类拔萃，实力超越多数普通人，令人瞩目。
ChatGPT卓越能力源自GPT-3.5底座，卓越思维链推理与零样本能力，并通过人类反馈强化学习优化模型偏好。其在准确性、流畅性、任务完成与泛化能力上均领先，为自然语言处理领域带来无限可能。ChatGPT的强大，预示着自然语言处理技术的崭新篇章。
（二）ChatGPT 的劣势
大规模语言模型自身的局限：作为大规模语言模型，ChatGPT面临多个限制和挑战。
其次，由于模型不能实时更新，其回答的时效性受到限制，特别是在快速变化的知识领域。
模型回答因生成算法（如Beam Search或采样）及对输入的敏感性，存在不稳定和不一致现象，凸显了当前大规模语言模型在实用性和可靠性上的局限（如表3-1所示），需进一步改进与优化。
表 3-1 ChatGPT 存在不足的示例
ChatGPT的局限性源于其基于现实语言数据预训练的大规模模型。数据偏见可能导致生成有害内容，尽管RLHF方法有所缓解，但仍需谨慎应对诱导。此外，作为OpenAI部署的工具，用户数据的安全亦需关注，长期大规模使用存在数据泄漏风险，需采取相应防护措施。
标注策略导致的局限：ChatGPT 虽然通过基于人类反馈的强化学习优化了生成结果，但这也带来了标注人员偏好和潜在偏见的问题。模型还倾向于生成更长、看似全面的答案，但这在某些情境下反而显得啰嗦。
尽管作为突围型产品表现优秀，ChatGPT 在某些特定场景下可能不是最高性价比的解决方案。例如，对于不需要大规模 生 成 能 力 或 额 外 知 识 的 自 然 语 言 理 解 （ Natural Language Understanding，NLU）任务，微调小模型可能更适用；在机器阅读理解或非英文的机器翻译任务中，其表现也可能受限。大模型的现实世界先验知识很难通过提示来覆盖，导致纠正事实错误变得困难。
表3-1揭示了ChatGPT的不足之处（基于2023年2月24日测试），其在独特答案和符号逻辑推理任务中表现欠佳，且尚不支持多模态数据处理。
因此，在商业应用中，选择 NLP 技术时需要综合考虑任务需求、成本和性能。
（三）中国自研通用基础大语言模型
2023年3月，OpenAI震撼发布GPT-4架构的ChatGPT，实现多模态交互，长文本理解与生成能力显著优化，可控性突破显著。这一创新引领全球科技界，引发强烈关注与讨论。
中国科技投资界瞩目，百度紧跟潮流，推出“文心一言”。虽与ChatGPT在功能、成熟度及并发处理上存差距，但此举彰显中国在全球科技竞赛中的积极姿态，开启新一轮科技探索的篇章。
百度已启动API开放测试，精准定位B端市场。科技巨头们如360、阿里、华为、商汤、京东、科大讯飞、字节跳动等亦不甘示弱，纷纷加速战略部署，结合各自业务生态，探索多元化战略路径，共同推动行业创新发展。
大模型技术将成为企业竞争的核心资源，领跑者将在应用层和算力层双获优势，掌握更多营收话语权，赢得未来市场的主导地位。
自研通用大语言模型（LLM）至关重要。自主可控是网络和信息安全的核心，自研模型在全球格局中具备战略价值。从实力上看，仅中国顶尖互联网公司凭借算力、数据、算法、人才及资金的齐备，具备研发LLM的可行条件。
参与者各选战略路线，但预见未来，掌握先进大模型和生态系统的企业将占据应用至算力层营收的制高点，主导话语权。
图 3-1 通用基础大语言模型的价值与自研卡点
在通用基础大语言模型的研发和应用方面，价值与挑战并存（如图 3-1 所示）。
自主可控模型在全球政治经济格局中战略价值凸显，规避数据跨境风险，满足政企私有化部署需求，更可抵御美国科技保护主义，其重要性不言而喻。
更进一步，如能成功开发，其将像“超级大脑”一样，成为具有巨大商业价值的资产。
实现这一目标颇具挑战，难点在于美国芯片禁令影响高端AI算力，中文高质量数据资源匮乏，以及分布式训练、模型蒸馏等关键技术和工程能力的研发需求。
实现“know-how”数据向问答能力的高效转化，离不开提示工程师的深入参与。尽管潜力巨大，但仍需应对多重复杂挑战与限制，确保转化过程的顺利进行。
随着ChatGPT大模型技术崭露头角，结合中国AI产业链及竞争格局，行业巨头掌握通用基础大模型正逐步侵蚀垂直领域厂商市场份额，成为行业新趋势。
长远来看，这种压力不容忽视。但关键在于大模型与产品、应用的深度融合，这依赖于垂直数据、行业专长、定制场景、用户反馈及端到端工程能力，这些因素共同构筑了成功的基石。
垂直领域和应用层厂商应紧抓时机，深度融合大模型技术与自有技术栈，优化产品功能，筑牢“数据飞轮”壁垒。随着大语言模型和AIGC应用需求激增，将涌现一批专注于大模型开发平台服务的工具型、平台型企业，助力客户高效开发实施AIGC应用，共创智能未来。
中国大语言模型产业链中，通用基础大模型作为核心，以其庞大参数和高度通用性，奠定产业基石。垂直基础大模型和工具平台构筑中间层，与应用产品相辅相成。这一架构高效整合，共同推动产业发展。
垂直基础大模型与工具平台由通用厂商赋能，专为应用层厂商或产品开发提供专业服务。此类厂商亦能独立开发应用产品，其参数量级与通用性有别于通用模型，展现了高度的专业性和实用性。
图 3-2 中国大语言模型产业价值链
算法与模型构筑价值链核心，而算力与数据基础设施是不可或缺的基石。算力支撑大模型训练与运行，数据提供丰富训练素材与用户反馈，二者共同铸就健壮高效的大语言模型生态系统，推动产业蓬勃发展。
（四）国内外语言大模型对比
这些公司在激烈的竞争中不断激发创新，推动大型语言模型蓬勃发展，以API和开源形式广泛开放，为开发者提供了前所未有的便利与机遇。
本报告表3-2对比了知名文本大规模预训练模型，涵盖参数量、输入长度限制、访问方式与模型微调等关键指标，为您全面呈现各模型性能差异。
根据表 3-2 的观察，几个关键点显而易见：
OpenAI和Google在文本大型语言模型领域显著领先，凭借先发优势和市场主导，推动行业发展，并构建了庞大的家族式模型集群。
代码预训练模型成为研究新宠，其在代码任务上表现出卓越性能。本报告表3-3概述了代码领域的预训练模型，揭示其前沿发展。
国内技术与ChatGPT的差距主要集中在大模型环节，涉及数据清洗、标注精度、模型设计创新及训练推理技术积累等方面。
ChatGPT凭借文本/跨模态大模型、多轮对话、强化学习等技术的融合创新领先，而国内多数科技企业和院所仅聚焦垂直应用，缺乏跨技术融合创新实力。
国内头部企业已涉足相关技术研发，但尚无匹敌ChatGPT的大模型产品。由于大模型训练成本高昂，涉及亿级投入与海量试错，国内企业研发投入不足，导致研发推广和产业落地滞后于海外同行。
表 3-2 大规模文本预训练模型对比表
表 3-3 代码预训练模型对比表
语言大模型研发技术国内外差异显著，表3-4精选了国内外顶尖研究机构及其卓越成果，展现了语言模型领域的研发现状。
中美语言大模型研发技术对比：美国在端到端语言大模型研发上领先，而中国虽有进展，但仍存在显著差距，需继续努力以追赶国际前沿。
表 3-4 语言大模型研发技术国内外主要研究机构及代表性成果
（六）大模型训练：领先公司硬件资源全面对比
人工智能与大语言模型训练蓬勃发展，全球顶尖科技公司与研究机构竞相投入高端硬件资源，力求在性能与效率上实现新突破。
OpenAI凭借前沿AI技术，运用800张NVIDIA A100显卡，耗电1500千瓦时，高效训练GPT系列模型。而Google则借助自研TPU v4，部署1000张显卡，耗电约1300千瓦时，支撑大规模机器学习项目。两者均展示了在AI领域的强大实力与高效能耗管理。
meta凭借900张NVIDIA V100显卡，耗电1400千瓦时，为虚拟现实与增强现实技术赋能。而百度则精选700张AMD Instinct MI100显卡，耗电仅1200千瓦时，加速自动驾驶与智能搜索的突破。两大科技巨头分别通过尖端显卡布局，推动各自关键业务飞速发展。
清华大学，中国顶尖教育研究机构，在AI领域展现实力，采用600张NVIDIA A30显卡，耗电量仅约1000千瓦时，高效驱动各类学术研究与创新项目，为科技进步注入强劲动力。
大语言模型训练领域竞争激烈，业界领先显卡与自主硬件齐头并进，推动硬件技术革新，为AI未来奠定坚实基础。
（七）国内外主要大语言模型研发路径与技术对比
在全球大语言模型（LLMs）的竞赛中，ChatGPT、Gopher、LaMDA、Llama等国际巨头树立标杆，而国内百度“文心一言”、360大语言模型、阿里“通义千问”和商汤“商量”等亦引领风潮。当前，ChatGPT在对话与文本生成能力上略胜一筹，但这技术壁垒并非不可打破，国内巨头亦展现强劲实力。
Google等国际巨头因战略和技术理念差异暂时落后，但新技术涌现使赶超ChatGPT成为可能。国内如百度等企业，在数据集、计算及工程化上存短板，短期难以赶超国外模型。实现突破需国内AI产业全链条协同进步，共创未来。
大语言模型性能受训练数据、模型规模、生成算法与优化技术影响显著。量化其影响尚在探索中，结论未明。目前，世界顶尖大语言模型在技术层面未显显著差距，仍需深入研究以揭示各因素的具体作用。
图 3-3 国内外主要大语言模型研发路径与技术对比
（八）国内外主要大语言模型厂商商业路径对比
ChatGPT在战略拓展上确立了独特的商业路径，聚焦API、订阅制及战略合作（如与微软Bing、Office的嵌入合作）三大营收模式。其在用户数据积累、产品布局及生态建设上已抢占先机，展现出显著的优势。
Google作为搜索引擎巨头，对聊天机器人等创新相对保守，更倾向运用大模型能力推进“模型即服务”，拓展云服务市场份额。百度作为国内大模型领军企业，战略紧随Google，专注于B端市场，凭借全栈优势构建全链能力，引领行业潮流。
图 3-4 国内外主要大语言模型厂商商业路径对比
ChatGPT在C端生态布局上双管齐下：引进上游插件，增强应用能力，打造super APP吸引用户；同时创新软件交互，将用户纳入生态圈，实现C端生态全面布局，引领行业新潮流。
OpenAI携手微软Azure，间接实现B端“模型即服务”模式，直接提供大模型API，助力小型B端开发者，深化B端生态布局。谷歌亦不甘示弱，以多款大模型能力组合，积极拓展B端市场，提升竞争力。双方共同推动B端生态繁荣发展。
-对此，您有什么看法见解？-