(資料圖)
ChatGPT是一款由美國OpenAI公司開發(fā)的自然語言人機交互應用，擁有接近人類水平的語言理解和生成能力，是迄今為止人工智能領(lǐng)域最成功的產(chǎn)品和歷史上用戶增長速度最快的應用程序。ChatGPT依賴大模型、大數(shù)據(jù)、大算力支撐，其出現(xiàn)標志著通用人工智能的起點和強人工智能的拐點，是里程碑式的技術(shù)進步，將引發(fā)新一輪人工智能革命。
國內(nèi)人工智能“大模型”已具備一定基礎(chǔ)，但與ChatGPT還存在一定差距，其背后面臨數(shù)據(jù)、算力和創(chuàng)新環(huán)境等深層次制約。需從戰(zhàn)略高度重視ChatGPT引發(fā)的新一輪人工智能革命，瞄準大模型、整合大數(shù)據(jù)、布局大算力，實施包容審慎監(jiān)管，為新事物發(fā)展留足空間，加快搶占未來科技競爭制高點。
ChatGPT具有里程碑意義
將引發(fā)新一輪人工智能革命
ChatGPT （Chat Generative Pre-trained Transformer，聊天生成型預訓練轉(zhuǎn)換模型） 是一款由美國OpenAI公司開發(fā)的自然語言人機交互應用，擁有接近人類水平的語言理解和生成能力，因其出色的回答問題、創(chuàng)作內(nèi)容、編寫代碼等能力，使得人們直觀真切地體會到人工智能技術(shù)進步帶來的巨大變革和效率提升，上線5天用戶突破100萬，兩個月活躍用戶突破1億，是迄今為止人工智能領(lǐng)域最成功的產(chǎn)品和歷史上用戶增長速度最快的應用程序。 ChatGPT是一個經(jīng)過長期技術(shù)儲備、通過大量資源投入、帶有一定成功偶然性的人工智能“核爆點”。 ChatGPT的發(fā)展經(jīng)歷了3個階段 （如下圖所示） ，前期GPT-1 （2018年） 、GPT-2 （2019年） 、GPT-3 （2020年） 等版本已經(jīng)投入了大量資源 （包括購買高性能芯片、雇傭數(shù)據(jù)標注人員、占用計算資源等） ，效果并不理想，后期在采用“基于強化學習的人類反饋學習”技術(shù)后發(fā)生“蝶變”，迅速成為爆款應用。 圖ChatGPT發(fā)展路徑 ChatGPT關(guān)鍵在于“三大支撐”。 一是“大模型” 。全稱是“大語言模型” （Large Language Model） ，指參數(shù)量龐大 （目前規(guī)模達千億級） 、使用大規(guī)模語料庫進行訓練的自然語言處理模型，是ChatGPT的“靈魂”。 二是“大數(shù)據(jù)” 。GPT-1使用了約7000本書籍訓練語言模型。GPT-2收集了Reddit平臺 （美國第五大網(wǎng)站，功能類似于國內(nèi)的百度貼吧） 800多萬個文檔的40GB文本數(shù)據(jù)。GPT-3使用維基百科等眾多資料庫的高質(zhì)量文本數(shù)據(jù)，數(shù)據(jù)量達到45TB，是GPT-2的1150倍。 三是“大算力” 。以GPT-3為例，其參數(shù)量達1750億，采用1萬顆英偉達V100 GPU組成的高性能網(wǎng)絡(luò)集群，單次訓練用時14.8天，總算力消耗約為3640PF-days （假如每秒進行一千萬億次計算，需要3640天） 。 ChatGPT標志著里程碑式的技術(shù)進步。 一是在最具挑戰(zhàn)性的自然語言處理領(lǐng)域?qū)崿F(xiàn)了革命性突破。 相比視頻、圖像、語音等，自然語言的語法、語義、邏輯復雜，存在多樣性、多義性、歧義性等特點。文本數(shù)據(jù)稀缺，通常表現(xiàn)為非結(jié)構(gòu)化的低質(zhì)量數(shù)據(jù)。自然語言處理任務種類繁多，包括語言翻譯、問答系統(tǒng)、文本生成、情感分析等。因此，長期以來自然語言處理被認為是人工智能最具挑戰(zhàn)性的領(lǐng)域。ChatGPT不僅實現(xiàn)了高質(zhì)量的自然語言理解和生成，并且能夠進行零樣本學習和多語言處理，為自然語言處理領(lǐng)域帶來了前所未有的突破。 二是標志著通用人工智能的起點。 在此之前，人工智能在不同場景應用需要訓練不同模型。而ChatGPT利用單一大模型即可完成人機對話、機器翻譯、編碼測試等多種任務，已經(jīng)具備通用人工智能的一些核心技術(shù)和特征：能夠自動化地學習各種知識、信息，不斷自我優(yōu)化；充分理解和流暢表達人類語言，邏輯推理強，實現(xiàn)了具備一般人類智慧的機器智能；擁有一定的自適應和遷移學習能力，可以適用于多種應用場景和任務。 三是代表著強人工智能的拐點。 ChatGPT證明了大模型的學習和進化能力，將推動強人工智能 （機器擁有知覺和意識，有真正的推理和解決問題的能力） 加速演進。目前大模型智能程度已接近人類水平，甚至一些業(yè)界人士認為，將來會逐漸產(chǎn)生自我認知和感知，進而出現(xiàn)意識并且超越人類。 全球通用人工智能技術(shù)加速演進。ChatGPT涉及到“三大”中的“大模型”是核心和獨門秘籍。當前，隱藏在ChatGPT背后的“大模型”正越來越多進入人們的視野。 國際上已掀起從“大煉模型”到“煉大模型”的技術(shù)熱潮。 OpenAI公司將繼續(xù)推進ChatGPT的模型演進，目前已發(fā)布多模態(tài)預訓練大模型GPT-4，實現(xiàn)了幾個方面躍升：強大的圖像識別能力；文字輸入上限提升到2.5萬字；回答問題準確性明顯提高；可以生成創(chuàng)意文本、歌詞，實現(xiàn)風格變化等。谷歌創(chuàng)設(shè)了1370億參數(shù)級大型自然語言對話模型LaMDA。當前正加快推出基于LaMDA的聊天機器人Bard，并動員全公司開展內(nèi)測。微軟與英偉達合作推出了5300億參數(shù)的MT-NLG模型，與兩家公司之前各自的系統(tǒng)相比，優(yōu)點在于更加擅長各種自然語言任務，例如自動生成句子、問答、閱讀和推理、詞義消岐等。Meta公司復現(xiàn)了GPT-3，并對所有社區(qū)免費開放。以ChatGPT為代表的人工智能大模型滲透到各行各業(yè)，將引發(fā)新一輪人工智能革命。從本質(zhì)上看，ChatGPT是一個“大模型” （參數(shù)量巨大的概率模型） ，其成功實踐充分證明了作為通用技術(shù)的大模型在人類社會各個方面布局應用的潛力。 一是成功探索了大模型的商業(yè)模式。 ChatGPT已經(jīng)應用于商用搜索引擎和辦公軟件，嵌入GPT-3.5的微軟必應搜索引擎可以更好理解和響應用戶查詢，提供更準確的搜索結(jié)果，嵌入GPT-4的Office軟件大幅提升了辦公效率。 二是短期來看大模型將替代服務業(yè)的一些工作。 ChatGPT可以完成各類文本生成任務，替代行政管理人員、科研人員、法律行業(yè)人士、媒體從業(yè)者、客服人員的部分工作。能夠編碼、檢測安全漏洞，替代軟件工程師的一些工作?？梢愿哔|(zhì)量完成語言間的轉(zhuǎn)換，替代翻譯人員的部分工作。 三是隨著大模型不斷滲透，人們的生產(chǎn)生活方式將發(fā)生深刻變革。 在不久的將來，廣泛開發(fā)應用的大模型將以超出人類的速度和準確性來執(zhí)行自動化生產(chǎn)、智能制造任務，賦能交通、醫(yī)療、金融等各個行業(yè)。這將會引發(fā)以強人工智能和通用人工智能為代表的新一輪智能革命，大幅提高生產(chǎn)效率，帶來經(jīng)濟、社會和產(chǎn)業(yè)的深刻變革。
表ChatGPT主要應用場景
我國人工智能“大模型”
現(xiàn)狀與面臨的問題
國內(nèi)大模型已具備一定基礎(chǔ)，但與ChatGPT還存在一定差距。一是百度自主研發(fā)的“文心”大模型，參數(shù)規(guī)模達2600億，已在能源、金融、制造等領(lǐng)域發(fā)布了11個行業(yè)大模型。二是阿里達摩院推出10萬億參數(shù)的多模態(tài)M6大模型。三是華為與鵬城實驗室合作開發(fā)的盤古大模型，是首個全開源2000億參數(shù)中文預訓練語言模型，在知識問答、知識檢索、知識推理、閱讀理解等文本生成領(lǐng)域表現(xiàn)突出。四是北京智源人工智能研究院推出1.75萬億參數(shù)的悟道2.0，可以同時處理中英文和圖片數(shù)據(jù)。浪潮和中科院也分別推出了相應的大模型等。 從技術(shù)能力來看，專家判斷當前國內(nèi)技術(shù)比ChatGPT主要差在大模型環(huán)節(jié)，包括清洗、標注、模型結(jié)構(gòu)設(shè)計、訓練推理的技術(shù)積累。ChatGPT背后是文本/跨模態(tài)大模型、多輪對話、強化學習等多技術(shù)的融合創(chuàng)新，而國內(nèi)大部分科技企業(yè)、科研院所多聚焦垂直應用，缺乏多技術(shù)融合創(chuàng)新能力。從落地應用來看，國內(nèi)頭部企業(yè)均表示已開展相關(guān)技術(shù)研發(fā)或部分模型進入內(nèi)測階段，但仍未出現(xiàn)與ChatGPT抗衡的大模型產(chǎn)品。加之大模型的訓練成本較高，技術(shù)應用面臨著億元級研發(fā)投入和海量訓練試錯，國內(nèi)企業(yè)投入嚴重不足，研發(fā)推廣和產(chǎn)業(yè)落地整體落后于海外。 差距背后存在深層次制約因素，或使中美“大模型”差距進一步拉大，主要表現(xiàn)為三個“缺少”： 缺少高質(zhì)量訓練數(shù)據(jù)。 GPT-3模型訓練需要的語料75%是英文，3%是中文，還有一些西班牙文、法文、德文等語料集，這些學習語料可通過公開數(shù)據(jù) （如維基百科、百度百科、微博、知乎等） 、開源數(shù)據(jù)集、網(wǎng)頁爬取（ 訓練GPT-3爬取了31億個網(wǎng)頁，約3000億詞） 、私有數(shù)據(jù)集 （如OpenAI的WebText數(shù)據(jù)集，收集了Reddit平臺上的800萬篇高贊文章，約150億詞） 等方式獲取。這些語料中，英文語料公開數(shù)據(jù)更多、質(zhì)量更高。中文開源高質(zhì)量數(shù)據(jù)少，特別是構(gòu)建通用領(lǐng)域大模型的百科類、問答類、圖書文獻、學術(shù)論文、報紙雜志等高質(zhì)量中文內(nèi)容。同時，國內(nèi)專業(yè)數(shù)據(jù)服務還處于起步階段，可用于人工智能模型訓練的經(jīng)過加工、清洗、標注的高質(zhì)量數(shù)據(jù)集還相對匱乏。缺少高質(zhì)量訓練數(shù)據(jù)已成為國內(nèi)大模型訓練的核心痛點。 缺少充足的智能算力支撐。 一是大模型訓練和運營算力成本高昂。訓練階段，目前業(yè)界測算ChatGPT訓練成本約為1000萬美元，為研發(fā)擁有部分ChatGPT能力的大模型，至少需要上千張A100訓練卡。運營階段，ChatGPT云計算成本每日約200萬美元。二是缺乏大規(guī)模并行計算工程能力。滿足大模型訓練的算力需求不僅需要數(shù)量巨大的高性能GPU，更需要面向人工智能高度優(yōu)化的云計算平臺和相應的工程能力。三是采購國外先進GPU受限，國產(chǎn)算力尚未成熟到支撐大模型研發(fā)。國產(chǎn)智能芯片不僅在算力、帶寬等性能上同英偉達A100、H100芯片有差距 （這兩款都在美方對華禁售之列） ，支持自然語言處理和大模型訓練的算子庫也不夠成熟，國產(chǎn)替代仍有軟硬適配等技術(shù)問題尚待持續(xù)優(yōu)化與解決。四是人工智能算力市場和服務市場“碎片化”加劇。全國多地主導建設(shè)近百個智算中心，形成一個個孤立破碎的人工智能算力和服務小市場，中國大市場優(yōu)勢被消解。缺少適合大模型研發(fā)特點的機制。 一是力量分散。人工智能大模型具有長周期、重投入、高風險等特點。國內(nèi)企業(yè)、高校在“大模型”“大數(shù)據(jù)”“大算力”等方面各有側(cè)重，研發(fā)力量分散，資源缺乏整合，沒有與OpenAI技術(shù)實力對標的企業(yè)。二是資金投入不足，企業(yè)受盈利壓力很難長期維持高投入。政府項目的支持力度與所需投入相比仍顯乏力，決策周期長。三是領(lǐng)軍人才和核心團隊缺乏。ChatGPT團隊共87人，絕大多數(shù)擁有世界名校學歷和知名企業(yè)工作經(jīng)歷。而國內(nèi)人工智能頂級人才分散在不同機構(gòu)中，很難形成掌握核心技術(shù)并且有強大工程能力和項目經(jīng)驗的領(lǐng)軍人物和團隊。
相關(guān)政策建議
人工智能大模型具有重要的戰(zhàn)略意義，是未來科技競爭的制高點，也是重要的智能基礎(chǔ)設(shè)施。需從戰(zhàn)略高度重視ChatGPT引發(fā)的新一輪人工智能革命，從算法、算力、數(shù)據(jù)等方面加快布局和突破，構(gòu)建包容創(chuàng)新的監(jiān)管環(huán)境，積極應對新一輪人工智能科技競爭。 一是瞄準通用人工智能“大模型”發(fā)力，加快推動大規(guī)模應用。 基于通用數(shù)據(jù)集的大模型是人工智能走向商業(yè)化應用落地的重要手段，將帶動新的產(chǎn)業(yè)和服務應用范式。建議加快自然語言處理、計算機視覺以及多模態(tài)大模型攻關(guān)。同時，在細分領(lǐng)域構(gòu)筑優(yōu)勢，進一步深耕垂直領(lǐng)域，從實際場景中積累行業(yè)數(shù)據(jù)和知識，加快孵化人臉識別、音頻生產(chǎn)、財務分析、法律服務、教育培訓等行業(yè)大模型，逐步完善模型架構(gòu)、提升參數(shù)數(shù)量，推進應用落地。 二是整合“大數(shù)據(jù)”，聚焦打造專業(yè)數(shù)據(jù)服務。 訓練大模型需要優(yōu)質(zhì)的大數(shù)據(jù)集合，有些數(shù)據(jù)還需要人工標注。收集和清洗數(shù)據(jù)是一項耗時較長的基礎(chǔ)性工作，其質(zhì)量直接決定模型的智能程度。建議加快推動數(shù)據(jù)資源整合共享和開發(fā)利用。ChatGPT的成功因素之一是擁有大量的優(yōu)質(zhì)訓練數(shù)據(jù)。我國具備海量數(shù)據(jù)和豐富應用場景，建議進一步促進圖書、期刊和傳統(tǒng)行業(yè)的優(yōu)質(zhì)數(shù)據(jù)開放，激發(fā)數(shù)據(jù)要素活力。制定政府公共數(shù)據(jù)資源開放清單，開展數(shù)據(jù)資源開放試點，優(yōu)先開放高價值、低敏感、數(shù)據(jù)量大的民生公共數(shù)據(jù)，逐步開放公共數(shù)據(jù)庫、專業(yè)數(shù)據(jù)庫等。培育專業(yè)數(shù)據(jù)服務商，培育壯大數(shù)據(jù)采集、標注、清洗等服務產(chǎn)業(yè)。擴大優(yōu)質(zhì)數(shù)據(jù)供給，特別是加快推進歷年來中文圖書、紙質(zhì)文獻等的數(shù)字化，搭建用于人工智能大模型訓練的優(yōu)質(zhì)數(shù)據(jù)集，擴大面向人工智能大模型的數(shù)據(jù)供給。 三是布局“大算力”，聚焦建立算力統(tǒng)一大市場。 充分發(fā)揮市場機制的作用，堅決遏制低水平、不可持續(xù)、缺乏商業(yè)閉環(huán)的智算中心盲目建設(shè)，避免算力市場和人工智能服務市場的碎片化。支持圍繞云計算建設(shè)的各類行業(yè)訓練數(shù)據(jù)集、人工智能訓練平臺，形成從理論模型創(chuàng)新、模型工程化到場景化服務的技術(shù)和商業(yè)閉環(huán)，構(gòu)建統(tǒng)一、開放、有序的人工智能產(chǎn)業(yè)大生態(tài)。建立人工智能計算資源共享名錄，支持各省市超算中心、算力平臺、行業(yè)訓練數(shù)據(jù)集、人工智能訓練平臺等人工智能基礎(chǔ)設(shè)施資源開放共享。 四是支持以頭部企業(yè)為主體，推動形成人工智能“大模型”攻堅合力。 加大對頭部企業(yè)開展大模型核心技術(shù)攻關(guān)的支持力度，發(fā)揮重點企業(yè)和研究機構(gòu)的數(shù)據(jù)、算力、算法和人才優(yōu)勢，聯(lián)合產(chǎn)業(yè)鏈上下游企業(yè)、高校院所、新型研發(fā)機構(gòu)，協(xié)同開展科研攻關(guān)，加快推出國產(chǎn)大模型拳頭產(chǎn)品。五是實施包容審慎的監(jiān)管，為新生事物發(fā)展留足空間。 類ChatGPT產(chǎn)品作為新生事物，不可能十全十美，鼓勵發(fā)展是主旋律。ChatGPT初期也會不斷“犯錯誤”，但其自身也逐步建立了技術(shù)機制，針對內(nèi)容、倫理等相關(guān)風險進行了過濾與阻斷，經(jīng)過用戶反饋、專家機制優(yōu)化迭代后逐步成熟完善。依托優(yōu)良的網(wǎng)絡(luò)環(huán)境，豐富的內(nèi)容治理經(jīng)驗，以及完善的AI監(jiān)管框架，我國完全具備對于以ChatGPT為代表的人工智能大模型技術(shù)治理自信。因此，面對可能出現(xiàn)倫理、數(shù)據(jù)、輿情等風險，要建立容錯機制，實行沙盒監(jiān)管和敏捷治理，實現(xiàn)規(guī)范與發(fā)展的動態(tài)平衡。
關(guān)鍵詞：
責任編輯：Rex_23
