數(shù)字技術與大語言模型時代

作者：陳曉東（中國社會科學院工業(yè)經(jīng)濟研究所研究員）

在人類發(fā)展史上，由于技術進步帶來的全新產(chǎn)品與服務，不僅滿足了既有的需求還創(chuàng)造了新的需求。隨著數(shù)字技術的廣泛應用，以智能化為特征的第四次工業(yè)革命已經(jīng)悄然出現(xiàn)。ChatGPT由于具備了較為流暢的邏輯性對話和交互能力，體現(xiàn)出具有高水平結(jié)構(gòu)復雜性和大量參數(shù)的大模型可以實現(xiàn)深度學習，一經(jīng)問世就備受市場關注。從本質(zhì)上講，這種大模型是大語言模型（LLM），具有大規(guī)模參數(shù)和復雜網(wǎng)絡結(jié)構(gòu)，引發(fā)了人工智能生成內(nèi)容（AIGC）技術的質(zhì)變。與傳統(tǒng)語言模型不同，大語言模型通過在大規(guī)模語料庫上進行訓練來學習語言的統(tǒng)計規(guī)律，能夠自動學習語法、句法、語義等多層次的語言規(guī)律。人工智能的大語言模型參數(shù)一般有1億多個，且這一標準還在不斷提高，而比大語言模型更大、更復雜的人工神經(jīng)網(wǎng)絡模型，通常擁有數(shù)萬億到數(shù)十萬億個參數(shù)的超大模型。超大模型通常被用于解決自然語言處理（NLP）中的問答和機器翻譯、計算機視覺中的目標檢測和圖像生成等更為復雜的任務。從人工智能的生成角度來看，其模型可以根據(jù)文本提示生成代碼，還可以解釋甚至在某些情況下調(diào)試代碼。這一過程不僅可以實現(xiàn)文本、圖像、音頻、視頻的生成并構(gòu)建多模態(tài)，還可以在更為廣泛的領域生成新的設計、知識和思想，乃至實現(xiàn)廣義的藝術和科學再創(chuàng)造。

大語言模型的訓練需要大量的計算資源和數(shù)據(jù)。OpenAI就用了數(shù)萬臺CPU、GPU（圖像處理單元）和多種技術對其模型進行優(yōu)化調(diào)整。2018—2023年，OpenAI的大語言模型實現(xiàn)了數(shù)次迭代；OpenAI還提供了API接口，使得開發(fā)者可以利用大語言模型進行NLP的應用開發(fā)。這是在數(shù)學、統(tǒng)計學、計算機科學、物理學、工程學、神經(jīng)學、語言學、哲學、人工智能等諸多學科融合基礎上的一次突變。正如谷歌研究院、斯坦福大學和DeepMind聯(lián)合發(fā)表的《大語言模型的涌現(xiàn)能力》中所提及的：“許多新的能力在中小模型上線性放大規(guī)模都得不到線性的增長，模型規(guī)模必須呈指數(shù)級增長并超過某個臨界點，新技能才會突飛猛進?！币虼耍笳Z言模型的訓練和調(diào)整需要極其巨大的算力、算法、數(shù)據(jù)、技術以及超大規(guī)模的投入與協(xié)作，而前三者作為人工智能的三要素，在產(chǎn)業(yè)數(shù)字化的智能升級進程中發(fā)揮著巨大作用。其中，數(shù)據(jù)是生產(chǎn)資料，算法代表新生產(chǎn)關系，算力作為新生產(chǎn)力支撐著算法和數(shù)據(jù)，而算力水平又直接決定數(shù)據(jù)處理能力的強弱。在復雜的算力場景中，如何組合不同的算力類型，是降低成本并最終得到市場認可的關鍵。

當前，算力已成為全球主要國家的戰(zhàn)略布局核心，更成為全球戰(zhàn)略競爭新焦點，對于我國在推進新型工業(yè)化過程中搶占新一輪科技革命和產(chǎn)業(yè)變革制高點同樣具有深刻意義。大語言模型對算力的要求更多地聚焦在智能算力上，預計到2026年，中國智能算力規(guī)模將達1271.4 EFLOPS（即每秒浮點運算次數(shù)），年復合增長率達52.3%。隨著“東數(shù)西算”工程與新型基礎設施等政策出臺，我國算力整體布局從東部地區(qū)開始逐漸向中西部地區(qū)延伸，因此要鼓勵有條件的地區(qū)因地制宜探索試點算力新領域。在加大算力作為經(jīng)濟發(fā)展重要底層支撐的同時，還要著力培育并加快建立我國人工智能發(fā)展的完整生態(tài)。OpenAI專注于大語言模型研發(fā)，算力由微軟公司完成，數(shù)據(jù)由專門公司負責清洗……OpenAI正是在整個人工智能生態(tài)中完成了大語言模型開發(fā)，這樣的多方協(xié)作生態(tài)不斷促使各參與主體的自主創(chuàng)新與協(xié)同發(fā)展。發(fā)展我國大語言模型，必須建立一個統(tǒng)一的大語言模型平臺和基座，對接國產(chǎn)算力公司并做好接口，讓所有企業(yè)都可以參與使用，這樣才能促進人工智能尤其是大語言模型的生態(tài)鏈建設，在同經(jīng)濟社會發(fā)展深度融合中推動我國新一代人工智能健康發(fā)展。

來源：中國社會科學網(wǎng)-中國社會科學報