2023世界人工智能大會期間，有人直言，沒有大算力做大模型就是天方夜譚。但也有人認為，數(shù)據(jù)要素在人工智能大模型的發(fā)展中具有關鍵性作用，決定了模型的訓練質(zhì)量、性能表現(xiàn)和應用領域的廣度與深度。
(資料圖片)
全球大模型群雄逐鹿，算力最先告急。今年5月29日，英偉達創(chuàng)始人黃仁勛斷言，“我們已經(jīng)達到生成式AI引爆點，從此全世界的每個角落都會有算力需求”。一天后，英偉達市值突破萬億美元，屹立世界之巔。
人們常把算力、算法、數(shù)據(jù)形容為人工智能的三駕馬車，但這三駕馬車之間可能也不是完全的并行關系。如果說算力是大模型的“根”，那數(shù)據(jù)或者說是高質(zhì)量的語料庫，或許就會成為算力的“根”。
一熱一冷
大模型浪潮，率先將算力推至風口浪尖。2023世界人工智能大會上，算力成為大模型絕對的關鍵詞之一。中國工程院院士、鵬城實驗室主任高文把算力比作電力，認為沒有大算力做大模型就是天方夜譚。華為輪值董事長胡厚崑也提到，大模型訓練的效率或者是創(chuàng)新的速度，根本上取決于算力的大小。中國的算力已經(jīng)成為一個越來越稀缺的資源。
大會期間，畢馬威與聯(lián)想集團聯(lián)合發(fā)布《普慧算力開啟新計算時代》報告。畢馬威中國數(shù)字化賦能主管合伙人張慶杰在解讀報告時提到，算力供給增速明顯難以滿足指數(shù)式爆發(fā)的需求，儲備算力成為各行各業(yè)的必要舉動。
據(jù)了解，深度學習出現(xiàn)之前，用于AI訓練的算力增長大約每20個月翻一番；之后，用于AI訓練的算力大約每6個月翻一番；2012年后，全球頭部AI模型訓練算力需求更是加速到每3-4個月翻一番，即平均每年算力增長幅度達到驚人的10倍；目前大模型發(fā)展如火如荼，訓練算力需求有望擴張到原來的10-100倍，算力需求的指數(shù)級增長曲線將更加陡峭。
大模型對算力的需求是顯而易見的，但更關鍵的點可能在于是否能把算力更高效地挖掘出來。一家芯片企業(yè)的技術人員對北京商報記者提到，一個模型上線需要用到很多硬件，如果只支撐了少量用戶，就會因為太貴導致用戶不買賬，由此撐不起正向循環(huán)的情況，但太便宜又會出現(xiàn)虧本的問題。特別是到落地階段，如何能夠結合模型上的一些改進，把硬件的特性最大程度地發(fā)揮出來，就會變得非常重要。
“也就是說在訓練階段，大家對算力的追求可能是‘大’，這一方面能夠做出更大的模型，另一方面也能夠進行更快速的迭代。但到用戶開始接受這個效果的時候，就要涉及到怎樣做才能更劃算的問題，也就是說在部署階段，可能要更關注‘精’的問題，盡可能用相對少的算力實現(xiàn)最大程度的作用?！鄙鲜黾夹g人員說道。
大會期間，比起對算力的探討，數(shù)據(jù)就顯得有些“冷清”了?！皵?shù)據(jù)要素比大模型早好幾年，大模型被‘炒’起來了，但數(shù)據(jù)要素卻一直不溫不火?！?月8日，在2023世界人工智能大會“大模型時代下的數(shù)據(jù)要素流通”論壇的主題演講中，拓爾思總裁施水才開場便提出了這樣一種現(xiàn)象，在他看來，這場論壇為人們認識數(shù)據(jù)要素流通提供了一個新的視角。
機遇與挑戰(zhàn)
在上述論壇上，中國知網(wǎng)副總經(jīng)理張宏偉表示，數(shù)據(jù)是人工智能的基石，數(shù)據(jù)的質(zhì)量和數(shù)量最終決定人工智能水平高低，影響其安全性、可信性。施水才更是認為，高質(zhì)量數(shù)據(jù)才是大模型價值躍遷的制勝法寶。
但當下的問題在于，數(shù)據(jù)并不都是高質(zhì)量的。過去一段時間，一度出現(xiàn)“AI正在污染中文互聯(lián)網(wǎng)”的討論，而AI最讓人詬病的就是“幻覺”問題，也就是人們常說的“一本正經(jīng)地胡說八道”。
大模型“幻覺”也是人工智能大會期間被提到的高頻詞匯。施水才對北京商報記者提到，“幻覺”問題的出現(xiàn)，主要是因為大模型缺乏理論的支撐，因為其核心技術原理主要就是Transformer架構下的Next Token Prediction，即“下一個字符的預測”。另一方面大模型并不是越大越好，數(shù)據(jù)也不是越多越好，真正好的大模型是參數(shù)大小適中，數(shù)據(jù)高質(zhì)量。
算力可以堆硬件，相比起來，優(yōu)質(zhì)數(shù)據(jù)的供給可能會復雜得多。中國電子副總經(jīng)理陸志鵬提到，大模型技術實現(xiàn)高質(zhì)量發(fā)展，數(shù)據(jù)有效供給是關鍵，急需建設安全可信的數(shù)據(jù)底座。當前數(shù)據(jù)合規(guī)確權、計量估價、協(xié)調(diào)分配、安全隱私保護等核心難題需要破解。
在接受北京商報記者采訪時，上海數(shù)據(jù)交易所副總經(jīng)理韋志林提到，從推動數(shù)字經(jīng)濟，推動數(shù)據(jù)作為生產(chǎn)要素的角度看，數(shù)據(jù)應該是最核心、最長遠、最基礎性的因素。“大模型的預訓練對數(shù)據(jù)要求也特別高，必須在前期進行清洗、標注、標識，但圍繞千行百業(yè)的數(shù)據(jù)訓練，在數(shù)據(jù)供給方面也呈現(xiàn)出了許多問題和挑戰(zhàn)?！?/p>
首要的就是頭部廠商并不愿意開放數(shù)據(jù)。數(shù)據(jù)是生產(chǎn)要素，數(shù)據(jù)有價值，這些已經(jīng)達成共識，但進行數(shù)據(jù)共享就一定會牽扯到安全問題，如何解決數(shù)據(jù)在共享過程中的安全機制至關重要。而數(shù)據(jù)的開放流通，也自然涉及收益分配，且數(shù)據(jù)流通過程中創(chuàng)造的新價值更多服務于企業(yè)內(nèi)部，拿出去的動力還需進一步培育。
“所以從數(shù)據(jù)流通本身看，更多壓力還存在供給側這一方面，需要解決供給側產(chǎn)權制度問題、收益分配制度問題、安全問題、基礎設施問題等，讓數(shù)據(jù)流通更加便捷、更加合規(guī)?！表f志林表示，上海數(shù)據(jù)交易所作為國家戰(zhàn)略的承接者，需要解決的就是這些問題。
據(jù)了解，7月8日，上海數(shù)據(jù)交易所啟動語料數(shù)據(jù)生態(tài)創(chuàng)新合作伙伴計劃，而在此前一天，上海數(shù)據(jù)交易所官網(wǎng)剛剛正式上線語料庫，累計掛牌近30個語料數(shù)據(jù)產(chǎn)品，包含文本、音頻、圖像等多模態(tài)，覆蓋金融、交通運輸和醫(yī)療等領域。
關鍵詞：
責任編輯：Rex_10
