最新消息,字節跳動在大模型上已有所布局,分別在語言和圖像兩種模態上發力。
// 字節緊急布局 //
據報道,語言大模型團隊由字節搜索部門牽頭,團隊規模在十數人左右。圖片大模型團隊則由產品研發與工程架構部下屬的智能創作團隊牽頭。字節跳動語言大模型團隊在今年組建,探索方向主要為與搜索、廣告等下游業務的結合,“搜索業務部門、AI Lab和AML(應用機器學習)團隊都調了一部分人支援語言大模型,團隊目前的預期是在今年年中推出大模型”。據悉,語言大模型團隊負責人與圖像大模型團隊負責人的間接和直接匯報對象,均為Tik Tok產品技術負責人朱文佳。
(相關資料圖)
對AI領域的布局,字節的反應速度一直較快。據了解,目前AIGC(AI生成內容)技術也已結合到頭條的內容創作以及抖音的圖文內容生成中。比如2021年,抖音上線的可以把人臉卡通畫的“漫畫臉”就小范圍出圈。
ChatGPT模式證明,大模型的訓練是入場費高昂的長跑。在算力保障方面,字節旗下的企業技術服務平臺火山引擎,在2021年正式進軍基礎云市場(IaaS層),為大模型所需的算力奠定了基礎。
// 大廠跑步進場 //
所謂“大模型”,通常是在無標注的大數據集上,采用自監督學習的方法進行訓練。之后在其他場景的應用中,開發者只需要對模型進行微調,或采用少量數據進行二次訓練,就可以滿足新應用場景的需要。
在大模型的框架下,ChatGPT所使用的GPT模型,每一代參數量均高速擴張,預訓練的數據量需求和成本亦快速提升。據資料,僅GPT-3訓練一次的成本約為140萬美元,對于一些更大的LLM模型,訓練成本介于200萬美元至1200萬美元之間。因此說進入大模型首先得肯燒錢。另外從參數數量上,國內并不缺數據,百度、字節跳動這樣的公司都有海量的數據積累,不過后續包括數據清洗、標注以及模型的結構設計,訓練、推理等都需要時間積累。此外想做大模型,不僅是資金,還有人力和基礎模型,對于互聯網大廠而言,難度也是不小。
ChatGPT帶動了國內互聯網大廠大模型熱潮。據悉,目前已經有多家互聯網大廠宣布正開展ChatGPT相關研發。此前,百度高調宣布,已站上ChatGPT競賽的跑道。按照百度的規劃,其將于今年3月推出類ChatGPT產品文心一言,外界猜測,文心一言要么與百度搜索引擎入口打通,要么推出類似AI畫作平臺文心一格的獨立入口。
阿里方面也確認,阿里達摩院正在研發類 ChatGPT 的對話機器人,目前處于內測階段。三六零在互動平臺表示,360 公司也計劃盡快推出類 ChatGPT 技術的 demo 版產品。
騰訊方面還沒有確切的消息傳來,不過,2月3日,騰訊申請的“人機對話方法、裝置、設備及計算機可讀存儲介質”專利獲授權,該項專利與ChatGPT的原理十分相似。
// 將獲得政策大力支持 //
2月24日,國新辦舉行“權威部門話開局”系列主題新聞發布會。科技部高新技術司司長陳家昌在談到近期引起廣泛關注的ChatGPT時表示,科技部將把人工智能作為戰略性新興產業,作為新增長引擎,繼續給予大力支持。將推動人工智能與經濟社會深度融合,在重大應用場景中錘煉技術,升級迭代,培育市場。
CSR-期貨專題統計
版權與免責聲明:
1 本網注明“來源:×××”(非商業周刊網)的作品,均轉載自其它媒體,轉載目的在于傳遞更多信息,并不代表本網贊同其觀點和對其真實性負責,本網不承擔此類稿件侵權行為的連帶責任。
2 在本網的新聞頁面或BBS上進行跟帖或發表言論者,文責自負。
3 相關信息并未經過本網站證實,不對您構成任何投資建議,據此操作,風險自擔。
4 如涉及作品內容、版權等其它問題,請在30日內同本網聯系。