鵬城實(shí)驗(yàn)室等開(kāi)展合作 突破國(guó)產(chǎn)算力大模型長(zhǎng)窗口技術(shù)
中新網(wǎng)北京11月19日電 (記者 張素)上下文窗口長(zhǎng)度,對(duì)于模型理解和生成與特定上下文相關(guān)文本極為重要,是大模型核心技術(shù)之一。記者近日采訪獲悉,鵬城實(shí)驗(yàn)室等相關(guān)機(jī)構(gòu)開(kāi)展合作,在國(guó)產(chǎn)算力大模型長(zhǎng)窗口技術(shù)方面有所突破。
通常來(lái)說(shuō),更長(zhǎng)的上下文窗口可以提供更豐富的語(yǔ)義信息,并且能夠讓模型生成的內(nèi)容更準(zhǔn)確流暢?!谤i城—百川·腦海33B”的128K長(zhǎng)上下文窗口基于“鵬城云腦”國(guó)產(chǎn)算力平臺(tái)訓(xùn)練,未來(lái)可升級(jí)至192K。
據(jù)知,為提升上下文窗口長(zhǎng)度和模型整體性能,百川智能和鵬城實(shí)驗(yàn)室對(duì)模型進(jìn)行了全流程優(yōu)化。在數(shù)據(jù)集構(gòu)建方面,研發(fā)人員采用精細(xì)的數(shù)據(jù)構(gòu)造,實(shí)現(xiàn)段落、句子粒度的自動(dòng)化數(shù)據(jù)過(guò)濾、選擇、配比,進(jìn)一步提升了數(shù)據(jù)質(zhì)量。
在全生命周期的模型工具集中方面,包括來(lái)自北京大學(xué)的王亦洲、楊耀東團(tuán)隊(duì)在內(nèi),多方開(kāi)展合作,創(chuàng)新提出帶安全約束的RLHF對(duì)齊技術(shù),有效提升了模型內(nèi)容生成質(zhì)量和安全性。
鵬城實(shí)驗(yàn)室相關(guān)負(fù)責(zé)人表示,接下來(lái)還將廣泛聯(lián)合企業(yè)、高校和科研院所,通過(guò)開(kāi)源群智的合作模式共享資源,為千行百業(yè)插上人工智能的“翅膀”。百川智能相關(guān)負(fù)責(zé)人也表示,希望通過(guò)開(kāi)源、與合作伙伴共創(chuàng)等方式,助力中國(guó)大模型創(chuàng)新,促進(jìn)本土大模型生態(tài)日益繁榮。
有評(píng)論認(rèn)為,上述在大模型訓(xùn)練和應(yīng)用領(lǐng)域的合作研發(fā)實(shí)踐,對(duì)于國(guó)產(chǎn)算力大模型發(fā)展具有積極示范作用,希望更多科研機(jī)構(gòu)、企業(yè)廠商基于各自?xún)?yōu)勢(shì)形成合力,更好地滿(mǎn)足國(guó)內(nèi)不斷增長(zhǎng)的智能化轉(zhuǎn)型需求,助力中國(guó)人工智能產(chǎn)業(yè)持續(xù)發(fā)展。(完)
版權(quán)聲明:凡注明“來(lái)源:中國(guó)西藏網(wǎng)”或“中國(guó)西藏網(wǎng)文”的所有作品,版權(quán)歸高原(北京)文化傳播有限公司。任何媒體轉(zhuǎn)載、摘編、引用,須注明來(lái)源中國(guó)西藏網(wǎng)和署著作者名,否則將追究相關(guān)法律責(zé)任。
- 第三屆東吳國(guó)際人道論壇舉行 專(zhuān)家吁深化合作應(yīng)對(duì)氣候變化
- 中東面面觀丨第18屆迪拜航展落幕 航空業(yè)現(xiàn)強(qiáng)勁復(fù)蘇勢(shì)頭
- “三北”工程三大標(biāo)志性戰(zhàn)役開(kāi)局順利 已開(kāi)工項(xiàng)目22個(gè) 完成造林種草608.07萬(wàn)畝
- 港青吳學(xué)明:發(fā)揮廣府人智慧 助大灣區(qū)發(fā)展
- 摩洛哥“中國(guó)通”:共建“一帶一路”要重視跨文化人才培養(yǎng)
- 2023中國(guó)—東盟國(guó)際槳板公開(kāi)賽在南寧舉行
- “人與自然和諧共生現(xiàn)代化”城市戰(zhàn)略聯(lián)盟成立 全國(guó)10地加入
- 《尋找聲音的女孩》用圖畫(huà)書(shū)向世界講述中國(guó)兒童故事的真善美
- 鄭振清:“融合三角”為兩岸命運(yùn)共同體建設(shè)提供新動(dòng)力
- 中國(guó)人民銀行向萬(wàn)事網(wǎng)聯(lián)公司核發(fā)銀行卡清算業(yè)務(wù)許可證