【講座題目】基于多模態(tài)大模型的智能理解與內(nèi)容生成

【時(shí)  間】2022年12月24日    上午：9:10-10:00

【地  點(diǎn)】保定校區(qū) 計(jì)算機(jī)系 自動(dòng)化系      騰訊會(huì)議：841-767-337

【主 講 人】王金橋，研究員/博士生導(dǎo)師，中科院自動(dòng)化所

【主講人簡(jiǎn)介】

王金橋，中國(guó)科學(xué)院自動(dòng)化研究所紫東太初多模態(tài)中心常務(wù)副主任，研究員，博導(dǎo)，武漢人工智能研究院院長(zhǎng)，中國(guó)科學(xué)院大學(xué)人工智能學(xué)院崗位教授，多模態(tài)人工智能產(chǎn)業(yè)聯(lián)盟秘書(shū)長(zhǎng)，主要從事多模態(tài)大模型、視頻分析與檢索、大規(guī)模目標(biāo)識(shí)別等方面的研究。共發(fā)表包括IEEE國(guó)際權(quán)威期刊和頂級(jí)會(huì)議論文300余篇，國(guó)際期刊50余篇，國(guó)際會(huì)議220余篇。完成國(guó)家標(biāo)準(zhǔn)提案3項(xiàng)，發(fā)明專(zhuān)利36項(xiàng)，10項(xiàng)國(guó)際視覺(jué)算法競(jìng)賽冠軍，北京市科技進(jìn)步一等獎(jiǎng)，吳文俊人工智能科技進(jìn)步二等獎(jiǎng)，中國(guó)發(fā)明創(chuàng)新銀獎(jiǎng)。

【報(bào)告內(nèi)容簡(jiǎn)介】

自從GPT/Bert模型提出以來(lái)，基于自監(jiān)督學(xué)習(xí)的預(yù)訓(xùn)練模型迎來(lái)了爆發(fā)式發(fā)展。當(dāng)前包含文本、語(yǔ)音、圖像、視頻等多種模態(tài)數(shù)據(jù)的信息在不斷融合，預(yù)訓(xùn)練模型正由單模態(tài)邁向多模態(tài)自監(jiān)督學(xué)習(xí)，我們通過(guò)跨模態(tài)多任務(wù)自監(jiān)督學(xué)習(xí)融合文本、語(yǔ)音、圖像、視頻海量弱相關(guān)的多模態(tài)數(shù)據(jù)，開(kāi)拓性地實(shí)現(xiàn)了圖像、文字、語(yǔ)音和視頻等不同模態(tài)數(shù)據(jù)之間的統(tǒng)一表示和互相生成，基于國(guó)產(chǎn)化基礎(chǔ)軟硬件平臺(tái)打造了紫東太初大模型開(kāi)放服務(wù)平臺(tái)，既可以實(shí)現(xiàn)一站式低代碼的模型微調(diào)和模型部署，支持跨模態(tài)理解和跨模態(tài)生成，在智慧文旅、智慧城市、智能制造和智慧醫(yī)療等多個(gè)領(lǐng)域?qū)崿F(xiàn)了落地應(yīng)用。