DeepMind：GPT-5正在訓(xùn)練中 比當(dāng)前模型大100倍

DeepMind聯(lián)合創(chuàng)始人Suleyman表示，GPT-5仍在秘密訓(xùn)練中，未來(lái)將會(huì)比現(xiàn)在的GPT-4大100倍。

其實(shí)，Open AI CEO Sam Altman此前曾否認(rèn)訓(xùn)練GPT-5的這一說(shuō)法。有消息人士表示，OpenAI可能給它起了一個(gè)新名字，所以他們才說(shuō)沒(méi)有訓(xùn)練GPT-5。

Suleyman目前是Inflection AI的CEO，Inflection AI正在建造世界上最大的超級(jí)計(jì)算機(jī)之一，并且他認(rèn)為在接下來(lái)的18個(gè)月內(nèi)，他們可能會(huì)進(jìn)行一次比制造GPT-4的語(yǔ)言模型訓(xùn)練運(yùn)行大10倍或100倍的訓(xùn)練運(yùn)行。

今年3月份GPT-4正式發(fā)布，和ChatGPT最初使用的GPT-3.5模型相比，GPT-4實(shí)現(xiàn)了幾個(gè)方面的飛躍式提升：強(qiáng)大的識(shí)圖能力;文字輸入限制提升至2.5萬(wàn)字;回答準(zhǔn)確性顯著提高;能夠生成歌詞、創(chuàng)意文本，實(shí)現(xiàn)風(fēng)格變化。

GPT-3.5有1750億參數(shù)規(guī)模，OpenAI沒(méi)有公布過(guò)GPT-4的具體規(guī)格，但之后的分析認(rèn)為它擁有16個(gè)專(zhuān)家模型，每個(gè)MLP專(zhuān)家大約有1110億個(gè)參數(shù)，總計(jì)1.8萬(wàn)億參數(shù)，是GPT-4的10倍規(guī)模。

GPT-5如果按照這個(gè)比例來(lái)提升，那要突破10萬(wàn)億參數(shù)了，有可能成為最大規(guī)模的AI大模型，遠(yuǎn)超其他所有對(duì)手。