來源：IT之家

據(jù) TechCrunch 12 日報道，哈佛大學(xué)與谷歌宣布，聯(lián)合發(fā)布 100 萬本公共領(lǐng)域書籍作為 AI 訓(xùn)練數(shù)據(jù)集。

AI 訓(xùn)練所需的數(shù)據(jù)成本高昂，但卻更適合資金充裕的科技公司。因此，哈佛大學(xué)計劃發(fā)布一個包含約 100 萬本公共領(lǐng)域書籍的數(shù)據(jù)集，這些書籍覆蓋多種類型、語言和作者，包括已不再受版權(quán)保護(hù)的經(jīng)典作家如狄更斯、但丁和莎士比亞等，因這些作品的版權(quán)已隨時間過期。

雖然這個新數(shù)據(jù)集尚未公開，也不清楚具體的發(fā)布方式和時間，但它來源于谷歌的長期項目 —— 谷歌圖書（Google Books）。因此，谷歌將參與這次“寶貴財富”的廣泛發(fā)布。

據(jù)IT之家了解，早在今年 3 月，哈佛大學(xué)就曾透露其“機(jī)構(gòu)數(shù)據(jù)計劃（IDI）”，并表示這一計劃旨在為 AI 提供“合法數(shù)據(jù)的可信通道”。直到正式啟動后，該計劃才確認(rèn)得到了微軟和 OpenAI 的資金支持。

IDI 的執(zhí)行董事格雷格?萊佩特（Greg Leppert）表示，該數(shù)據(jù)集的目標(biāo)是“讓競爭環(huán)境更加公平”，通過向包括研究機(jī)構(gòu)和 AI 初創(chuàng)公司在內(nèi)的各類機(jī)構(gòu)開放這一龐大的數(shù)據(jù)集，以幫助他們訓(xùn)練大型語言模型。