中国首个开源多模态预训练语料“书生·万卷” 发布

上海人工智能实验室于今日宣布，联合中国大模型语料数据联盟成员单位，共同开源发布“书生·万卷” 1.0多模态预训练语料。目前分为文本数据集、图文数据集、视频数据集三部分，开源的数据总量超过2TB，包含超过5亿个文本，2200万个图文交错文档，1000个节目影像视频，覆盖科技、文学、媒体、教育、法律等领域。据了解，中国大模型语料数据联盟是由上海人工智能实验室联合中央广播电视总台、人民网、国家气象中心、中国科学技术信息研究所、上海报业集团、上海文广集团、上海数据集团、上海市数商协会、金杜律师事务所等单位联合发起成立的开放组织。