资料来源:报纸。
记者张静
据不完全统计,目前国内已发布79个超10亿参数的大比例尺模型,14个省市地区正在开发大比例尺模型,主要集中在北京和广东,其中北京大比例尺模型38个,广东大比例尺模型20个。国内的大模型有一半以上是开源的,主要来源是高校/科研机构。
北京、江苏、广东、上海等。是大型型号人才相对较多的地区,为大型型号研发提供关键智力支持。但人才总量仍然稀缺,大模型门槛高,需要高素质的AI人才。目前各地的大模特人才数量不足。
图片来源:由** AI工具生成。
全国超10亿参数的大型模型有79个,主要分布在北京和广东。
5月28日,在中关村论坛2023平行论坛之一的人工智能大模型发展论坛上,中国科技信息研究所所长赵之云发布了《中国人工智能大模型图谱研究报告》。目前全国10亿参数以上大模型已经发布79个,主要分布在北京和广东,其中北京大模型38个,广东大模型20个。国内的大模型有一半以上是开源的,主要来源是高校/科研机构。
谷歌2017年发布的变压器网络结构是大模型开发的源技术。自此,大模型技术在自然语言理解、计算机视觉、智能语音等方面取得了里程碑式的技术突破,在模型精度、通用性、泛化能力等方面实现了跨越式发展。ChatGPT进一步刺激了语言大模型的爆发式涌现,也吸引了大量R&D团队投入到通用视觉、多模态等大模型的研发方向。赵之云表示,在短短五年多的时间里,大模型技术已经形成了庞大的技术群体,衍生出了涵盖各种参数尺度、各种技术架构、各种模式、各种场景的大模型家族。
从全球大模型的发展趋势来看,美国Google、OpenAI等机构持续引领大模型技术前沿,欧、俄、以越来越多的R&D团队也在投入大模型的研发。在全球已发表的大型模型分布上,中国和美国遥遥领先,占全球总量的80%以上。美国一直是世界上大型模型数量最多的国家。中国从2020年开始进入大尺寸型号快速发展期,现在与美国并驾齐驱。
在中国大比例尺模型发展趋势方面,赵之云表示,据不完全统计,截至目前,全国已发布79个超10亿参数的大比例尺模型,14个省市地区正在开发大比例尺模型,主要集中在北京和广东,其中北京38个大比例尺模型,广东20个大比例尺模型。在模型领域分布上,自然语言处理仍然是大模型研发最活跃的重点领域,多模态领域次之,计算机视觉和智能语音领域的大模型很少。在R&D课题分布上,高校、科研机构、企业等创新主体都在参与大型号的研发,学术界和产业界的联合研发仍然不足。“大模式今年发展很快,但我们也观察到了合作收缩的趋势,接下来需要关注。”
同时,计算能力与模型匹配度高,公共计算能力发展迅速。北京、广东、浙江、上海等地大型机型数量最多,这四地也是近三年人工智能服务器采购数量最多的地区。各地也在通过提供公共计算能力来补充快速增长的人工智能计算能力需求,为大模型的研发提供更多的计算能力支持。
人才也是人工智能的重要支柱。北京、江苏、广东、上海等。是大型型号人才相对较多的地区,为大型型号研发提供关键智力要素。但人才总量仍然稀缺,大模型门槛高,需要高素质的AI人才。目前各地的大模特人才数量不足。
“通过大模型论文的发表,可以看到中国大模型的学术影响力正在逐渐形成。从区域影响力来看,北京、广东、上海的论文量和引用量都是全国最高的。”赵之云表示,清华大学、阿里和百度联合开发的CogView模型论文被引用次数最高。但与国外领先模特的学术影响力相比,还是有不小的差距。
从开源创新生态来看,国内一半以上的大模型都是开源的,北京、广东、上海的开源数量和影响力均位居全国前三。大学/科研机构是开源的主力军。“清华大学的ChatGLM-6B,复旦大学的MOSS,百度的文新系列大模型,开源影响力最高。”赵对说道。
中国大模型的工业应用沿着两条路径发展。首先是通用大模型继续拓展应用领域。文易欣颜、钱文、紫东太初、星火认知等一批国内通用大模型发展迅速,打造跨行业通用人工智能能力平台,其应用行业正加速从办公、生活、娱乐向医疗、工业、教育等领域渗透。第二是垂直领域专业模式的不断深化。生物医药、遥感气象等垂直领域的一批专业模型,深度发挥优势,为具体业务场景提供高质量的专业解决方案。
倡导加强资源和研发力量的统筹规划,推动大型号有序发展。
针对大比例模型发展的不足,赵之云提出了四点建议和展望:
一是加强资源和R&D力量的统筹规划,促进大型号有序发展。通过加强智能计算中心、超级计算中心、云计算中心等计算资源的协调,制定公共数据共享目录和共享规则,推动数据分类有序开放。
二是加快基础研究和技术创新,提升学术和开源影响力。大型模型技术尚处于发展初期,潜在的基础理论和技术创新空巨大。通过蒸馏、量化等小型化技术,为模型“瘦身”,为大模型小型化、绿色化发展提供了技术支撑。进一步加强产学研合作,鼓励大型模型开源开放,也将加速大型模型的技术进步。
三是强化场景牵引在大型号研制中的作用,打造大型号标杆项目。基于行业特定的训练数据集,构建金融、医疗、电力等领域的专业大模型,实现特定业务场景的高质量应用突破。我们也希望通过应用场景和应用数据,推动大模型技术的迭代升级。
四是加强国际合作,积极参与全球人工智能治理。我们将以负责任的态度共同推进大模型的治理,希望人工智能的治理原则和伦理规范能够进一步在大模型的全链条中落地生根。同时,在增进共识的基础上,加强人工智能治理的全球合作。
本网站声明:网站内容来源于网络。如有侵权,请联系我们,我们会及时处理。
温馨提示:注:内容来源均采集于互联网,不要轻信任何,后果自负,本站不承担任何责任。若本站收录的信息无意侵犯了贵司版权,请给我们来信,我们会及时处理和回复。
原文地址"中国最大的模型公司,中国模型网":http://www.ljycsb.cn/qukuailian/217070.html。

微信扫描二维码投放广告
▲长按图片识别二维码