蔡立志介绍，软件中心是上海科学院的直属单位，作为一家长期以为网络安全保驾护航为使命的研究机构，从2016年起就关注人工智能的安全问题，迄今已开展了2000多项AI检测业务。
在多年技术与行业经验积累的基础上，经过近两年的准备，上海市生成式人工智能质检中心于两个月前在软件中心正式挂牌批筹。“挂牌后不久，我们就给ChatGPT做了一次测评。”上海计算机软件技术开发中心软件工程研究所副所长陈敏刚博士透露，测评的确可以对生成式语言大模型的推理、抗幻觉、理解用户意图等能力，进行客观评价。
蔡立志介绍，质检中心主要面向生成式人工智能所涉及的计算机视觉、自然语言处理、内容生成等领域，聚焦人工智能生成内容语义表达能力、逻辑推理能力、合成内容鉴别，以及功能、性能、安全性评估等，“通过提供全方位的测评服务，以保障人工智能系统或应用的质量”。
AI“体检”火爆，“守底线”更要引领产业
随着大模型技术的快速进步，在人工智能应用不断深入的同时，利用AI换脸、合成语音进行传播虚假信息、行骗等危害社会的现象也不断发生。
7月10日，国家网信办等七部委联合发文《生成式人工智能服务管理暂行办法》，明确了AIGC服务提供者的责任，包括信息源可信责任、生成内容合法合规责任、申报安全评估及算法备案责任。
“管理办法的落地，需要专业的第三方机构提供AI质量检验检测服务。”蔡立志透露，质检中心去年筹建期间已完成300多个AI质检项目，“正式挂牌仅两个月，就已出具75份相关检测报告”。
由此可见，为AI做“体检”的需求有多火爆。事实上，这项工作本身就是一项含金量极高的技术活儿。上海计算机软件技术开发中心副主任宋俊典告诉记者，对于一些大型复杂AI系统的检测，甚至需要根据应用场景专门搭建检测检验系统，耗时可能长达半年，同时还需要研发大量相关技术与标准。近三年来，上海软件中心为上海乃至长三角地区人工智能企业与应用方提供专业的第三方测评服务数年均超过500项，累计发布AI检测相关标准30余项。
“对于AI的质量检测，只有好与差之分，没有对与错的判断。”宋俊典解释，通过质检，厂商能更清晰地了解AI软件的性能，对产品的迭代与优化更有针对性。
检测检验是行业话语权的重要标志，检测标准往往是一个行业的发展风向标。然而，对于人工智能这个飞速发展的领域，蔡立志认为，不能简单套用传统产业“先立标准后检测”的“守底线”模式，而应采用检测与标准同步发展的新型模式，以起到规范、引领产业的作用。
据悉，目前AI检测尚属于企业自主行为，未来对于大模型的安全性、可解释性、伦理风险的检测检验，可能会形成国家强制标准。
相关文章
