近日,国家对地观测科学数据中心(以下简称“数据中心”)与上海人工智能实验室联合研制的“对地观测科学数据治理智能体——数据汇交与审核智能体”在浦江论坛发布。该成果面向科学数据汇交与质量审核中的实际难题,将数据管理的专业知识与人工智能技术相结合,探索智能驱动的科学数据治理模式,为科学数据中心智能化和赋能化转型提供支撑。
科学数据是科技创新的重要基础,在智能驱动的科学研究范式中愈发凸显基础性和战略性。数据中心经过长期的建设与发展,已经汇聚超过300PB的数据资源。其中,科学数据汇交是国家科学数据中心数据资源整合的重要渠道之一,也是数据中心服务科学研究的基本职责之一。
长期以来,数据中心的数据汇交依赖信息化的人工操作方式进行,随着数据规模不断增长,这种方式面临着严重挑战。例如,为了全面描述科学数据资源,现有数据汇交系统通过约60个字段及相应的元数据、缩略图、数据实体及说明文档对科学数据进行描述和管理,并通过数据工程师逐项填报完成数据汇交。另外,对于数据工程师汇交的数据资源,需要专家逐数据集进行审核,受限于专家知识面的限制,数据审核容易出现误判、漏判、错判等问题。
针对这些痛点,数据中心和上海人工智能实验室联合构建贯通“数据汇交—质量审核”流程的智能体系统,将前期积累的专业规范和判断经验,融合地学基础知识转化为可调用的工具、信息与规则,形成“智能体汇交与审核+人工裁决”的工作流程。系统在数据汇交环节提取元信息、生成规范结果,并提前识别信息冲突和内容缺失;在审核环节,通过语义审查与异常检测发现潜在问题,提供规则依据和证据定位,支持审核人员开展终审裁决。
经过与人工对比分析,该智能体系统显示出了优秀的应用成效:在200项真实汇交元信息提取任务中,采用四路并发提取后,每条任务耗时由人工处理的421秒降至约26秒,批量汇交效率提升10倍以上。“汇交即预审”将部分问题提前发现和处理,减轻后续审核负担;质量审核方面,智能体问题召回率较人工审核基准提升一倍,判断精度与人工结果相当,可发现单位不一致、隐性缺测等易漏检问题,并在分钟级完成全量自动初审。智能体系统还通过证据链支持治理过程回溯与解释,并将专家反馈纳入知识库更新,形成“问题发现—自主修正—知识更新—持续优化”的闭环,为科学数据治理能力持续提升提供支撑。
另外,该成果研制工作离不开双方团队的合作,数据中心副主任陈祖刚表示本次合作具有三个鲜明特点:
一是,国家战略科技力量开展跨系统合作。两大国家战略科技力量围绕人工智能驱动科学研究的共同使命强强联合,将科学数据资源与专业治理经验同大模型技术及算力能力紧密结合,共同解决科学数据治理中的实际问题。
二是,兴趣和使命驱动的自发合作。双方面向科研实际需要自发组织合作,主动投入、协同攻关,充分发挥各自的数据资源优势和算力模型优势,零成本取得了可应用、可落地的成果。
三是,抢抓机遇的高效合作。在大模型和智能体飞速发展的时代,双方认为智能技术将很快会重塑科学数据治理和共享服务模式,为了给国内外科学数据中心的管理提供新的范式,发挥各自优势,紧密配合,在短时间内完成成果研制,为未来大规模开展应用示范打下良好基础。
该成果的发布开启了科学数据中心智能化赋能化转型的大门,后续双方团队将继续合作,构建覆盖科学数据治理全生命周期智能体系统,从而大幅提高科学数据管理的效率,促进科学数据质量的提升,为我国智能驱动的科学研究范式发展打下更加坚实的基础。

图1 对地观测科学数据汇交智能体性能评测结果

图2 对地观测科学数据质量审核智能体性能评测结果

图3 对地观测数据汇交和质量审核智能体发布
动态新闻