记者从中国地质调查局实物地质资料中心获悉,该中心与西安地质调查中心大数据团队通过联合攻关,日前成功搭建起了全国实物地质资料大数据框架,形成了具有多节点水平扩展能力的分布式互联数据中心资源池,并实现了海量实物地质资料图文一体化聚合存储、异构数据高速解析、行业级跨平台无缝对接、用户桌面和移动端无障碍浏览等多项关键技术与实用服务功能。
据介绍,随着全国重要钻孔数据库项目工作在“十三五”时期全面铺开,*馆藏机构和省级馆藏岩心、薄片、标本等资源数字化工作成果日积月累,产生的非结构化图件类数据经切片处理后已达到数百万级。
根据全国实物地质资料管理与服务的需求,解决信息化服务面临的“如何管起来、如何用起来、如何数据共享”三个挑战,按照国土资源部实物地质资料分散保管、集中服务的管理原则,中国地调局实物地质资料中心和西安地调中心科研人员集中攻关,经过反复多次试验和对比多种大数据服务框架,终于在实物地质资料大数据框架应用方面取得了突破。
据介绍,全国实物地质资料大数据平台服务框架实现了图件类非结构化数据以编码流的形式推送到数据库统一管理,对外服务由Windows门户提供交互接口服务,并支持门户页面定制和数据共享,对内数据管理由基于Linux系统集群环境支撑,所有结构化和非结构化数据推送到Nodes节点上,数据的查询调度由充当全局交易检测(GTM)和协调员(Coordinator)角色的服务器实现,框架具备灵活的增删节点横向扩展能力。
目前,全国实物地质资料大数据平台框架内已推送了1:3500万比例尺世界地质图数据库、1:250万比例尺中国地质图数据库和全国重要钻孔数据库目录及柱状图影像数据,信息检索效率已达毫秒级,为地质大数据工程发挥了落地应用和示范作用。
本文转自d1net(转载)