资源&服务 |科技服务云超市 |
|
![]() |
首页 > 资源&服务 > 找技术 >详情 |
一、成果概述:
石油大数据平台基于 Spring Cloud 微服务框架,是一个集数据采集、存储、处理为一体的大数据知识挖掘平台。系统被划分为多个低耦合的微服务组件,各组件间通过 HTTP 和 RPC 协议进行交互,具有较高可用性与可扩展性。基于 Redis 和 Kafka 相结合的数据缓存服务层,能够极大提升系统内部的数据读写速度。基于 HDFS 和 HBase 的分布式数据存储和基于 Hive 的数据仓库存储机制,实现了多源 异 构 大 数 据 融 合 , 建 立 了 大 数 据 治 理 体 系 结 构 , 为 整 个 系 统 提 供 数 据 支 撑 。 基 于Hadoop+Storm+Spark 的云计算基础设施体系结构,融合不同云计算优势的混合云基础设施,提供数据的离线批处理、实时在线处理功能和石油大数据知识发现、知识展示和分析应用的技术方法。
二、技术特点及技术指标:
与国内外同行业技术相比,石油大数据平台各个微服务之间具有更低的耦合性,云计算基础设施更为稳定,具有更高的知识发现效率,数据访问延时在 50ms 以下,可承载数十 TB 数据。
三、应用领域:
目前与华北油田、中石油勘探院等石油企业进行了长期稳定的项目合作,具有多年项目经验积累,但仍有较大的推广空间,因此期望寻求与各个石油企业及各类市场推广机构进行项目合作,合作方式包括方法转让或许可、产品区域代理、市场推广代理、联合实施、协商确定等,进一步扩展该方法在石油产业中的应用。
四、投入需求:
将石油大数据平台进行部署,需要根据实际数据规模和处理性能要求选择合适的存储服务器和计算服务器。
中文
/ENG
/PYC