基于ElasticSearch的异构数据迁移方法

随着信息技术应用创新和信息系统集约化进程的不断推进,气象部门政务管理信息系统正加速实施国产化自主可控迭代升级,其对历史数据迁移的平滑与否是衡量升级成败的关键因素之一.借助分布式全文检索框架ElasticSearch的动态映射、分布式可扩展以及非结构化数据处理等能力,本文提出一种异构数据迁移方法,能够解决传统方法在系统替...     

云模式下地质信息用户行为采集体系实践

在分析了地质信息化现状的基础上,针对实际应用中无法获取用户行为情况的问题,提出了云模式下地质信息用户的行为采集体系。首先基于Logstash、ElasticSearch、Kibana构建了技术原型,并提出采集内容、分类以及制定采集接口规范。从技术方法实现角度阐述了系统开发环境、云容器集群节点部署、大数据检索分析等关键技术,并介绍了数据从采集获取、管理存储、分析与可视化统计的流程路线。以"地盒"产品数据采集为例,实现了该平台用户访问、地质分析功能模块使用情况、商店访问、资讯浏览量等信息的采集与统计分析。该体系能够支撑互联网用户行为信息采集需求,可实时统计出用户的爱好,了解用户的习惯,为地学信息化软件研发和推广提供有效指导,可在空间信息化系统用户行为分析和研究中推广使用。     

ElasticSearch分布式搜索引擎在地名地址检索中的应用

针对传统全文搜索引擎Lucene无法满足海量地名地址数据高速分布式检索的问题,本文通过对分布式搜索引擎ElasticSearch的集群架构、索引分片与复制集、地理要素索引存储、数据检索及位置聚合等关键点进行详细研究,结合地名地址库数据结构的特点,提出了一种面向Web电子地图开发的分布式地名地址搜索服务构架,实现了地名地址模糊搜索、专题搜索、视野内搜索、周边搜索等功能。该架构具备可伸缩性、容错性、支持大规模并发访问的特点。