网络大数据下的中国现代食甜习惯空间分布特征及其影响因素研究

饮食地理文化作为地域文化中最具地方特色的重要元素,在现代人口大规模流动背景下呈现出全新的多样化局面,而基于传统认知的“南甜北咸”的地域分异已然不能代表中国现代食甜分布的空间特征。因此,本文采用网络爬虫技术,获取我国大陆31个省会城市共计约2000万条美食消费数据,从传统类菜品、主食类菜品、饮料类和甜品类菜品4个方面计算城市食甜度,在ArcGIS、MySQL软件支持下,借助GIS空间分析和数理统计方法探究我国现代食甜习惯的空间分布特征,分析影响食甜分布的因素。研究发现：① 中国食甜在空间分布上存在显著的地域分异特征,聚类分析评价参数R ²高达0.88,现代食甜习惯总体呈现“东高北中,西微内低”的包围式格局;② 从整体抑或局部角度,在1%显著性水平上莫兰指数均为正,中国食甜分布呈现显著的空间正相关关系,形成特色鲜明的3个地理集聚区,即以苏浙沪闽为主的东南沿海高甜集聚区,以渝黔川为主的西南内陆低甜集聚区和以陕宁为主的西北内陆低甜集聚区;③ 构建了中国现代食甜习惯分布影响因素模型,其拟合精度为0.82,分析结果显示降水、湿度、气温等气象要素及地理位置是影响现代我国食甜空间分布的重要因素。     

基于爬虫技术的城际信息流网络测度及其经济意义研究

随着信息技术的发展,基于大数据支撑的城际信息流、产业流等为基于"流空间"的城市网络研究提供了新的研究视角。为了进一步研究城际信息流的经济意义,通过编写Python爬虫程序对基于百度搜索的我国271个城市之间信息流进行统计和数据结构化。结果表明:城市信息流总量是一个城市发展程度的综合反映,同时通过对结构洞理论的延伸,证明了在城际网络中,中心节点具有较高的冗余度。通过回归分析算法证明了城市信息流总量受到城市人均GDP、货运量、互联网接入用户数、城市的区位及其行政等级的显著影响。     

基于数据挖掘的地理信息服务聚合研究

互联网环境下的地理信息服务聚合是当前的研究热点之一。本文研究了网络爬虫、数据挖掘、行业信息空间定位以及服务聚合技术,智能解析了多个行业的数据资源,并将空间化后的行业地理信息数据进行了注册与发布,实现了行业数据与基础地理信息数据的服务聚合。最后,开发原型信息系统,验证了该方法的可行性与有效性。     

网络众源地理信息获取与整合方法研究

随着互联网快速发展和大数据时代的来临,Web数据量快速增长,如何有效并快速地从互联网上获取到用户自身需要的信息是亟待解决的问题.在深入分析互联网地理信息数据传输方式、组织结构、数据格式等方面特点的基础上,以获取房产数据为例,研究总结出一条较为全面的技术路线,从获取规则设计、互联网信息获取、解析地理信息、数据整合4个方面...     

局域网条件下的瓦片地图应用研究

通过Python网络爬虫获取互联网地图瓦片并存储到本地数据库MongoDB中,在B/S架构下利用Leaflet实现瓦片地图浏览功能,利用Python-PIL在服务器端实现瓦片地图拼接。为适应地图和地图拼接服务高并发的需求,利用Nginx实现多台服务器间的负载均衡。该项研究提供了网络地图瓦片的获取、存储、浏览和拼接方法,服务器端拼接的方式降低了客户端依赖,为局域网条件下瓦片地图应用提供良好的思路。     

基于网络爬虫的Web服务抓取解析器的设计与实现

随着Web服务和网络技术的发展,越来越多的Web服务得以开发并发布到网络上。由于网络上存在的Web服务相互之间没有内在的必然联系,用户很难快速有效地获取和利用这些服务。本文设计了一种Web服务抓取解析器框架,包括URL抓取器、WSDL文档解析器和用于结构化存储Web服务信息的数据库等。该抓取解析器采用网络爬虫程序对互联网中的URL进行搜索,通过搜索发现分布在网络上的Web服务,并最终建立起一个关于Web服务的信息库,为共享Web服务提供条件。     

一种主动发现网络地理信息服务的主题爬虫

地理信息服务已成为分布式环境下获取地理数据的重要来源,从海量的网络资源中找到地理信息服务,是共享与互操作地理数据的基础。目前,地理信息服务主动搜索主要采用通用搜索引擎的接口或者通用爬虫的抓取方式,但这2种方式存在搜索效率低、搜索结果可用性差等不足。针对这一问题,本文设计了一种搜索地理信息服务的主题爬虫。该算法在最佳优先搜索的基础上进行了改进,综合考虑网页内容的主题相关度和链接文本的主题相关度确定链接优先级,优先爬取与地理信息服务相关的链接,并通过舍弃无关网页中的无关链接,减少无效爬取,进而提高搜索效率。此外,本文采用关键词匹配结合能力文档探测的方式识别地理信息服务,有效筛选出可用的地理信息服务,提高了服务搜索结果的可利用率。最后,本文以OGC WMS为实例,实现爬虫算法的原型系统并进行实验,实验证明该算法有效可行。     

面向网页文本的地理要素变化检测

地理要素变化检测已成为国家地理信息"十二五"规划和全国地理国情普查的重要组成部分。网页文本中蕴含海量的地理要素信息,尤其是新闻、政府、社交平台等网站的网页文本更新频繁,可为地理要素变化检测提供现势性的数据源。本文针对网页文本中地理要素变化的语言描述特点,构建了表达地理要素变化的语义知识库,设计了搜索引擎和通用主题相结合的网页爬虫,实现了相关网页文本的高效获取;采用规则模型和条件随机场模型,分别进行网页文本中地理要素变化信息抽取,包括地理要素名称、位置(地名)、时间和属性等。实验结果显示,本文设计的网页爬虫具有较高的相关网页文本获取能力,地理要素变化信息抽取的准确率能够达到70%以上,但是,语义知识库的完备程度对于信息抽取性能具有较大影响。研究成果表明,以网页文本为数据源的地理要素变化信息获取方法,能提供一种快速检测地理要素变化的新途径,与实地调绘和遥感影像检测等方法结合应用具有较好的优势互补性,可作为有力的辅助手段解决地理要素的持续更新和实时更新问题。     

网络地震谣言监测系统的设计和应用

介绍了一种网络地震谣言监测系统原理,设计思路和应用情况。针对目前互联网上地震谣言频发却又难以及时检测到的问题,用软件方式取代原有的人工监视模式,实现了对网络地震谣言的全天候、高效率的监测。结合网络爬虫和知识库等技术,根据特定的匹配条件对设定范围的网址进行周期性检查,一旦发现疑似谣言信息就以短信和屏幕弹窗方式向值班人员报警。     

基于遗传算法的聚焦爬虫搜索策略设计与研究

网络爬虫是搜索引擎的重要组成部分。针对目前聚焦爬虫搜索策略的不足,提出了一种新的搜索策略解决方案。在搜索过程中对适应度高于或低于种群平均适应度的个体采用不同的交叉概率和变异概率来扩大爬虫的爬取范围、增加新个体,并通过改进遗传算子,提高聚焦爬虫的搜索效率。实验证明,基于自适应遗传算法的聚焦爬虫在一定程度上解决了传统遗传算法的"早熟"问题,而且能够爬取到更多主题相关的网页和相关度高的网页。