| 一种大规模空间数据流式并行处理方法研究 |
| |
| 引用本文： | 刘纪平,吴立新,董春,张福浩,亢晓琛.一种大规模空间数据流式并行处理方法研究[J].测绘科学,2016,41(1):89-93,75. |
| |
| 作者姓名： | 刘纪平 吴立新 董春 张福浩 亢晓琛 |
| |
| 作者单位： | 中国测绘科学研究院,北京,100830;东北大学,沈阳,110819 |
| |
| 基金项目： | 测绘地理信息公益性行业科研专项经费项目，国家863计划项目，国家自然科学基金重点项目，辽宁省自然科学基金资助项目 |
| |
| 摘 要： | 针对空间数据的读写(I/O)时间占比过高问题,文章提出一种流式并行化方法:通过将空间计算过程与数据I/O过程相重叠,使传统并行空间计算方法中的性能提升瓶颈得到显著缓解;并且,方法所采用的数据分片策略,能够使数据单次I/O所产生的高内存使用率得到降低,进一步提高了具体地学算法的适用性。最后以地理国情普查基本统计分析中地表面积计算为例进行验证,结果表明:该算法的计算效率与内存使用率相对于直接并行方法均获得明显改善,且空间数据流式并行处理方法与具体地学算法耦合度低。该方法已成功应用于多个其他统计分析算法中。
|
| 关 键 词： | 流式并行方法 大规模空间数据处理 空间计算 I/O过程 地表面积 |
Study on a streaming parallel method for massive spatial data processing |
| |
| LIU Jiping,WU Lixin,DONG Chun,ZHANG Fuhao,KANG Xiaochen.Study on a streaming parallel method for massive spatial data processing[J].Science of Surveying and Mapping,2016,41(1):89-93,75. |
| |
| Authors: | LIU Jiping WU Lixin DONG Chun ZHANG Fuhao KANG Xiaochen |
| |
| Abstract: | |
| |
| Keywords: | streaming parallel method massive spatial data processing spatial computation I/O process surface area |
| 本文献已被 CNKI 万方数据 等数据库收录！ |
|
