| 基于科学工作流的海量海底观测数据处理研究 |
| |
| 引用本文： | 宋靖东,汤友华,李秀,马辉.基于科学工作流的海量海底观测数据处理研究[J].海洋技术,2017,36(2). |
| |
| 作者姓名： | 宋靖东 汤友华 李秀 马辉 |
| |
| 作者单位： | 清华大学深圳研究生院信息学部,广东深圳,518055 |
| |
| 基金项目： | 国家高技术研究发展计划(863计划)重大项目资助，国家自然科学基金资助项目，深圳市基础研究及技术开发项目资助，基于传感网的海洋观测集成平台的研发项目资助，海底观测网岸基控制运行与数据管理系统配套项目资助 |
| |
| 摘 要： | 近些年来,在处理由海底观测网站收集到的庞大观测数据的研究中,需引入新的科学工具来支持所需的高性能分布式计算环境。而科学工作流在先进信息基础设施研究中得到广泛重视,成为未来科研环境的具体实现工具。针对这一问题,提出了基于Kepler科学工作流的海量海底观测数据处理解决方案,并且研究了系统调用Hadoop集群进行海量数据处理的两种方式及其优缺点;通过实验,对比分析了该两种方式与传统Java编程模式调用Hadoop集群进行数据处理的效率问题,证明了Kepler调用集群的高效性。
|
| 关 键 词： | 科学工作流 Hadoop集群 Kepler |
Research on Massive Seafloor Observation Data Processing Based on Scientific Workflow |
| |
| SONG Jing-dong,TANG You-hua,LI Xiu,MA Hui.Research on Massive Seafloor Observation Data Processing Based on Scientific Workflow[J].Ocean Technology,2017,36(2). |
| |
| Authors: | SONG Jing-dong TANG You-hua LI Xiu MA Hui |
| |
| Abstract: | |
| |
| Keywords: | |
| 本文献已被 CNKI 万方数据 等数据库收录！ |
|
