1．技术目标： 以美国农业部USDA提供的数据为主，相关国土部门、能源部门、水利部门及环境部门提供的数据为附，建设对美国东部地区的主要大豆产地进行大豆生产可持续发展的实时评估系统。该项目的技术目标是在30分钟内完成一次核心数据分析。每日完成5次数据分析。而在核心数据基础上，则提供实时的关于可持续发展要求的分析图表。
2．技术内容： 1) 大数据分布式迁移接口, 实现从USDA，以及其它如国土部门、能源部门、水利部门及环境部门提供的数据的收集及分类存储。该数据同步为平均每天5次，该同步为数据增量同步，一般在50GB ~ 150GB之间, 每次数据同步要求在2小时内完成。 初始数据以5TB ~ 10TB作为基准数据。2) 在土地使用、能源利用、土地流失、水资源利用、二氧化碳排放量等5个方面，每次必须在30分钟内完成核心数据的提取及分类汇总。该核心数据的分类汇总表，将作为可持续发展要求的基准数据，然后在其上进行二次分析图表开发。 3) 要求对大数据进行分布式提取及存储、分布式压缩传输、分布式数据分析及基准数据生成、以直方图和曲线图为主的各类分析图表生成、各类数据边界提示图表及邮件分发、标准行业可持续发展及有效资源利用指南策略的生成及邮件分发, 实时可持续发展平台图形化监控。
3．技术方法和路线： 1)以Oracle作为主要的数据库存储。2)对于部分数据，除非特殊需要，可以存储至二进制文件中，以加快数据传输和分发。3)以C/C++语言处理分布式数据库及二进制数据的压缩/解压、数据分发, 以及核心数据分析。 4)以Java实现二次数据分析，图表生成，及相关管理网站开发。 5)以Flex实现交互式实时图形化监控平台。
信息与工程学院 肖浩
