基于Hadoop的“智慧物流”可视化分析平台

本团队设计的基于大数据的“智慧物流”可视化分析平台，以湖南省物流数据信息为例，通过调研湖南铁路局、湖南道路运输管理局和国家统计局等网站资料信息，在研究物流信息特性的基础上，通过研究大数据框架与分布式服务框架技术，并进行相应扩展与算法机制设计，针对性地解决物流信息数据处理的相关问题。 本平台采用基于Hadoop分布式集群为基础的大数据平台结合智能分析算法对数据信息集进行清洗、规范化、分析与处理；模块化处理，增强了系统重用度；以并行的方式工作，提高了系统的运行速度；分布式计算平台可以更快捷的处理海量的物流数据；设计基于K-means的物流数据算法模型，对货运量、周转量、业务量等数据信息进行判断、分类和统计；设计实时数据流式计算模型，在这个框架下可以自由实现业务逻辑，加快分析速度，具有较高的并行计算扩展性；采用功能强大的HiveQL技术作为数据仓库处理手段，减小了数据调用的难度，加快系统的运行速度；最后利用HTML5与CSS3技术对处理好的数据进行页面的动态可视化展示，互动性强，视觉效果佳,用户的感官体验好,大大提高了工作效率。该产品具有以下创新特色： ● 针对物流大数据的实时性，在平台中设计并实现实时数据处理解决方案。考虑到海量实时数据及复杂业务对处理系统存在的冲击，平台实时数据处理需要满足低延迟、高性能、分布式、可扩展、可容错的要求； ● 创新性地设计微服务化的大数据服务管理系统主要为平台提供可视化、日志服务和数据统一访问功能，具有大数据服务管理系统的大数据平台能提供物流信息规范化、灵活度高、透明度高的特性； 平台中加入大数据服务管理系统后，系统管理员无需关心底层的架构与应用实现，只需通过Web页面即可随时对平台进行查看、监测、控制与管理； ● 针对物流大数据多种数据结构类型的特性，在面向物流信息的大数据平台中整合多种数据持久化方式，建立统一的数据访问接口； 物流信息具有多种数据结构类型，包括结构化、半结构化、非结构化数据； ● 通过分布式协调服务、负载均衡及备份机制使平台高效、稳定、独立。面向物流信息的大数据平台所主要采用的框架技术均是分布式形式的，具有负载均衡、动态扩容、并行计算、分布存储、故障重启、灾难恢复等优点； ● 设计结合日志框架自定义参数及日志流处理的日志管理服务，维护平台统一的日志机制； ● 平台提供一套完整的安全认证机制，为系统及信息的安全提供保障。