Starry-基于Hadoop的高校学生画像系统

 Starry系统的主要是目标是依据通智慧校园中各种智能终端与可感知设备采集到的学生多维度数据，分析制定学生标签，生成对学生各维度属性的可视画像，预测学生的行为趋势，从而对异常情况做出预警。系统能及时准确地了解学生情况，并及时做出问题预警，帮助学生关注自己地生活状态、发现自己在生活种不易察觉的变化、从而做出评价和改善。Starry系统不仅能描绘出每个用户独有的人物画像，也可以将多个个体通过整合分析来得到群体的行为趋势。这种行为的主体可以是一位用户，也可以是拥有同一特征的一类群体。Starry系统能够更直观体现出数据主体最本质的变化，各方可通过生成的可视画像直观看出任务特种。学生能够根据其在校行为的各个维度数据中得出该生的学习生活状态，帮助自己找到学习成绩下降的原因；老师能在学生的行为趋势中感知学生各个方面的变化，从而为学生提供精准的帮助；管理者能从学生画像中获得学生行为的趋势，从而为学生的学习生活提供更优的管理和服务。  系统选择基于Hadoop处理框架搭建实验环境。由于学生个人大数据来自于各个业务系统，需要使用ETL从不同的异构数据源同步数据。本实验平台选择在阿里云ECS服务器上搭建，首先安装hadoop伪分布式集群环境，并使用ETL数据采集与处理工具将数据从不同异构数据源同步整合到Hive数据仓库中，数据文件存储在HDFS分布式系统中；然后使用Hive数据仓库中对数据进行存储，并使用类SQL语句对数据进行简单的清洗和预处理；同时，通过scala 实现Canopy+kmeans算法在Spark 上的并行化，并将该技术应用到历史数据分布式处理中，完成对学生行为聚类细分，提高了聚类效率。最后，采用Java Web 技术与ECharts 将分析结果以可视化形式展示，并提供友好的用户查询交互功能。  基于Hadoop的高校学生画像系统将大数据用户画像技术应用于学生综合素质评价，为学生评价的方法、过程、反馈提供了强大的技术支撑和管理模式，确保综合素质评价因素的真实性和系统性。在学生画像的应用方面，系统加入了学生异常行为预警和学校经济困难群体判定功能，帮助高校管理者更及时准确地了解学生情况。通过数据分析与整合，每一名学生都可以在Starry系统中得到精准的个性化指导，为大学生活增添更多的可能性；每一位教师都可以根据学生的个性做出具有针对性的教学，发掘培养学生特长以及提高教学的效率和质量，为学生的成长提供更多的可能性。 Starry系统可以为学生提供精准的个性化指导，为学校对学生的科学化管理提供新的方式，为校园的智慧化管理提供新的思路。