对于当前我国的高校校园中的大数据环境,正处在逐步成型的阶段,不同的校园数据有着来源比较广泛、复杂的类型以及庞大的数据量等特点。对于高校中的广大学生来说,就可以将其划分成两大类的高校学生大数据,首先是学业的大数据,包括了高校大学生的选课数据信息、学生各科功课的出勤数据情况、各个功课平时的测验以及考试成绩数据等;其次是生活大数据,包含门禁卡的通行数据信息、图书馆的书籍阅览数据以及校内超市的消费数据信息等,而且其中也会包含学生微信以及微博等各类数据信息。对于这些大规模的数据集一会多等级的数据质量,要求高校校园数据必须要有较大的存储量,良好的分析、研究以及应用等能力,由此才能为各项工作的有效开展提供有利保障。对于传统管理思想和管理方法来说,已经难以更好的满足当前日益增长的数据处理要求,因此应有效的借助Hadoop 和Spark 的技术,由此为高校构建完善的校园大数据系统,这样能够对高校中多类数据信息进行有效的采集、存储以及处理,而且也能通过运用数据挖掘以及数据分析等技术,能够为高校的教学以及管理等工作的开展提供有利的数据支撑,从而为高校未来稳定长远的发展奠定坚实基础。
2 以Hadoop 和Spark 为基础的高校校园大数据系统的构建
在高校中不同阶段所开发与使用的相应应用系统,可以通过结构化的数据开展收集与存储,能够有效的对校园中海量的半结构化以及非结构化的数据开展较为完善的管理以及存储,能够更好的对校园中各个领域,包括教学、科研、招生以及财务等进行数据信息的收集、分析、存储以及处理等。在实际中对科研数据进行分析,能够明确近年来学院科研工
预测。而对于教学数据进行分析,能够对实际的教学情况进行交流,从而为高校教育的方针在制定上提供相应的数据,以此确保各项教学活动的良好开展奠定坚实基础。因此在实际的高校教育中,应重视高校校园大数据系统的建设,其能够为高校未来良好发展提供良好保障。
2.1 Hadoop 与Spark 的特点分析
对于当前环境下,将Hadoop 视为基础的大数据解决方案已经在当前大数据市场占据了95%的份额。对于Hadoop 技术,其是一种集分布式计算、存储以及管理相结合的生态系统,其能够为大规模的数据处理算法提供良好的环境条件。该生态系统核心就是分布式的文件系统以及MapReduce 框架两部分。而对于Spark 属于为大规模的数据处理所提供的具有快速通用特点的内存计算框架。对于Spark 也可以说是MapReduce 的一种替代式方案。而Spark 中的数据通过高度的抽象化并存储在RDD 当中,也就是弹性分布式数据集当中。通过有效地将数据加载至节点内存里,通过在内存中开展相应的计算。该技术包括较多的内置操作形式,能够把RDD 进行转变,而且RDD 通过持久化的操作,能够将其缓存到节点内存当前去,由此能够将中间结果存储在内存里,不用读写HDFS。
2.2 高校校园中大数据系统的设计
对于数据的源该层有结构化数据以及非结构化数据,也包括实时流数据等,而在其中的结构化数据就包含高校校园的信息化建设中不同的应用系统中呈现的数据,有对学生管理的系统、教务、科研以及招生和财务等系统体系,这些校园中较为重要的部分;而对于其中的非结构化数据,包含了网页内容、微博以及微信信息等内容;其中的实时流数据信息就有监控以及门禁等内容。
等,也能对学生毕业的资格审核等情况进行了解。有效的在高校建立完善的校园大数据系统,能够获得更多具有价值的信息,而且也能以可视化的形式表现出来,例如,运用门户网站、移动APP 等,将这些数据信息能够更好的呈现在用户面前,也能对学生整体学习情况以及消费情况等进行分析,更能对教师教学以及教学研究进行有效分析。而其分析的结果会通过曲线以及二维图像等形式表现出来,对此能够为高校各项工作的有效开展提供良好的信息依据,对于高校稳定长远的发展能够奠定坚实基础。
另外在高校校园的大数据系统框架构建当中,要积极有效地将Hadoop 与Spark 视为基础,通过科学有效地形式来完成校园大数据系统的框架工作,对于系统可以分为三个层次,包括大数据的采集和存储层,运用HDFS 文件系统来实现相应工作,而且校园数据分析层主要以Map Reduce 计算模型来完成,在其中的数据源层以及大数据采集和存储层中,对数据进行抽取,并对接要开发的适合底层,形成适配接口的
在当前信息技术快速发展中,我国高校校园也得到进一步的发展,而智慧校园的建设也逐渐成为促进高校发展的关键过程,高校校园在教学与管理理念上应不断的创新与发展,而且高校校园的大数据系统也应进行完善。应结合Hadoop 与Spark 的技术来为高校校园大数据系统的构建提供有利条件,由此更好的利用高校时时刻刻都有的数据信息,从而为教育、管理等工作的开展提供良好的信息依据,也能为高校未来稳定发展奠定坚实基础。
参考文献
[1]刘萍.基于Hadoop 与Spark 的高校校园大数据平台研
究[J].软件工程,2018,21(05):15-18.
[2]赵亮.基于Hadoop 的高校校园大数据系统设计[J].中国
管理信息化,2017,20(10):222-223.
[3]何其敏.用高校校园大数据资源完善学校管理运行机制
[J].网络安全技术与应用,2015(03):175+177.
验证,验证了此方法的有效性。
参考文献
[1]王军,林强,等.雷达手册[M].北京:电子工业出版社,2003.[2]丁璐飞,耿富录.雷达原理[M].西安:西安电子科技大学
出版社,2002.
[3]朱雅楠,倪晓峰.动态静态结合的雷达威力评估方法研究
[J].现代防御技术,2011.
[4]黄培康.雷达目标特征信号[M].北京:宇航出版社,2003.[5]戴征坚,郁文贤,胡卫东,等.空间目标的雷达识别技术[J].
系统工程与电子技术,2000,
22(3);19-22.
[6]王小谟,张光义,王德纯,等.雷达与探测[M].北京:国
防工业出版社,2008.
[7]徐小剑,黄培康.防空雷达中的目标识别技术[J].系统工
程与电子技术,1996,18(5);48-62.
[8]刘利生,吴斌,吴正荣,等.外弹道测量精度分析与评定
[M].北京:国防工业出版社,2008.
[9]王德纯,丁家会,程望东,等.精密跟踪测量雷达技术[M].
北京:电子工业出版社,2006.
(上接第65页)下载本文