以能力培养为核心,全程跟踪学习记录,提升就业竞争力

空越大数据实验室的建设目的是作为大数据教学实验机科研平台,包括数据挖掘与大数据分析平台。实验室的设计全面落实“产、学、研、用”
一体化的思想和模式,从教学、实践、科研和使用多方面注重专业人才和特色人才培养。

  • 以大数据技能操作训练为主要目的

    运用云计算和互联网+思想、结合网络与实操,以基础知识学习、在线视频教学、仿真操作、线上学习、线下实操等为主线的一系列方法。

  • 以Hadoop和Spark为基础的科研平台

    构建主流分析平台,如Hadoop和Spark集群实验教学、数据分析挖掘能力的大数据科研系统,提供可靠的大数据集群环境。

  • 辅助教学的实验环境及实验指导书

    提供实验任务指导书、实验任务报告审批系统、实战集群系统等,配套高清视频讲解及匹配实验环境,实现课程教学与实践操作的完美结合。

  • 真实企业的大数据应用场景与案例

    提供超过十五个行业的业务数据和算法实现,结合大数据分析的应用场景与案例对学生进行数据分析方面的综合训练等。

大数据教学云平台,由实训系统与实战平台组成,平台包括高清视频 课程、实验任务、实训操作及项目实战等模块;提供数量大、覆盖知识面 广的实验任务,实现在线教学、实训操作、项目实战完美结合;
平台提供大数据集群管理功能,包含 Hadoop、Hive、HBase、Sqoop、 Flume、Spark 等节点部属及管理,提供实时监控集群的 CPU、内存、硬盘 等使用率及相关信息,可以对管理节点、计算节点进行启动、停止等操作 管理。

大数据教学管理系统

◇ 专业管理 ◇ 班级管理 ◇ 学生管理 ◇ 交流日志查阅 ◇ 成绩管理 ◇ 学习记录 ◇ 学习行为报表 ◇ 课程管理 ◇ 开通课程计划 ◇ 课程测验习题管理 ◇ 分级权限功能 ◇ 学生实训系统 ◇ 实验机桌面分享

大数据实战平台

  • 集群管理系统

    基于分布式集群管理系统,提供大数据集群管理系统,功能包含 Hadoop、Hive、HBase、Sqoop、Flume、Spark 等节点部属及管理,提供实时监控集群 的 CPU、内存、硬盘等使用率及相关信息,可以对管理节点、计算节点进行 启动、停止等操作管理。

  • 作业工作流系统

    提供大数据相关作业的上传、部属、流程管理等功能,基于 Web 的任务调度、兼容 Hadoop、Spark 主流版本、失败任务的、运行状态监控等。

  • 针对性强

    本科和高职两种不同学历,设置不同的课程地图学习路线

  • 系统性强

    多方面内容辅助教学,为大数据教学及科研提供一个完整的实验教学体系

  • 灵活性强

    大数据开发工程师、数据可视化工程师等不同就业岗位,学习课程不同

  • 完整性强

    每门课程提供教学实验指导手册、操作视频、实验资源包、实验示例代码等

提供大数据实战案例以及行业数据,提供包含海量网站日志分析案例、租房及二手房大数据分析案例、电商商品交易大数
据挖掘、搜索引擎关键词分析算法案例、汽车销售数据分析案例等案例讲解及实战作业工作流内容。

网站日志分析

一般中大型的网站,每天会产生GB甚至TB级的Web日志文件。对于这种规模的数据,用Hadoop进行日志分析最适合。在本案例中将讲解如何使用Hive分析工具对网站日志数据进行统计,分析得到PV指标以及浏览器所占比,最终将结果以可视化的形式展现。

搜索数据统计

搜索引擎是非常重要的入口资源,通过对搜索日志进行分析得出用户所检索的关键词排行榜、用户停留时间最高的页面等结果;可用于构建广告点击模型、分析用户行为特征等业务。本案例讲解使用Shell和Hive脚本对搜索引擎搜索日志的统计,最终将分析结果以可视化的形式展示。

大数据平台建设

企业的大数据分析平台包含离线数据分析、流式数据统计和即席查询服务。本案例主要讲解大数据平台的数据处理的常见场景(数据收集、数据处理、数据展示等)以及对数据处理时各个环节相关工具的联合使用。

电商案例

在电商企业竞争过程中需要提高竞争力,不仅要有好的产品,服务,还要有坚挺的技术支持。比如商品推荐系统,广告联盟,流量统计等。本案例主要讲解的是如何利用大数据平台对海量电商交易数据的分析挖掘以及结果展示。

  • 云实验机

    提供基于Web浏览器的实验机可视化操作,操作终端无需安装其它开发软件即可进行实验操作;云实验机可以根据学生编号、实验任务和环境要求自动创建,无需管理人员参与实验机创建操作过程。管理平台对云实验机可以进行停止、销毁操作。

    云实验机类型

    包含Hadoop实验机、Hive实验机、HBase实验机、R语言实验机、Scala实验机、Spark实验机、Kafka实验机、Sqoop实验机、Flume实验机、数据可视化实验机等。

    配套实验任务列表

    Hadoop伪分布模式安装
    Hadoop完全分布模式安装
    Hadoop开发插件安装
    HDFS JAVA API操作
    Mapreduce实例——wordcount
    Mapreduce实例——去重
    Mapreduce实例——排序
    Mapreduce实例——求平均值
    Mapreduce实例——Map端Join
    Mapreduce实例——Reduce端Join
    Mapreduce实例——单表Join
    Mapreduce实例——二次排序
    Mapreduce实例——倒排索引

  • 实验报告审阅功能

    在实验任务过程中学生上交的任务报告进行审阅评分,提供按照学生、实验任务等字段进行检索功能。

    实验机运行监控系统

    系统提供对实验集群运行的所有实验机进行监控,可以查询编号、所属服务器、创建时间、运行状态、开放端口等内容。

    实验任务管理

    提供对实验任务内容的管理,包含任务课程、绑定实验机、设定任务成绩总分,排序值等,提供多种实验任务内容,例如Hadoop实验任务、Hive实验任务、HBase实验任务、Flume与kafka实验任务等。

    Mapreduce实例——Chainmapper&Chainreducer
    Mapreduce实例——MapReduce自定义输入、输出格式
    Hive安装
    Hive基本操作
    Hive查询
    Hive 各种排序之间的区别
    zookeeper安装
    HBase安装
    HBase JAVA API读写数据
    HBase的过滤器
    综合案例:MapReduce读HBase
    综合案例:MapReduce写HBase
    综合案例:Mapreduce读HBase并写入HBase

  • 云实验机集群管理功能

    提供云实验机集群管理,对实验机所属服务器进行新增、删除等操作。

    云实验机桌面分享系统

    提供实验机桌面基于浏览器的分享功能,允许学生与学生、学生与老师同步操作实验机桌面系统,提供基于浏览器的交流功能。

广东XXXX学院“大数据实训基地”案例:支持120名学生同时登录平台学习教学视频、答题练习、完成老师布置的
实验任务;老师及学生可以应用实战平台进行科研、毕业项目设计。