大数据平台建设方案

时间：2022-08-03 09:27:01 | 来源：网站运营

时间：2022-08-03 09:27:01 来源：网站运营

大数据发展背景

国家政策

2017年1月

工业和信息化部正式发布了《大数据产业发展规划（2016－2020年）》，明确了“十三五”时期大数据产业的发展思路、原则和目标，将引导大数据产业持续健康发展，有力支撑制造强国和网络强国建设。

2018年9月

工信部公示“2018年大数据产业发展试点示范项目名单”，公布了包括大数据存储管理、大数据分析挖掘、大数据安全保障、产业创新大数据应用、跨行业大数据融合应用、民生服务大数据应用、大数据测试评估、大数据重点标准研制及应用、政务数据共享开放平台及公共数据共享开放平台等10个方向200个项目。

2019年11月

为进一步落实《国务院关于印发促进大数据发展行动纲要的通知》和《大数据产业发展规划（2016~2020年）》，推进实施国家大数据战略，务实推动大数据技术、产业创新发展，我国工业和信息化部将组织开展2020年大数据产业发展试点示范项目申报工作。

行业现状

据相关资料显示，随着互联网、移动互联网、物联网等信息通信技术及产业的不断发展，全球数据量呈爆发式增长态势。至此，IDC研究报告指出，根据ZDNET的统计预计到2020年，中国产生的数据总量将超过8.5ZB，是2013年的10倍。

此外，值得一提的是，大数据市场空间巨大的同时，其产业规模也有望迎来快速增长。据前瞻产业研究院发布的《中国大数据产业发展前景与投资战略规划分析报告》统计数据显示，2015年我国大数据产业规模已达2800亿元，截止至2017年我国大数据产业规模增长至4700亿元，规模增速进一步提高至30.6%，初步测算2018年我国大数据产业规模将达6200亿元左右，同比增长31.9%。并预测在2020年我国大数据产业规模增长突破万亿元，达到了10100亿元，同比增长26.3%。

2015-2020年我国大数据产业规模统计及增长情况预测

数据来源：前瞻产业研究院整理

由此可知，随着来自政策、技术以及市场等各方面的力量推进之下，大数据产业的发展潜力绝不能小觑。对此，业内人士还预期称，我国大数据产业正在从起步阶段步入黄金期，2020年中国有望成世界第一数据资源大国。

专业背景

大数据及相关专业是以计算机为基础，以挖掘、分析为主，以搭建、工具使用为辅，紧密面向行业应用的一门综合性学科。其方向有数据科学与大数据技术、概率论与数理统计、数据挖掘与数据分析、数据运维与开发、算法与数据结构、计算机网络、并行计算等多个专业方向。目前全国各类院校已陆续开始围绕大数据专业建设展开研究并申报大数据专业。

2016年，教育部批准北京大学、对外经贸大学、中南大学率先开设“数据科学与大数据技术”专业；2017年，教育部批准包括中国人民大学、北京邮电大学、复旦大学在内的共计32所高校获批“数据科学与大数据技术专业”；2018年3月，教育部发布《2017年度普通高等学校本科专业备案和审批结果》，共计255所高校获批开设“数据科学与大数据技术专业”及“大数据管理与应用专业”；2019年3月，教育部发布《2018年度普通高等学校本科专业备案和审批结果》，共计228所高校获批开设“数据科学与大数据技术专业” 及“大数据管理与应用专业”。

“大数据技术与应用”专业是2016年教育部公布的新增专业。2017年共有62所职业院校获批“大数据技术与应用”专业，2018年共有148所职业院校获批“大数据技术与应用”专业，2019年度新增195所高职院校获批“大数据技术与应用”专业。截止目前，总计405所高职院校成功申请该专业。

专业现状

从大的范围看，大数据人才培养就是学位培养和应用培训两类。学位培养需要设置完整的培养体系，包括：培养方案、课程体系、师资力量、实验条件等；应用培训相对比较简单，主要注重的是技能培训，掌握大数据分析工具，例如Hadoop、MapReduce、Spark、Mahout等，熟悉大数据应用案例等。

培养方案不精准

大数据是一门交叉学科，除了计算机相关知识，还需要有统计学、数学基础以及一定业务知识，结合院校优势学科建设有特色的“大数据+”专业无疑是院校最好的选择。然而，目前大数据专业的课程设置并没有参考和标准，如何根据院校情况制定精准的人才培养方案，设置对应的课程体系并且与院校师资相契合，仍是大多数高校需要考虑的。

教学资源不完善

对于很多高校教师来说，大数据并不像很多传统的理工科学科那样有完善的教学资源，目前并没有统一的大数据教材，并且缺乏与课程相契合的PPT、视频等课件，老师准备相关的教学资源需要花费大量的时间与精力，并且由于不同课程由不同老师负责，无法保证整个大数据知识体系能够完美衔接。

实训环境不完备

大数据专业的学生需要从原理、技术与应用等不同的角度掌握大数据平台搭建的方法与原理、挖掘的算法与技巧、分析的理论与分析知识、存储的工具与要求。学生要很好地掌握这些课程，除了课堂学习之外，也需要通过实验来加深理解和提高实际应用操作能力。调查表明，大数据的环境搭建方法、挖掘算法、分析知识、数据存储、运算环境以及用于实验的大数据生命周期类真实案例都无法在我国高校现有的实验室中完成。

项目案例不丰富

大数据是一门综合性较强的学科，除了理论基础知识以外，还需要接触真实数据并学习一些项目案例来将理论知识与实际应用相结合，为了训练大数据人才，需要各种各样的数据环境，在实践中总结经验，训练发现问题和解决问题的能力。数据环境是要有来源多样、类型多样的数据集合，并且数据规模要足够大。然而大多数高校都没有相关的数据及大数据项目案例来让学生学习。

教学分析不智能

在教学中如何掌握学生们的学习情况一直都是老师们非常关心的。通过传统的课堂提问、实验报告等方式去分析了解学生学习情况不仅不够精准，而且会花费大量的时间，另老师无法将精力投入到教学内容及管理优化等方面，如此恶性循环不但无法掌握学生的准确情况，还会给老师带来大量的不必要的教学压力。

建设目标

培养方案建设

针对理、工、商等不同专业结合院校优势学科为高校量身定制符合高校特色的个性化人才培养方案，以专业必修课为基础、以大数据专业知识为核心、以大数据进阶课为方向、以数据及项目案例为最终出口，包含大数据基础、数据采集、数据存储、数据处理、数据分析、数据挖掘、数据可视化、人工智能、大数据案例等完整的教学资源，让学生通过实验教学熟练掌握大数据相关技能，并且通过项目案例熟悉真实大数据处理流程，全面综合提升学生能力。

师资团队建设

根据院校情况制定短期、中期、长期培训计划。

使教师掌握大数据行业动态，了解行业发展，了解大数据基本组件与作用。

提供模块能力拔高培训，使教师在某一模块达到工程师水平。

提供大数据生态系统的整体培训，使教师掌握整体的使用与基本开发。

教学资源建设

建立包括大数据基础、大数据进阶、人工智能等多种实验分类及实验模块，包含从基础到应用的一系列实验资源并配备与课程配套的教材资料、视频资源、PPT讲义等课件资源，在满足老师教学需求的同时，能够节省时间，让老师能够将更多的时间和精力投入到教学管理中。

实训基地建设

实验室的设计全面落实“产、学、研、监、用、评”一体化的思想和模式，以课程为根本，融入实操实训，结合行业项目训练，以岗位职业培养为导向，同时支持竞赛训练、以赛促学；从空间、文化、课程、教务、智能五个维度建设实验室，从教学、实践、使用、科研、监控、评估等多方面培养人才，让学生更好地完成专业课程学习及人才岗位对接实训。

智慧教育分析

基于高校的教学场景，运用云计算技术，集课程实验、算法实战、数据科研、考试于一体的大数据实训平台，系统课程学习模式包括课程模式、岗位模式和项目模式，满足不同场景的教学需求。在教学管理方面，平台自带人工智能课程推荐功能，可为学生提供个性化课程推荐及AI课程助手，帮助学生轻松搞定学业问题。还可以通过大数据分析，自动生成学业报告，为学生就业提供桥梁，并作为教师教学的得力助手，为高校的学生能力培养及教师的工作提供强有力的支持。

科研服务建设

基于高校大数据人工智能科研工作的各方面需求而研发一个综合化服务平台，可通过多种分析工具与接口支持大数据人工智能相关的全周期科研工作，内置灵活多样的数量导入方式、数量众多的科研算法、基于典型科研场景的处理模型以及可视化效果炫酷的图标样式，内置数量众多的典型行业应用和真实数据，且整个平台可灵活的选择服务器数量与配置，用以满足用户的不同科研需求。

对于最终用户：为用户提供一体化、自助式的大数据分析平台，降低数据分析门槛，帮助用户充分利用数据价值，促进“人人都是数据分析师”的数据文化建设，推动数据驱动转型。

对于用户单位：为用户单位提供的完善的数据应用开发工具与灵活的集成机制，大幅度降低数据应用开发的难度与复杂度，适应灵活多变的业务需求，降低用户单位的研发成本。

红亚教学平台

红亚大数据教学平台基于高校的教学场景，运用云计算技术，集课程实验、算法实战、数据科研、考试于一体的实训平台，平台课程共计800多个任务。学生可通过浏览器访问使用，可在学校任何一个网络可达的场所进行学习。

系统课程学习模式包括实验平台、项目路径和职业路径，满足不同场景的教学需求。在教学管理方面，平台自带人工智能课程推荐功能，可为学生提供个性化课程推荐及AI课程助手，助力学生定向就业。还可以通过大数据分析，自动生成学业报告，为学生就业提供桥梁，并作为教师教学的得力助手，为高校的学生能力培养及教师的工作提供强有力的支持。

学习模式

实验平台

该模式以知识体系为核心，将大数据内容按照不同类型的知识模块进行分类。如大数据基础体系下包含了：Linux基础、编程基础、数学基础、数据库基础等课程；大数据进阶体系包含了：Hadoop、Spark数据处理、R语言、Python数据处理、SAS数据分析等课程；该模式围绕一个内容展开了多方面知识的学习，与现在教育方式一致，保留了师生们传统的学习授课方法。不仅如此，为满足学校的已有的课程教学资源，老师可以自定义实验内容及实验镜像，将文本类、实操类、视频类课件上传到教学平台上满足教学需求。

职业路径

该模式以职业岗位需求为核心，综合分析国内众多企业的大数据相关人才岗位需求，如大数据运维工程师、大数据研发工程师、大数据架构工程师，经过采集、筛选、对比、定模等一系列的流程，将岗位技能需求落实到具体的知识点，围绕一个岗位展开多方面相关技术的学习。

教师在后台可以将实验按照所需知识点的难易程度设计成一套流程体系。学生按照流程开始实验，将每一模块的技能牢牢掌握后，到最后具备胜任该职业的能力，可为自身职业发展提供有效帮助。

项目路径

项目路径学习模式是以还原企业的真实项目完成过程为设计思路，将大数据技能知识点与实际项目案例相结合，让学生能够真实的体会到每个知识点在实际项目中的具体作用。

将一个项目拆分成多个实验，多个实验间共同使用同一实验环境，以实现项目的连贯性和真实性。项目提供整套的实验环境及配套工具，用户在切换实验时对应的实验环境不会改变，在下一个实验会继续使用上一实验的实验环境，并最终完成该项目。具体项目案例包括大数据集群运维项目、图书馆管理系统的设计与实现、IBM离职率分析等。

练习算法

算法集

算法集提供了一个环境，用户可以在里面写代码、运行代码、查看结果，并在其中可视化数据，并与平台中的数据集功能进行交互式使用，可直接调用平台当中的数据集用于算法在实际数据中的实践测试。鉴于这些优点，它能帮助他们便捷地执行各种端到端任务，如数据清洗、统计建模、构建/训练机器学习模型等。

算法集的一个特色是允许把代码写入独立的cell中，然后单独执行。这样做意味着用户可以在测试项目时单独测试特定代码块，无需从头开始执行代码。虽然其他的IDE环境（如RStudio）也提供了这种功能，但就个人使用情况来看，算法集的单元结构是设计的最好的。

算法集的优势还体现在灵活性和交互性上，除了最基础的Python，它还允许用户在上面运行R语言。由于它比IDE平台更具交互性，教师也更乐于在各种教程中用它来展示代码。

数据集

数据集功能提供数量众多的大数据数据集，包括互联网、零售、电商、医疗等相关数据集，数据集中的数据可直接与算法集中的算法进行交互使用，为算法提供所需数据的调用支撑。

教师可根据数据集的内容、格式、数量等为学生设定开放式课题，使用真实的数据集进行大数据项目案例处理分析，深度理解掌握大数据技术是如何处理这些数据的，例如，教师给定一份数据让学生进行预测实验，学生需设计算法进行清洗与预测等。

平台提供开放式上传功能，支持用户将自己的数据上传至平台当中，并可设定是否与他人共用，可帮助用户解决数据存放管理问题，实现用户数据的开放式共享。

在线考试

理论考核

理论考核采用在线考核模式，将单选题、多选题、判断题、填空题、简答题添加在试卷上，每一道题的题目、正选、分值等内容可由管理员自行设置，简答题题采用关键词进行自动判分，同时也可以由教师手动判分。

理论考核

实践测评

实践测评考核模式是以实验操作过程为考核点，也称之为实操题考核模式，由教师在管理端设置考核步骤、分值权重，平台提供配套的实验考试环境。学生在实际操作过程中遇到的考核点，需要根据实际结果去填写，到最后统一汇总分数。该模式突破了传统的考核模式，通过实操的方式来加深印象，巩固大数据知识。

智能教务

教学进度分析

课程实验具有核全局开关功能，打开全局考核后，进行所有实验时都必须完成实验当中设定的每一步考核才能查看下一步。接着，系统不仅自动检测到正在进行实验，也可以手动设定实验状态分析（也可以手动设置分析目标）。查看分析结果时可查看每个班级的学生在进行每个实验时完成度，查看每个实验的每个步骤的通过率、完成率、完成进度、实验总结信息等。

教学进度分析功能可通过智能化的手段，有效帮助教师分析并掌握整个班级的学习情况，根据学生完成实验的进度过程进行授课，选择重点难点部分进行针对性讲解，有效降低教师授课压力，高效完成授课任务。

教学计划管理

管理员在后台可以一次性布置全部的教学计划，规定上课时间与学习课程，随后学生通过在前端查看，即可了解到每一天的课程安排。

实验报告管理

教师通过此功能查看学生的实验报告，支持预览和批阅等功能，后台自动统计学生学习数据，展示出每个步骤的学习通过时间、成绩正确率、班级排名等信息，并将实验数据与学生的实验报告有机结合，形成完成的实验报告。此功能相较于传统的实验报告，增加了学生的学习数据统计功能，可大大的减轻教师的负担，同时为教师了解班级整体的学习状况提供的有力的支持。

平台管理

用户管理

为满足教师方便的管理班级学院，平台提供用户组织管理功能。其中用户管理显示平台用户的信息列表，管理端可对平台用户信息进行编辑与删除，根据信息进行用户模糊筛选，便于管理平台用户；角色管理显示平台现有角色，用户可编辑新的角色并赋予角色权限；组织结构管理显示平台现有的组织机构，管理端可以也可根据层级分步添加组织、学院、系别、专业、班级，对同级别下的机构进行排序。

资源管理

用户可以在此查看版本信息、用户数量、实验数量，资源监控及用户虚拟机监控。同时后台资源监控中心可查看平台的用户数量、实验数量、职业路径数量、项目路径数量、算法集数量、数据集数量、用户分布、活跃用户等数据；实时的CPU、内存、硬盘、实例的使用情况和该时刻学生实验进行的状态；可对虚拟机进行监控所处状态。该功能的实现可便捷精准的反应出学生的问题所在，可对实验平台进行实时状态的查看，又同时提高了老师的教学质量和效率。

红亚教学资源