2024第七届传智杯全国IT技能大赛-云计算大数据挑战赛
全国高等院校计算机基础教育研究会
2024.07.01 00:00 - 2024.11.30 23:59
比赛时间待定
赛氪APP
APP中打开体验更佳
全国高等院校计算机基础教育研究会
2024.07.01 00:00 - 2024.11.30 23:59
比赛时间待定
在当今数字化时代,大数据已成为推动社会进步和产业升级的关键力量。随着数据量的爆炸性增长和数据处理技术的飞速发展,大数据技术的应用范围日益广泛,从商业智能、金融风控到智慧城市、医疗健康等各个领域,都离不开大数据的支撑。为了培养更多具备大数据思维和实践能力的人才,促进大数据技术的普及与应用。
本次大赛旨在通过与阿里云认证团队一系列精心设计的赛题,全面考察参赛者对开源大数据技术栈和阿里云大数据云平台解决方案的理解与掌握程度,同时引导参赛者关注云平台开发的重要性,以及大数据技术为产业带来的巨大优势。通过竞赛,我们期望能够激发参赛者的创新思维,提升他们的技术实力,为大数据产业的未来发展贡献智慧和力量。
竞赛主题:智驭数据·云启未来
(1)背景描述:
在初赛阶段,我们设置了以开源大数据技术栈为主的赛题(占比70%),这些赛题将围绕Hadoop、Spark、Kafka、Hive等主流开源大数据框架展开,考察参赛者对这些技术的理解、应用及问题解决能力。同时,为了引导参赛者关注云平台开发,我们还设置了占比30%的阿里云大数据云平台相关题目(基于阿里云大数据高级工程师ACP认证考试大纲),这些题目将涉及阿里云大数据产品的基本使用、性能优化、场景应用等方面。
(2)目的:
通过初赛,我们希望参赛者能够巩固和深化对开源大数据技术栈的理解,同时初步接触并了解阿里云大数据云平台解决方案的优势和特点,为后续的比赛打下坚实基础。
(1)背景描述:
进入复赛后,我们将提高阿里云大数据云平台相关题目(基于阿里云大数据高级工程师ACP认证考试大纲)的比例至50%左右,同时保持开源大数据技术栈题目的占比在50%左右。这一阶段的赛题将更加侧重于阿里云大数据产品的深入应用与创新实践,如使用MaxCompute进行大规模数据处理、利用DataWorks进行数据开发与治理、通过Quick BI实现数据可视化等。同时,开源大数据技术栈的题目也将更加复杂和具有挑战性,以考察参赛者的综合能力和创新能力。
(2)目的:
复赛阶段旨在进一步加深参赛者对阿里云大数据云平台解决方案的理解和掌握,同时激发在大数据领域的创新思维和实践能力。通过这一阶段的比赛,我们希望选拔出既具备扎实技术基础又具备创新精神的优秀选手。
(1)背景描述:
决赛阶段的赛题将以阿里云大数据云平台相关题目(基于阿里云大数据高级工程师ACP认证考试大纲)为主(占比90%),同时保留10%的开源大数据技术栈题目。这一阶段的赛题将更加注重实战性和创新性,要求参赛者结合阿里云大数据产品的特点,设计并实施具有实际应用价值的解决方案。同时,开源大数据技术栈的题目也将更加贴近行业前沿和实际应用场景,以考察参赛者的综合应用能力和创新能力。同时决赛阶段我们可能会增加实验环节,便于更深度考核技术掌握情况。
(2)目的:
决赛阶段旨在全面展示参赛者在大数据领域的专业能力和创新精神。通过这一阶段的比赛,我们期望能够选拔出真正具备大数据思维和实践能力的优秀人才,为大数据产业的未来发展注入新的活力和动力。同时,我们也希望通过本次竞赛的举办,进一步推动大数据技术的普及与应用,促进大数据产业的繁荣发展。
具有正式全日制学籍并且符合相关科目报名要求的研究生、本科及高职高专学生(以报名时状态为准),以个人为单位进行比赛。
个人赛
赛事划分为研究生组、A组、B组、C组四个组别
1.研究生组:研究生只能报研究生组;
2.A组:985、211本科生只能报A组及以上组别;
3.B组:其它院校本科生可自行选择报B组及以上组别;
4.C组:高职高专院校可报C组或其他任意组别;
注意:如选手在报名时未遵照以上规则选择正确组别,一经发现将取消其参赛资格及成绩。
命题包含两部分内容: 一部分为开源大数据技术栈,一部分基于阿里云大数据高级工程师ACP认证考纲设计的试题。
其中初赛与复赛均为选择题 ;决赛为20%选择题,80%操作题(具体占比可见详情)。
开源大数据技术栈占比70%
基础知识
● Hadoop生态系统组成及各个组件的基本功能。
● Spark核心概念(RDD、DataFrame、Dataset)及其优势。
● Kafka基本概念(生产者、消费者、主题、分区)及消息队列机制。
● Hive数据仓库基础,包括数据模型、查询语言(HQL)。
技术应用
● Spark SQL中如何编写并执行查询语句。
● Kafka在数据流处理中的应用场景及配置方法。
● Hadoop HDFS的数据存储原理及读写流程。
● Hive与Spark集成使用的优势及场景。
性能优化
● Spark作业调优策略,如分区、资源分配、广播变量等。
● Hadoop集群性能瓶颈识别及解决方案。
● Kafka消息传递性能影响因素及优化方法。
基于阿里云大数据高级工程师ACP认证考纲设计相关试题占比30%
产品认知
● 阿里云大数据产品概述,如MaxCompute、DataWorks、Quick BI等
● 各产品的基本功能、使用场景及限制条件
基本操作
● MaxCompute项目、表、资源的管理操作
● DataWorks工作流创建、调度、监控的基本步骤
● Quick BI数据源连接、仪表板创建、报表设计的基础操作
场景应用
● 利用MaxCompute进行大规模数据批处理任务的设计与实现
● DataWorks在数据集成、数据开发中的实际应用案例
● Quick BI在数据可视化、数据分析报告生成中的应用
开源大数据技术栈占比50%
深入技术
● Spark Structured Streaming在实时数据处理中的应用及高级特性。
● Hadoop YARN资源管理架构及作业调度策略。
● Kafka高级配置与优化技巧,如消费者组、事务性消息等。
复杂场景
● 多源异构数据在Hadoop生态中的整合与处理技术。
● Hive SQL复杂查询优化技巧及窗口函数使用。
基于阿里云大数据高级工程师ACP认证考纲设计相关试题占比50%
高级功能
● MaxCompute的原理与使用方法
● DataWorks高级数据开发功能,如自定义组件、函数开发
● Quick BI中数据关联、多源数据合并及高级可视化效果
解决方案设计
● 基于阿里云大数据产品的端到端解决方案设计,包括数据采集、存储、处理、分析、可视化等环节。
● 阿里云大数据产品在特定行业(如金融、电商、物流)中的应用案例及最佳实践。
性能调优
● MaxCompute查询性能优化策略,如分区表、列裁剪、生命周期管理等。
● DataWorks工作流执行效率提升方法,如并发控制、依赖优化。
● Quick BI报表加载速度影响因素及改进措施。
开源大数据技术栈占比10%
● 前沿技术:考察参赛者对开源大数据技术栈中最新的研究成果和趋势的了解,如实时数据处理、流计算等。
基于阿里云大数据高级工程师ACP认证考纲设计相关试题占比90%
● 阿里云大数据产品的高级功能、性能调优策略
● 云上大数据解决方案的架构设计原则与最佳实践
● 结合实际业务场景,考察数据分析思路、方法论
总之,命题范围应紧密结合当前大数据技术的发展趋势和实际应用需求,注重考察参赛者的基础知识、应用实践能力、创新思维和综合素质。同时,通过不同阶段的命题设置,逐步提升难度和深度,以选拔出真正具备大数据思维和实践能力的优秀人才。
提交作品时的附件仅接受zip格式,大小不超过200MB,附件压缩包命名方式为:大数据开发传智杯2024-作品名,附件内容包括项目源码,执行的过程、结果的截图,演示及讲解视频(如有更好,可通过百度网盘上传作品,并在作品提交时在文档中提交网盘链接)。
选择题部分会提供专属链接
实操题基于阿里云平台,领取相关资源即可练习,题目中会提供相关实验链接
本届大赛采取网络报名方式,报名时间为2024年07月01日起至2024年11月30日止,参赛学员通过本页面进行报名。
参赛选手需在2024年09月01日起至2024年11月30日期间,通过官网进行报名,并按照要求提交个人信息进行报名。
作品提交到本院校老师,院校老师根据评分规则进行作品初筛,初赛也可院校自行组织选拔
初赛晋级选手,针对考试范围进行补充学习,考试时提供专属链接,评选出晋级决赛选手
省赛晋级选手,针对考试范围进行补充学习,考试时提供专属选择题链接和实操题题目内容,实操题提交至组委会,组委会专家针对作品进行评分,评选出最终决赛获奖选手
大赛阶段 | 考试形式 |
初赛 | 均为选择题 100分 |
复赛 | 均为选择题 100分 |
决赛 | 选择题 20分操作题 80分 |
初赛由本校赛事负责人自行组织选拔。
初赛一等奖:不超过本校有效成绩数的25%,颁发荣誉证书;
初赛二等奖:不超过本校区有效成绩数的25%,颁发荣誉证书;
初赛三等奖:不超过本校区有效成绩数的30%,颁发荣誉证书;
初赛优秀奖:不超过本校区有效成绩数的10%,颁发荣誉证书。
初赛一、二、三等奖获奖选手将有资格进入复赛(省赛)。
复赛分为北部赛区、东部赛区、南部赛区、西部赛区、港澳台赛区五大赛区及1个境外赛区,根据各区域考生的参赛科目分别排名, 分设一等奖、二等奖、三等奖和优秀奖各若干项,如下:
复赛(省赛)一等奖:不超过本赛区有效成绩数的5%,颁发荣誉证书;
复赛(省赛)二等奖:不超过本赛区有效成绩数的15%,颁发荣誉证书;
复赛(省赛)三等奖:不超过本赛区有效成绩数的20%,颁发荣誉证书;
复赛(省赛)优秀奖:不超过本赛区有效成绩数的15%,颁发荣誉证书。
复赛(省赛)一、二等奖获奖选手将有资格进入决赛。
决赛设一等奖、二等奖、三等奖各若干项,总获奖人数不超过总报名数的10%。
分别如下:
决赛一等奖:不超过本赛区有效成绩数的5%,颁发荣誉证书;
决赛二等奖:不超过本赛区有效成绩数的10%,颁发荣誉证书;
决赛三等奖:不超过本赛区有效成绩数的15%,颁发荣誉证书;
*大赛主办方有权结合赛道参赛者报名情况、晋级情况等实际因素,调整获奖比率。
对获得一等奖、二等奖、三等奖的参赛选手指导教师颁发“优秀指导教师”证书。
以下情况将视为违规,竞赛组织委员会有权取消参赛队伍的参赛资格:
(1)参赛报名信息作假;
(2)在参赛过程中出现违反相关法律、法规的行为;
(3)作品涉嫌抄袭,侵犯他人知识产权等;
(4)作品涉及不健康、淫秽、色情或毁谤第三方等内容;
(5)参赛期间发现或被举报认定存在的其他违法、违规行为。
扫码关注大赛公众号
【算法设计与编程挑战赛】
第一时间获取获奖名单
下载电子版证书
查询证书邮寄信息