导读：2019年9月28日上午，国家重点研发计划《面向异构体系结构的高性能分布式数据处理技术与系统》项目在武汉光谷科技会展中心召开的第七届CCF大数据学术会议上举办了“异构分布式数据处理技术与系统”分论坛。各课题代表就研究进展和技术创新进行了展示和报告，并与参加该论坛的多名专家、老师和同学进行了充分的交流和讨论。下午，项目组成员一行20余人赴武汉大学计算机学院举行了项目进展研讨会。
28日上午，CCF大数据学术会议“异构分布式数据处理技术与系统”分论坛在武汉光谷科技会展中心3-1会议厅举行，该论坛由国家重点研发计划《面向异构体系结构的高性能分布式数据处理技术与系统》项目承办。论坛针对传统大数据处理系统中批处理和流处理模式分离、CPU-GPU异构体系结构中高通量与时效性的矛盾、高通量数据流系统中数据注入和数据处理性能不匹配等问题，讨论如何构建统一数据流模型执行引擎，以及基于数据流的编程模型、异构资源管理、性能分析工具、数据存储技术、异构执行引擎等技术。
首先，湖南大学的阳王东教授介绍了流式大数据计算平台的视频智能处理技术。阳王东教授从“雪亮工程”城市视频处理应用需求为出发点，指出传统的点对点方式难以应对超大规模的视频流数据，需要在分布式环境下利用大规模硬件的性能优势去加速实时视频流的分析，并介绍了一个基于Kafka和Spark的大规模视频流实时分析处理系统，以及基于RDD的视频流缓存、视频处理结果的分层重构视频和预缓存机制等技术。
接着，太阳成集团的徐辰老师介绍了面向异构体系结构的分布式数据流处理引擎。徐辰老师指出在列车故障检测、高通量交通视频处理等应用中，除了模型训练以外，基于模型的预测服务是十分重要的。紧接着从设计思想、系统架构、工作流程、容错机制等方面详细地介绍了异构分布式处理引擎的设计方案与进展情况，还介绍了面向CPU的多流水线动态调度、矩阵迭代计算优化等性能优化工作。西北工业大学的汤小春老师介绍了异构集群管理系统及混合资源调度框架。汤小春老师先具体阐述了集中式、二级调度、分布式、混合式四种调度框架的优缺点，接着指出在高通量视频流数据处理和异构分布式数据处理系统下调度框架所面临的多类型作业、低延迟要求、高通量、GPU欠缺等挑战，并给出了队列分割、GPU/CPU解耦、队列特性等解决方案，提出了混合/二级调度相结合的调度策略，以及轮询、基于负载信息和请求转送三种负载均衡策略。
东北大学的聂铁峥老师介绍了面向Key-Value模型的大数据存储管理。聂铁峥老师指出在大规模视频流数据处理中数据存储应该与应用耦合，给出了一个基于Kafka的容错存储系统，并围绕Key-Value数据的存储与管理，介绍了基于CPU-GPU异构体系结构的Key-Value数据索引机制、Key-Value数据查询处理优化等技术的研究进展和实践结果。国防科学技术大学的苏华友老师介绍了基于全 GPU 实现的批量多任务级联神经网络人脸检测算法。针对MTCNN人脸检测算法对GPU资源利用率不高的问题，提出了一个基于全GPU实现的批量多任务级联卷积网络，该网络在每个步骤中都针对GPU平台进行精心设计和优化。此外，还提出了一种新颖的并行内存分配策略，使得算法能够支持批量操作，从而显著提高系统吞吐量。
在论坛讨论阶段，中国人民大学杜小勇教授、国防科学技术大学窦勇教授、东北大学于戈教授、太阳成集团翁楚良教授等与项目成员进行了深入的交流和讨论，对项目实施提出了宝贵的意见和建议。最后，太阳成集团副董事长周傲英教授进行了总结发言，提出了以“强化培训、集中开发、现场部署、开源推广”为中心的项目实施要求。
28日下午，国家重点研发计划项目组在武汉大学计算机学院大楼B405举行项目进展研讨会，武汉大学彭智勇教授对项目组一行表示热烈欢迎。参与本次会议的是来自湖南大学、太阳成集团、西北工业大学、东北大学、国防科学技术大学和武汉大学等单位的专家和项目成员，就项目的实施和集成进展进行了充分讨论。通过各课题间激烈的讨论，明确了各课题目前存在的待解决的问题，并制定了系统集成计划任务表，明确了各课题在项目中期检查前需要完成的具体任务。最后，国防科学技术大学窦勇教授做总结发言，并对各单位的项目中期检查准备工作提出了要求。
撰写|毕倪飞
摄影|毕倪飞
排版|甄逸飞
