用户界面 (user interface, UI) 在应用程序与用户的交互中扮演了至关重要的角色. 当前移动互联网的普及, 已经使得基于Web (world wide web)的应用大规模从桌面端迁移到移动端, Web前端开发在应用程序的开发中愈加广泛和深入. 传统Web前端开发首先依赖设计人员给出设计稿, 然后由程序员编写相应的UI代码. 这种方式行业壁垒高、开发速度慢, 不利于产品的快速迭代. 深度学习的发展使得基于UI图像自动生成Web前端代码成为可能. 现有方法对于UI图像特征的捕捉能力较弱, 生成代码的准确性较低. 为了改善这些问题, 提出了基于Swin Transformer的Encoder-Decoder模型image2code, 用于从UI图像生成Web前端代码. image2code将从UI图像生成Web前端代码的过程视为图像描述任务的一种形式, 将包含滑动窗口设计的Swin Transformer作为模型编码器和解码器的骨干网络. 其中滑窗操作将注意力计算限制在一个窗口内, 减少了注意力机制的计算量, 同时保证了不同窗口间仍然有特征关联. 另外, image2code生成可以直接转换为HTML (hyper text markup language)代码的Emmet代码, 利用Emmet代码的简洁性提高模型训练的效率. 实验结果表明, 在已有公开数据集和新构建的数据集上, image2code在Web前端代码生成任务上的表现要优于pix2code和image2emmet等代表性模型.
我国在数据资源上具有规模化和多样化的优势, 在移动互联网数据应用上具有后发优势, 在丰富的应用场景下产生了海量数据, 推荐系统可以从大规模数据中挖掘有价值的信息, 缓解信息过载问题. 已有的工作聚焦于集中式推荐, 数据在云侧训练. 随着数据安全和隐私保护问题的日益突出, 从端侧设备收集用户数据变得越发困难, 这使得集中式推荐变得不可行. 以去中心化的方式, 利用端侧设备和云服务器的优势, 充分考虑数据安全与隐私保护问题, 面向推荐系统, 提出了一个基于联邦机器学习 (federated machine learning, FedML)与移动神经网络 (mobile neural network, MNN) 的端云协同训练方法FedMNN (federated machine learning and mobile neural network). 具体分为3部分: 首先, 将多种深度学习框架实现的云侧模型以ONNX (open neural network exchange)作为中间框架通过MNN模型转换工具转换成通用MNN模型供端侧设备训练; 然后, 云侧将模型下发给端侧设备, 端侧初始化后, 获取本地数据进行训练并计算损失, 再执行梯度反向传播; 最后, 端侧训练后的模型反馈给云侧, 通过联邦学习框架进行模型聚合与更新, 再根据不同需求, 将云侧模型按需部署到端侧设备上, 实现端云协同. 实验通过对比FedMNN和FLTFlite (flower and TensorFlow lite)框架在基准任务上的功耗, 发现FedMNN比FLTFlite低32% ~ 51%, 并以DSSM (deep structured semantic model)和Deep and Wide这2个推荐模型为例, 实验验证了端云协同训练的有效性.
特征管理是搭建人工智能数据管道中的重要一环. 特征存储要求在模型训练和推理阶段提供有效版本的特征推送服务. 为响应这一需求, 特征存储需要为特征实时更新和版本管理提供保证, 以协同上游的特征摄取, 为模型服务系统提供数据动力. 在人工智能辅助决策的在线预测任务中, 为了提供更好的用户体验, 模型服务系统需要实时响应决策请求, 实时特征检索面临更低延迟的挑战. 聚焦这一挑战, 开发基于内存的多版本在线特征存储FeaDB. 使用时间序列建模特征, 并提供特征版本管理语义, 满足特征从生产到消费的版本管理需求; 采用追加写方式保证实时特征加载性能, 设计基于版本的索引减少读延迟; 为进一步减小特征消费延迟, 提出版本快照机制, 实验证明采用快照读机制增加了特征集版本的检索效率.
异构联邦学习系统中的个人电脑、嵌入式设备等多种边缘设备, 存在资源受限的掉队者设备降低联邦学习系统训练效率的问题. 针对此问题, 本文提出了异构编码联邦学习(heterogeneous coded-based federated learning, HCFL)系统框架, 以实现: ①提高系统训练效率, 加快多掉队者场景下的异构联邦学习 (federated learning, FL)训练速度; ②提供一定级别的数据隐私保护. HCFL方案分别从客户端和服务器角度出发设计了调度策略, 以满足通用环境下多掉队者模型计算加速; 同时设计了线性编码计算方案(linear coded computing, LCC)为任务分发提供数据保护. 实验结果表明, 当异构FL中设备之间性能差异较大时, HCFL能够将训练时间缩短89.85%.
随着网络攻击手段的不断发展, 配用电通信网络安全防护面临严峻挑战. 为解决配用电通信网络异常流量检测效率低、检测精度不足的问题, 从特征提取和流量分类这两个方面进行改进研究, 提出了一种配用电通信网络异常流量检测的新方法. 在特征提取方面, 使用时频域特征提取方法, 采用自适应冗余提升多小波包变换快速提取频域特征, 结合配用电网络通信特点提取时域特征; 在流量分类检测方面, 提出了基于分布式计算框架的并行深度森林分类算法, 并对训练与分类任务调度策略进行了优化. 使用终端流量及常用异常流量检测数据集进行实验, 结果表明所提方法对配用电网络异常流量检测的误报率仅为2.63%, 准确率可达98.29%, 并且深度森林并行计算能均衡地分配任务, 显著地加速了训练与分类过程.
GPU (graphics processing unit) 的高并行和高吞吐特性可以提高数据库OLAP (on-line analytical processing) 查询的性能. 然而目前openGauss无法利用GPU等异构计算硬件的优势. 因此旨在探索如何使用GPU加速该系统的OLAP处理过程, 以实现更高的性能. 针对openGauss与SQL为系统PostgreSQL名称的一部分，因此不能修改执行粒度的差异, 提出了基于分块读取和按键分发的CPU-GPU协同并行方案, 该方案可缩短GPU Scan算子的I/O (input/output) 时间以缩短GPU的空闲等待时间, 又可多实例运行GPU Join以支持多GPU环境. 针对openGauss与PostgreSQL体系结构的差异, 提出了兼容向量化引擎的异构算子加速技术, 实现了可嵌入向量化执行引擎的自定义算子框架, 基于此实现了可处理openGauss列式数据的向量化GPU Scan算子. 实现了原型系统, 验证了所提出方案的效果.
中国综合性科技类核心期刊(北大核心)
