喜报丨我院本科生李林、黄佳伟、全启浩的论文被CCF A类国际顶级会议ACM MM 2026接收
近日，在软件工程学院李丹副教授和娄坚副教授指导下，2023级本科生李林、2022级本科生黄佳伟作为共同第一作者、2023级本科生全启浩作为学生作者投稿的学术论文“Empowering VLMs for Few-Shot Multimodal Time Series Classification via Tailored Agentic Reasoning”被CCF A类国际顶级会议ACM MM 2026接收。
1. 会议介绍
ACM MM（ACM International Conference on Multimedia） 是国际计算机学会（Association for Computing Machinery; ACM）主办的国际顶级学术会议。
自1993年首次举办以来，ACM MM一直是多媒体领域的顶级会议，也被中国计算机学会（CCF）评为A类会议。作为人工智能技术的重要应用与交叉领域，ACM MM长期关注多模态学习、计算机视觉、语音与音频处理、自然语言理解、人机交互、生成式人工智能等方向，为学术界和工业界提供全面的交流平台，推动人工智能技术的研究与创新应用。
2. 论文介绍
作为建模动态变化过程的重要技术，时间序列分析广泛应用于金融、交通、能源、医疗、工业制造等现实应用领域。在真实应用场景中，时间序列的数值观测量往往伴随着文本、图像、音频等多模态信息，而现有的方法并没有充分利用多模态信息种所蕴含的相互关联和丰富表征。近年来，大规模视觉-语言模型（VLM）技术为挖掘多模态时间序列数据中蕴藏的丰富动态规律与跨模态关联、实现少样本时间序列分类提供了最新的发展方向。然而，现有方法依赖静态上下文，无法随少样本训练样本自动演化，且缺乏定制化的智能体推理机制，难以从有限的标注数据中最大限度地提取判别性知识。
本文提出了首个用于少样本多模态时间序列分类的VLM agent推理框架——MarsTSC，其引入了一个自演化的知识库，并通过基于反思的推理迭代优化的任务相关的上下文。该框架包含三个协作角色：i）生成器（Generator）通过推理进行可靠分类；ii）反思器（Reflector）诊断推理错误的根本原因，针对生成器忽略的时序特征产出判别性见解；iii）修改器（Modifier）将经验证后的更新应用于知识库，以防止上下文坍缩。MarsTSC进一步引入了基于自检测和延迟更新测试时更新策略，以实现审慎、持续的知识库精炼，从而缓解少样本偏差和分布偏移问题。
如下图所示，在进行时序分类任务时，反思器参照真实标签，从生成器的推理路径中分析错误根因并总结为格式化的反思意见；修改器则进一步地将反思意见提炼为对上下文的原子化操作（ADD操作），以添加新的任务相关的可执行经验点（bulletpoint）。由此，MarsTSC得以实现任务相关上下文的逐步优化。在测试时，本次迭代反思添加的经验点成功指导了5次正确推理。
在12个主流时间序列基准上开展的大量实验表明，MarsTSC在6种VLM骨干模型上均带来了显著且一致的性能提升，在少样本条件下优于经典方法和基于基础模型的时间序列基线，同时能够为每个分类决策生成可解释的原理，将其依据锚定于人类可读的特征证据中。
3. 指导老师
学院构建以“一人一事”项目制为基础的创新育人体系，李林、黄佳伟、全启浩三位同学在大二年级便加入了学院李丹副教授和娄坚副教授的课题组接受科研训练并开展学术研究。
李丹，副教授，硕士生导师，2021年2月入选中山大学百人计划青年学术骨干，加入软件工程学院。2018年至2021年于新加坡国立大学数据科学中心（IDS）担任研究员，从事博士后研究工作。2013年至2017年就读于新加坡南洋理工大学，受新加坡与加州大学伯克利分校联合项目资助，获得博士学位。2008年至2012年就读于电子科技大学，获得学士学位。主要从事时序基座大模型、时序分析、工业大数据，预测性维护，异常检测、故障诊断等方面的研究。目前于ICML、ICLR、ICDE、CIKM、IEEE TII、IEEE TASE等国际著名期刊和会议上发表50余篇论文。获AIoTSys 2023 最佳论文奖，PHM-AP 2025 最佳论文奖。
娄坚，中山大学副教授、博士生导师，此前曾于美国埃默里大学（Emory University）从事博士后研究工作。主要研究方向包括可信人工智能、可信大模型、人工智能隐私保护、数据隐私保护、数据质量评估等。近年在ICML、NeurIPS、ICCV、CVPR、SIGMOD、VLDB、WWW、ACM CCS、IEEE S&P、IEEE TDSC等人工智能、数据库、安全与隐私保护领域的顶会顶刊上发表论文60余篇，并获得安全与隐私保护领域国际顶会ACM CCS 2024杰出论文奖，国际会议澳洲密码学年会ACISP 2025最佳论文奖，国际会议IEEE/WIC/ACM WI-IAT 2020最佳理论论文奖等。担任人工智能顶会ICML/ICML/NeurIPS的领域主席、WWW/AAAI的高级程序委员，信息安全顶会ACM CCS/USENIX Security的程序委员，数据库顶会ICDE/VLDB的程序委员。
4. 学生研究体会
黄佳伟：作为本科生能在国际顶级会议发表论文，是一件令人振奋也充满挑战的事情。我由衷感谢导师在选题把控、方案论证和论文打磨等关键节点上给予的指导与帮助；也深深体会到，一项工作的完成离不开团队成员的密切配合与相互支持。完整走过这一段科研历程，让我真切感受到，科研不是一蹴而就的冲刺，而是一场漫长且充满未知的探索，其中的挑战与挫折，都会在坚持之后转化为实实在在的成长与收获。
5. 课题组介绍
课题组专注于大模型与时间序列相关的研究，包括数据质量与数据价值、时序大模型、工业大数据、大模型安全对齐等方向的研究。课题组长期招收大二、大三同学开展科研实习，欢迎对相关研究方向感兴趣的同学加入。
课题组导师长期处于科研一线，亲自手把手指导学生看论文、推公式、写代码，一起赶会议ddl、修改论文，以带领学生参与前沿科研项目、发表学生一作的顶级会议论文、推动科研创新为主要培养目标。课题组积极开展国际合作，与多个国内外顶尖研究团队保持长期合作关系，将积极推荐表现优秀的学生前往合作课题组攻读博士学位，继续深造与发展。课题组内氛围轻松友爱互助、以结果为导向、定期组织团建活动。
