大家可能还记得，今年五月份公布的，将由国内大佬马毅和沈向洋牵头办的全新首届AI学术会议CPAL。

这里我们再介绍一下CPAL到底是个什么会，以防有的读者时间太久有遗忘——

CPAL（Conference on Parsimony and Learning）名为简约学术会议，每年举办一次。

第一届CPAL将于2024年1月3日-6日，在香港大学数据科学研究院举办。

大会地址：https://cpal.cc

就像名称明示的那样，这个年度研究型学术会议注重的就是「简约」。

第一届会议一共有两个轨道（track），一个是论文集轨道（存档）和一个「最新亮点」轨道（非存档）。

图片

具体的时间线我们也再复习一下：

图片

可以看到，论文集轨道的论文提交截止日期已经过去了三个多月，「最新亮点」轨道的论文提交截止也已经过去了一个多月。

而在刚刚过去的十一月底，大会发布了两个轨道的最终评审结果。

最终录用结果

马毅教授也在推特上发布了最终的结果：9位主讲人，16位新星奖获奖者，共接收30篇论文（论文集轨道）和60篇「最新亮点」轨道中的论文。

马教授的推特中也附上了每一部分的网址链接，点击即可跳转到相关页面。

图片

30篇Oral论文

1. Less is More – Towards parsimonious multi-task models using structured sparsity

作者：Richa Upadhyay, Ronald Phlypo, Rajkumar Saini, Marcus Liwicki

关键词：Multi-task learning, structured sparsity, group sparsity, parameter pruning, semantic segmentation, depth estimation, surface normal estimation

TL;DR：我们提出了一种在多任务环境下利用动态组稀疏性开发简约模型的方法。

图片

2. Closed-Loop Transcription via Convolutional Sparse Coding

作者：Xili Dai, Ke Chen, Shengbang Tong, Jingyuan Zhang, Xingjian Gao, Mingyang Li, Druv Pai, Yuexiang Zhai, Xiaojun Yuan, Heung-Yeung Shum, Lionel Ni, Yi Ma

关键词：Convolutional Sparse Coding, Inverse Problem, Closed-Loop Transcription

图片

3. Leveraging Sparse Input and Sparse Models: Efficient Distributed Learning in Resource-Constrained Environments

作者：Emmanouil Kariotakis, Grigorios Tsagkatakis, Panagiotis Tsakalides, Anastasios Kyrillidis

关键词：sparse neural network training, efficient training

TL;DR：设计和研究一个系统，利用输入层和中间层的稀疏性，由资源有限的工作者以分布式方式训练和运行神经网络。

图片

4. How to Prune Your Language Model: Recovering Accuracy on the "Sparsity May Cry" Benchmark

作者：Eldar Kurtic, Torsten Hoefler, Dan Alistarh

关键词：pruning, deep learning, benchmarking

TL;DR：我们提供了一套语言模型的剪枝指南，并将其应用于具有挑战性的Sparsity May Cry基准测试，以恢复准确性。

图片

5. Image Quality Assessment: Integrating Model-centric and Data-centric Approaches

作者：Peibei Cao, Dingquan Li, Kede Ma

关键词：Learning-based IQA, model-centric IQA, data-centric IQA, sampling-worthiness.

图片

6. Jaxpruner: A Concise Library for Sparsity Research

作者：Joo Hyung Lee, Wonpyo Park, Nicole Elyse Mitchell, Jonathan Pilault, Johan Samir Obando Ceron, Han-Byul Kim, Namhoon Lee, Elias Frantar, Yun Long, Amir Yazdanbakhsh, Woohyun Han, Shivani Agrawal, Suvinay Subramanian, Xin Wang, Sheng-Chun Kao, Xingyao Zhang, Trevor Gale, Aart J.C. Bik, Milen Ferev, Zhonglin Han, Hong-Seok Kim, Yann Dauphin, Gintare Karolina Dziugaite, Pablo Samuel Castro, Utku Evci

关键词：jax, sparsity, pruning, quantization, sparse training, efficiency, library, software

TL;DR：本文介绍了 JaxPruner，这是一个用于机器学习研究的、基于JAX的开源剪枝和稀疏训练库。

图片

7. NeuroMixGDP: A Neural Collapse-Inspired Random Mixup for Private Data Release

作者：Donghao Li, Yang Cao, Yuan Yao

关键词：Neural Collapse, Differential privacy, Private data publishing, Mixup

TL;DR：本文提出了一种新颖的隐私数据发布框架，称为 NeuroMixGDP，它利用神经坍缩特征的随机混合来实现最先进的隐私-效用权衡。

图片

8. Algorithm Design for Online Meta-Learning with Task Boundary Detection

作者：Daouda Sow, Sen Lin, Yingbin Liang, Junshan Zhang

关键词：online meta-learning, task boundary detection, domain shift, dynamic regret, out of distribution detection

TL;DR：我们提出了一种新的算法，用于在不知道任务边界的非稳态环境中进行与任务无关的在线元学习。

图片

9. Unsupervised Learning of Structured Representation via Closed-Loop Transcription

作者：Shengbang Tong, Xili Dai, Yubei Chen, Mingyang Li, ZENGYI LI, Brent Yi, Yann LeCun, Yi Ma

关键词：Unsupervised/Self-supervised Learning, Closed-Loop Transcription

图片

10. Exploring Minimally Sufficient Representation in Active Learning through Label-Irrelevant Patch Augmentation

作者：Zhiyu Xue, Yinlong Dai, Qi Lei

关键词：Active Learning, Data Augmentation, Minimally Sufficient Representation

图片

11. Probing Biological and Artificial Neural Networks with Task-dependent Neural Manifolds

作者：Michael Kuoch, Chi-Ning Chou, Nikhil Parthasarathy, Joel Dapello, James J. DiCarlo, Haim Sompolinsky, SueYeon Chung

关键词：Computational Neuroscience, Neural Manifolds, Neural Geometry, Representational Geometry, Biologically inspired vision models, Neuro-AI

TL;DR：利用流形容量理论和流形对齐分析，研究和比较猕猴视觉皮层的表征和不同目标训练的DNN表征。

图片

12. An Adaptive Tangent Feature Perspective of Neural Networks

作者：Daniel LeJeune, Sina Alemohammad

关键词：adaptive, kernel learning, tangent kernel, neural networks, low rank

TL;DR：具有神经网络结构的自适应特征模型，对权重矩阵施加近似低秩正则化。

图片

13. Balance is Essence: Accelerating Sparse Training via Adaptive Gradient Correction

作者：Bowen Lei, Dongkuan Xu, Ruqi Zhang, Shuren He, Bani Mallick

关键词：Sparse Training, Space-time Co-efficiency, Acceleration, Stability, Gradient Correction

图片

14. Deep Leakage from Model in Federated Learning

作者：Zihao Zhao, Mengen Luo, Wenbo Ding

关键词：Federated learning, distributed learning, privacy leakage

图片

15. Cross-Quality Few-Shot Transfer for Alloy Yield Strength Prediction: A New Materials Science Benchmark and A Sparsity-Oriented Optimization Framework

作者：Xuxi Chen, Tianlong Chen, Everardo Yeriel Olivares, Kate Elder, Scott McCall, Aurelien Perron, Joseph McKeown, Bhavya Kailkhura, Zhangyang Wang, Brian Gallagher

关键词：AI4Science, sparsity, bi-level optimization

图片

16. HRBP: Hardware-friendly Regrouping towards Block-based Pruning for Sparse CNN Training

作者：Haoyu Ma, Chengming Zhang, lizhi xiang, Xiaolong Ma, Geng Yuan, Wenkai Zhang, Shiwei Liu, Tianlong Chen, Dingwen Tao, Yanzhi Wang, Zhangyang Wang, Xiaohui Xie

关键词：efficient training, sparse training, fine-grained structured sparsity, regrouping algorithm

TL;DR：本文提出了一种新颖的细粒度结构剪枝算法，它能在前向和后向传递中加速卷积神经网络的稀疏训练。

图片

17. Piecewise-Linear Manifolds for Deep Metric Learning

作者：Shubhang Bhatnagar, Narendra Ahuja

关键词：Deep metric learning, Unsupervised representation learning

图片

18. Sparse Activations with Correlated Weights in Cortex-Inspired Neural Networks

作者：Chanwoo Chun, Daniel Lee

关键词：Correlated weights, Biological neural network, Cortex, Neural network gaussian process, Sparse neural network, Bayesian neural network, Generalization theory, Kernel ridge regression, Deep neural network, Random neural network

图片

19. Deep Self-expressive Learning

作者：Chen Zhao, Chun-Guang Li, Wei He, Chong You

关键词：Self-Expressive Model; Subspace Clustering; Manifold Clustering

TL;DR：我们提出了一种「白盒」深度学习模型，它建立在自表达模型的基础上，具有可解释性、鲁棒性和可扩展性，适用于流形学习和聚类。

图片

20. Investigating the Catastrophic Forgetting in Multimodal Large Language Model Fine-Tuning

作者：Yuexiang Zhai, Shengbang Tong, Xiao Li, Mu Cai, Qing Qu, Yong Jae Lee, Yi Ma

关键词：Multimodal LLM, Supervised Fine-Tuning, Catastrophic Forgetting

TL;DR：监督微调导致多模态大型语言模型的灾难性遗忘。

图片

21. Domain Generalization via Nuclear Norm Regularization

作者：Zhenmei Shi, Yifei Ming, Ying Fan, Frederic Sala, Yingyu Liang

关键词：Domain Generalization, Nuclear Norm, Deep Learning

TL;DR：我们提出了一种简单有效的正则化方法，该方法基于所学特征的核范数，用于领域泛化。

图片

22. FIXED: Frustratingly Easy Domain Generalization with Mixup

作者：Wang Lu, Jindong Wang, Han Yu, Lei Huang, Xiang Zhang, Yiqiang Chen, Xing Xie

关键词：Domain generalization, Data Augmentation, Out-of-distribution generalization

图片

23. HARD: Hyperplane ARrangement Descent

作者：Tianjiao Ding, Liangzu Peng, Rene Vidal

关键词：hyperplane clustering, subspace clustering, generalized principal component analysis

图片

24. Decoding Micromotion in Low-dimensional Latent Spaces from StyleGAN

作者：Qiucheng Wu, Yifan Jiang, Junru Wu, Kai Wang, Eric Zhang, Humphrey Shi, Zhangyang Wang, Shiyu Chang

关键词：generative model, low-rank decomposition

TL;DR：我们的研究表明，在StyleGAN的潜在空间中，我们可以持续找到低维潜在子空间，在这些子空间中，可以为许多有意义的变化（表示为「微情绪」）重建通用的编辑方向。

图片

25. Continual Learning with Dynamic Sparse Training: Exploring Algorithms for Effective Model Updates

作者：Murat Onur Yildirim, Elif Ceren Gok, Ghada Sokar, Decebal Constantin Mocanu, Joaquin Vanschoren

关键词：continual learning, sparse neural networks, dynamic sparse training

TL;DR：我们研究了连续学习中的动态稀疏训练。

图片

26. Emergence of Segmentation with Minimalistic White-Box Transformers

作者：Yaodong Yu, Tianzhe Chu, Shengbang Tong, Ziyang Wu, Druv Pai, Sam Buchanan, Yi Ma

关键词：white-box transformer, emergence of segmentation properties

TL;DR：白盒transformer只需通过极简的监督训练Recipe，就能在网络的自我注意力图谱中产生细分特性。

图片

27. Efficiently Disentangle Causal Representations

作者：Yuanpeng Li, Joel Hestness, Mohamed Elhoseiny, Liang Zhao, Kenneth Church

关键词：causal representation learning

28. Sparse Fréchet sufficient dimension reduction via nonconvex optimization

作者：Jiaying Weng, Chenlu Ke, Pei Wang

关键词：Fréchet regression; minimax concave penalty; multitask regression; sufficient dimension reduction; sufficient variable selection.

29. WS-iFSD: Weakly Supervised Incremental Few-shot Object Detection Without Forgetting

作者：Xinyu Gong, Li Yin, Juan-Manuel Perez-Rua, Zhangyang Wang, Zhicheng Yan

关键词：few-shot object detection

TL;DR：我们的iFSD框架采用元学习和弱监督类别增强技术来检测基础类别和新类别中的物体，在多个基准测试中的表现明显优于最先进的方法。

图片

30. PC-X: Profound Clustering via Slow Exemplars

作者：Yuangang Pan, Yinghua Yao, Ivor Tsang

关键词：Deep clustering, interpretable machine learning, Optimization

TL;DR：在本文中，我们设计了一个新的端到端框架，名为「通过慢速示例进行深度聚类」（PC-X），该框架具有内在可解释性，可普遍适用于各种类型的大规模数据集。

图片

同时还有60篇「最新亮点」轨道中的论文，大家可以前往官网自行浏览：https://cpal.cc/spotlight_track/