今天小编分享的科学经验：AI解决132年数学难题！Transformer成功寻找新的李雅普诺夫函数，三体问题相关，欢迎阅读。
训练 Transformer，用来解决132 年的数学世纪难题！
如何判断一个动力系统（如三体问题）是否稳定？Meta和巴黎理工学院团队携手提出 Symbolic Transformer，直指这一经典难题的核心：
发现新的全局李雅普诺夫函数。
从牛顿、拉格朗日到庞加莱，无数科学家倾力研究三体问题的长期稳定性，却始终无法给出一个通用的判定方法。
直到 1892 年，俄国数学家Aleksandr Lyapunov提出了以他名字命名的李雅普诺夫函数：
如果存在一个函数 V，其在平衡点处有严格最小值，在无穷远处为无穷大，且梯度始终指向远离系统梯度的方向，则全局稳定性得到保证。
但遗憾的是，李雅普诺夫只证明了这个结论，并没有提供寻找这个函数的方法。
130 多年过去了，科学界仍然不知道对于一般的系统该如何寻找李雅普诺夫函数，现有的算法只能求解非常小规模的多项式系统。
换句话说，李雅普诺夫函数的系统化构造方法，依然是一个悬而未决的数学难题。
现在，这一局面有望被 AI 打破。
研究团队把寻找李雅普诺夫函数构建成一种序列到序列翻译任务，问题和解决方案都表示为符号 tokens 序列，就能用上原本为机器翻译而生的 Transformer 模型了。
最终，在8 张 V100 上训练 100 个 GPU 时左右的模型，取得了惊人的成绩：
对于前人已解决的多项式系统，模型精度高达 84%，大幅领先人类专家的 9% 和此前 SOTA 算法工具。
面对随机生成的新多项式系统，模型成功找到了 10.1%-11.8% 的李雅普诺夫函数，而此前最好的算法工具只有 0.7%-1.1%。
重新发现了 Ahmadi 等在 2011 年首次给出的一个多项式系统的非多项式李雅普诺夫函数
相关论文已入选NeurIPS 2024，且刚刚在 ArXiv 公开。
作者 Meta 科学家 Fran ç ois Charto 表示，尽管 Symbolic Transformer 像其他 AI 模型一样还是一个黑盒系统，但它给出的李雅普诺夫函数是明确的符号表达式，完全可以经受数学证明的检验。
用 Transformer 解决数学难题，最大的困难是什么？
答案不难想到：缺少数据，特别是在这个场景中，需要动力系统与李雅普诺夫函数的配对数据。
为此，Meta 和巴黎理工团队利用了正向和反向数据生成相结合的策略。
正向数据生成，也就是根据多项式系统生成对应的李雅普诺夫函数。
虽然没有通用方法，但如果一个李雅普诺夫函数能表示成多项式的平方和，就有现存工具可以计算。
最终方法分为三步：
先随机生成一个多项式系统，
寻找是否存在平方和形式的李雅普诺夫函数，
如果存在则保留这个多项式系统，不存在回到步骤 1
不过这个方法有几个局限。
大多数对象是系统都不稳定，且计算平方和李雅普诺夫函数涉及复杂的搜索，系统规模的增长，对算力和内存需求会呈爆炸式增长，所以这种方法速度很慢且仅适用于小的多项式系统。
于是还需要配合反向数据生成方法，根据答案反向构造问题。
这种方法也存在几个局限，比如 AI 倾向于偷懒，从任务中学习更简单的子问题，因此也需要做出一些限制。
最终方法大致可以理解成，先随机生成一个满足特定条件的李雅普诺夫函数，再反向构造出与之匹配的动力系统。
最终团队生成了 4 个数据集：
BPoly，包含 100 万个反向生成的多项式系统与配对的李雅普诺夫函数，系统中的方程数量为 2 到 5 个不等。
BNonPoly，包含 100 万个反向生成的非多项式系统配对样本，现有算法通常无法处理这种类型的系统，非多项式李雅普诺夫函数的发现尤其具有挑战性
FBarr，包含 30 万个正向生成的 Barrier 函数配对样本，并不是严格的李雅普诺夫函数，用于测试模型在寻找不能严格满足李雅普诺夫正定条件的系统中的李雅普诺夫函数。
FLyap，包含 10 万个正向生成的标准李雅普诺夫配对样本，每个动力系统的李雅普诺夫函数都是非齐次多项式，
最终试验发现，在不同数据集上训练的模型都取得了很好的准确性。
使用Beam Search方法在宽度 50 时能给低性能模型带来额外 7%-10% 的提升。
特别是在后向数据训练集中添加少量前向生成数据示例，带来显著的分布外测试性能提升。
将 FBarr 中的 300 个示例添加到 BPoly 中，就能把 FBarr 准确率从 35% 提高到 89%。另外添加 FLyap 示例带来的改进较小。
与此前 SOTA 基线比较，在混合数据上训练的模型取得了最好的效果。
基于 Transformer 的模型也比 SOSTOOL 方法快得多。
当尝试求解具有 2 到 5 个方程的随机多项式系统时，SOSTOOL 的 Python 版本平均需要 935.2 秒。
Transformer 模型在贪婪解码时，一个系统的推理和验证平均需要 2.6 秒，而 Beam Search 宽度为 50 时，平均需要 13.9 秒。
研究的最终目标是发现新的李雅普诺夫函数，在随机生成的 2-3 个多项式、2-5 个多项式的数据集中，最佳模型发现了 11.8% 和 10.1% 的李雅普诺夫函数，是传统方法的 10 倍。
对于非多项式系统，模型发现了 12.7% 的李雅普诺夫函数。
这些结果表明，从合成数据集训练的语言模型确实可以发现未知的李雅普诺夫函数，并比此前最先进的传统算法求解器效果更好。
作者巴黎师范教授Amaury Hayat表示，几年前刚开始这个项目时，作为一个年轻而天真的数学家，他认为如果方法真的成功了，那简直可以算是黑魔法。
几年过去了，见识了 AI 的诸多成就，我对此已经理性得多了，但依然感觉……（不可思议）。
论文地址：
https://arxiv.org/abs/2410.08304
参考链接：
[ 1 ] https://x.com/f_charton/status/1846884416930402633
[ 2 ] https://x.com/Amaury_Hayat/status/1846889179780673853
