在人工智能领域，一项关于Transformer模型的新研究揭示了其在解决复杂问题方面的巨大潜力。斯隆奖得主马腾宇与Google Brain推理团队创始人Denny Zhou的合作，证明了只要思维链（CoT）足够长，Transformer便有可能解决几乎所有问题。
他们的研究显示，通过数学手段，可以证实Transformer具备模拟任何多项式大小的数字电路的能力，这项发现已经得到了ICLR 2024的认可。网友们纷纷评论说，这一进展使得Transformer向着图灵完备迈出了重要一步。
这意味着，理论上，神经网络可以有效地处理复杂的计算任务。
简单来说，就是计算能力决定了问题解决的可能性。
CoT增强了Transformer的表现力。具体来说，研究者们通过理论分析发现，对于固定深度和多项式宽度的Transformer模型，如果没有CoT的支持，其表现力将受到限制。然而，当引入CoT后，这些模型可以解决由大小为T的布尔电路所解决的问题。
为了验证这一理论，研究人员在四个关键问题上进行了实验，分别是模运算、置换群组合、迭代平方以及电路值问题，实验结果均证明了CoT在提升模型表现力方面的重要性。
例如，在处理模运算时，尽管所有设置下的Transformer都能学习模加法，但在较长序列上，CoT表现出明显优势。而在处理序列化计算的置换群组合任务时，CoT显著提升了低深度模型的准确性，即使是单层Transformer也能达到完美的学习效果。
对于迭代平方任务，CoT同样显示出了非凡的能力，即使是单层Transformer也能完美地解决这一问题。
最后，在电路值问题上，实验结果表明，使用CoT后，单层Transformer便能达到接近100%的准确率，证明了CoT赋予了Transformer模拟电路的能力。
此外，研究者们还证明了，通过利用CoT，常数深度的Transformer可以模拟任意大小的电路。具体做法是将电路“展开”成一个长度为O(T(n))的思维链，从而逐步执行电路中的计算。
这一理论成果表明，CoT+Transformer模型能够在理论上解决可计算问题，且无需扩展模型尺寸即可应对复杂问题。
尽管如此，一些观察家指出，这项研究目前仍处于理论阶段，实际应用还需克服许多挑战，比如时间和成本问题，以及将实际问题转化为电路形式的难度。
不过，这项研究至少揭示了CoT的巨大潜力，为未来的人工智能发展奠定了坚实的理论基础。
