人工智能领域正在迎来一场技术革新，而微软正悄然引领这一变革，计划在Office套件中融合国产开源大模型RWKV的消息不胫而走。
消息源起于RWKV官方的一则推文，透露了微软在其最新的Windows 11系统Office文件夹内集成了名为rwkv的DLL文件，涵盖了GPU与CPU两个版本。
进一步的技术分析显示，这些二进制文件实际上是源自GitHub上的RWKV.cpp项目的衍生版本。
普通用户可以通过更新Windows 11至最新版，或是在任何标记为“copilot Windows 11”的IT商店设备上查找系统文件中的rwkv字样来确认这一信息。
此消息一经曝光，立即在网络上掀起了广泛讨论，众多网民纷纷呼吁微软尽快给予RWKV应有的认可和支持。
微软将如何利用RWKV？
据RWKV团队推测，微软或将把RWKV应用于其正在试验的本地Copilot以及memory recall等功能上。
在早前发布的Copilot+PC产品中，微软强调新版Windows 11系统为AI应用进行了专门优化，许多功能实现即时响应。
为达成这一目标，微软重新设计了系统架构，将CPU、GPU与高能效神经处理单元NPU协同工作。
NPU的作用在于后台持续运行AI程序，Recall功能即AI对屏幕上的内容进行智能分类。
RWKV模型的一大优势在于其对多语言的支持，有助于全球化的部署，并且相较于传统的Transformer模型，它在运行时消耗的能量更少，适用于从高性能服务器到树莓派在内的多种设备。
图表显示，生成更多token所需的计算资源随着token数量的增长呈线性增加趋势，而在这一过程中，cuda_rwkv-4-pile-3b模型的性能表现尤为突出，表明其在GPU上的运行效率更高。
能耗管理对于延长设备电池寿命至关重要，这也是为何微软可能会选择RWKV的原因之一。尽管如此，微软的实际意图目前仍是未知数，RWKV团队表示会持续跟进。
RWKV简介
让我们简单回顾一下RWKV。这是一种新兴的模型架构，旨在改良RNN，以期挑战Transformer的地位。
RWKV的设计灵感源于苹果公司的一项研究——《An Attention Free Transform》，该研究揭示了通过使用循环矩阵（circular matrices）可以将网络结构转换为RNN形式。
与GPT系列的O(n^2)时间复杂度相比，RNN的时间复杂度仅为O(n)，且空间复杂度固定为O(1)。
这意味着生成内容的速度不会随着长度的增长而显著增加，内存占用也保持不变。
去年，RWKV的研究成果一经发布，便迅速引起了学术界的广泛关注。
RWKV的开创性论文由来自27所大学、研究机构及公司的30名研究人员合作完成。
共同作者之一彭博，毕业于香港大学物理系，拥有超过20年的编程经验，曾在世界顶级外汇对冲基金Ortus Capital担任高频量化交易职位。
他还撰写了一本有关深度卷积网络的书籍《深度卷积网络·原理与实践》，并公开表示对AIGC特别感兴趣，尤其在小说生成领域。
然而，他最为公众所知的身份是一家照明设备公司——禀临科技的联合创始人，该公司专注于生产阳光灯、吸顶灯及便携式台灯等产品。
此外，彭博似乎还是一个猫咪爱好者，无论是他的社交媒体账号还是公司的官方网站上，都能看到橘猫的身影。
今年，RWKV团队发布了两款新架构模型：Eagle (RWKV-5) 和Finch（RWKV-6)，它们在多头矩阵值状态（multi-headed matrix-valued states）和动态递归机制（dynamic recurrence mechanism）上做出了改进，提升了模型的表现力，同时保持了RNN的高效推理特性。
同时，新架构还引入了一个涵盖1.12万亿个token的多语言语料库，并基于贪婪匹配算法开发了一种快速分词器，以增强RWKV的多语言处理能力。
