OpenAI的最新模型o1在逻辑推理能力方面树立了新的标杆——
随着训练过程中计算量的增加以及测试时更充裕的思考时间，o1已经达到了当前逻辑推理能力的巅峰。
特别是在北京大学的一项评估中，小型版的o1-mini模型表现甚至优于o1-preview版本：
这表明了一种全新的思路和可能性——
通过专注于增强小模型的推理能力，而减少其内置的世界知识量。
对此，OpenAI的研究员赵盛佳表示：
然而，随之而来的问题是：
如果想要AI同时具备高阶推理能力和广博的知识储备，该如何解决？
因此，技术焦点又转向了大模型与RAG（Retrieval-Augmented Generation）的结合。
向量数据库使得大模型能够迅速检索并处理大量向量数据，为模型提供了更加丰富和精准的信息来源，从而提升了整体性能及应用范围。
这种组合让大模型拥有了“良好的记忆”，减少了回答问题时的不准确性。
此外，随着小模型专业化趋势的发展，对RAG中的向量数据库提出了更高的要求：
一方面，由于小模型自身携带的知识有限，对外部知识存储和检索的质量需求更高；另一方面，随着AI应用的加速落地，在多用户、高并发场景下，整个系统需要更高的性能支持。
在此背景下，行业领导者们正着眼于开发更为强大的分布式向量数据库。
作为向量数据库领域的佼佼者，星环科技携手英特尔推出了一套新方案：
通过高性能的数据中心CPU与搭载酷睿™ Ultra处理器的人工智能个人电脑相结合，并配备优化后的分布式向量数据库，提供了一个既经济又通用的解决方案，有效解决了企业部署大型模型时面临的瓶颈。
正如之前提到的，RAG的关键在于外挂的专业知识库，这个库必须包含能够准确解答问题所需的专业知识和规则。
构建这样的知识库通常采用向量数据库、知识图谱或是直接集成ElasticSearch数据等方式。
鉴于向量数据库能高效处理高维向量检索并与大模型良好匹配，它已成为主流选择。
向量数据库擅长高效地存储、处理和管理经过向量化转换的数据。
如上所述，数据向量化过程利用了诸如词嵌入模型和卷积神经网络等先进技术。
这些技术可以将文本、图像、音频视频等多种形式的数据转化为向量，并存入向量数据库中。
向量数据库的查询则是基于计算向量间的相似度来实现。
星环科技推出的创新产品无涯·问知Infinity Intelligence，正是基于这一技术。
这款产品依托于星环的大模型架构，整合了个人、企业级知识库，法律规章，财经信息等多种资源，旨在为企业提供垂直领域的智能化问答服务。
例如，对于“国家大基金三期投资领域”这样专业性极强的问题，无涯·问知不仅能够给出答案，还能展示相关信息图表和关键点：
并且能够以图文并茂的方式呈现答案：
上传本地视频文件后，无涯·问知也能快速生成摘要：
总体而言，无涯·问知支持用户上传文档、表格、图片、音视频等多种格式的数据，实现大规模多模态知识的检索与智能问答。
在企业层面，构建好企业知识库之后，员工可以通过该平台进行知识共享和协作交流。
除此之外，无涯·问知还内建了交易所交易规则、监管要求等法律法规知识，帮助用户了解特定条款的风险预警及应对策略。
它还包含了丰富的上市公司财务报告和产业链分析，为金融机构提供全面的投资研究工具。
即使是在金融、法律等行业，对于时效性和隐私保护有严格要求的情况下，星环也推出了无需联网的无涯问知AI PC版，可在配置了英特尔® 酷睿™ Ultra处理器的标准PC上流畅运行。
它拥有强大的本地向量库，支持多种文件格式入库，具备多模态数据的“知识化”处理能力，极大地扩展了知识获取和应用场景。
无涯·问知是星环知识平台Transwarp Knowledge Hub的重要组成部分，为用户提供从人工智能基础设施到大数据和AI应用研发的一整套解决方案。
值得注意的是，TKH同样提供了AI PC版本，基于本地大模型技术，能够迅速响应用户的各类提问，同时保障用户数据的安全。
AI PC版星环大模型知识库允许用户根据需要选择本地或远程的大模型处理问题，灵活应对不同的需求。
这一系列产品之所以能够在云端和本地都表现出色，离不开星环自主研发的核心技术。
首先是基于星环自研的Hippo向量数据库的索引技术，它能够在海量数据中快速召回相关联的信息，提高了检索效率。
其次是图计算框架的应用，使大模型能够深入理解实体间的关系，进行深层次的关联分析。
在数据源方面，涵盖了官方新闻、门户网站、自媒体财经等超过1600个信息渠道，包括了市场上的宏观指标、价格指数以及大部分新闻内容。
面对日益增长的数据规模，数据压缩和算力提升成为了大模型玩家的重点关注领域。
星环科技与英特尔合作，从终端设备到数据中心和云端，共同推动了软硬件协同优化，为大模型的应用落地提供了坚实的支撑。
事实上，向量数据库与CPU的结合已经成为行业的共识。
第五代英特尔® 至强® 可扩展处理器带来了面向AI时代的更新特性，比如更大的高带宽内存容量和AMX加速引擎，显著提升了向量数据库的性能。
对于云部署版本，使用第五代至强® 处理器的星环Transwarp Hippo性能相比前一代提升了2.07倍。
至于本地AI计算能力是否足够支持企业在AI PC上运行大模型，星环给出了肯定的答案。
自AI PC问世以来，其AI算力提升了超过200%，而能耗却降低了50%。
这一成就得益于英特尔® 酷睿™ Ultra系列处理器的升级。
最新的酷睿™ Ultra 200V系列处理器让AI PC平台的最大算力可达120 TOPS，尤其是第四代NPU的性能提升了四倍，非常适合持续运行AI工作负载。
在软件层面上，英特尔与星环的合作还包括了数据库底层的性能优化。
通过水平扩展架构、基于CPU的向量化指令优化以及多芯片加速等手段，优化后的Transwarp Hippo能够处理海量、高维度的向量数据，并且保持低延迟和高精度。
同时，这也提升了服务器节点的性能密度，降低了每单位性能的能耗成本，从而减少了总体拥有成本 (TCO)。
随着像o1系列这样的大模型不断推陈出新，对支撑它们运行的基础设施数字化融合的需求变得愈发迫切。
CPU在这一进程中扮演着至关重要的角色。
英特尔提供的基于CPU的解决方案不仅成本效益高，而且能够满足端侧和云端的不同算力需求。
展望未来，存储与计算的一体化将成为明显趋势。
在这个智能融合的时代，CPU作为连接存储、网络和其他加速器的关键纽带，其重要性将进一步凸显。
为了让更多人了解CPU在AI推理新时代的作用，《最“in”AI》专栏将从多个角度解读如何利用CPU提升大模型应用的性能和效率。
