腾讯优图和上交大新招，用公开知识给大模型升级，效果超赞

在人工智能领域快速发展的今天，大型语言模型（LLMs）的应用正逐渐成为推动行业创新的关键力量。然而，为了使这些模型在具体的影视制作环节中发挥出更大的价值，如何有效地对其进行任务特定的性能提升，成为了当前研究的重点。近期，一项由上海交通大学与腾讯优图实验室联合开展的研究，提出了一个新的开源增强知识框架，旨在通过自动提取公开数据中的相关知识，以更加高效地提升模型在特定任务上的表现。

这项研究不仅在性能上超越了现有的基线和最先进的（SOTA）方法，更为重要的是，它为人工智能领域内外提供了新的思路和技术路径，特别是在利用有限的标注数据和丰富的外部资源方面。

研究背景显示，尽管LLMs已经在多种任务和领域展现了强大的能力，但在实际应用中，尤其是涉及到高度专业化的内容创作时，仍然面临着一系列挑战。传统的模型微调方法往往需要大量的标注数据和高昂的计算成本，这在许多情况下是不现实的。与此同时，虽然开源社区提供了丰富的微调模型和指令数据集，但在实际应用中，如何高效地利用这些资源，特别是当面临少量标注样本时，仍是一个亟待解决的问题。

为了解决上述挑战，研究团队开发了一个基于K-shot有标签真实业务数据的开源知识增强框架。这一框架的核心在于，通过少量的真实业务数据，指导模型选择、数据筛选及模型融合等关键步骤，以实现对LLMs的定向任务增强。具体来说，团队首先构建了一个LoRA Bank，包含了从Huggingface精心挑选的38个具有代表性的指令数据集，这些数据集经过预处理和LoRA微调，形成了一个可供选择的预训练模型集合，为后续实验奠定了坚实的基础。

在此基础上，研究团队提出了K-shot引导的专家模型选择方法，通过综合考虑模型的推理困惑度、K-shot数据上的表现以及模型间的多样性，来筛选出最具潜力的模型组合。此外，团队还设计了一种相似性-多样性平衡的数据选择策略，确保所选数据既能与当前任务高度相关，又能保持足够的多样性，从而有效避免过拟合现象的发生。

最后，通过构建混合专家（MoE）模型结构，研究团队实现了对多个潜在有效LLMs的知识互补和协同优化，进一步提升了模型在特定任务上的表现。实验结果显示，与基线和其他SOTA方法相比，该研究提出的框架在多项任务上均取得了显著的性能提升。

这项研究不仅为LLMs在人工智能领域的应用开辟了新的道路，同时也为其他领域内的任务特定模型优化提供了宝贵的参考。未来，随着技术的不断进步和完善，我们有理由相信，类似的技术将为影视内容创作带来更多的可能性和创造力。