随着生成式人工智能（AI）技术的不断发展，首席信息官（CIO）们正在逐步将注意力转向更具商业价值的项目评估上。他们不仅关注于技术本身的成本，同时也对其潜在的优势进行了深入考量。这一趋势标志着与生成式AI早期阶段的显著不同，当时企业更多的是在探索技术的可能性，并尝试孵化众多的应用案例。如今，随着组织试图将这些初步尝试推广至更大范围的应用，建立强有力的商业案例变得愈发关键。企业正在寻求能够最大化投资回报率（ROI）的应用场景，并同时注意避免因生成式AI带来的额外开销削弱其财务效益。
这种转变使得生成式AI的发展路径与传统信息技术（IT）部署更为相似，即更注重财务原则和内部成本控制。正如来自美国亚利桑那州钱德勒市的解决方案集成商Insight Enterprises的北美首席技术官Juan Orlandini所言，去年，我们见证了诸多试验性质的项目，而今，生成式AI被视为一种实用的新功能，其实施同样需要传统企业应用所需的论证与投资回报分析。对于那些生成式AI团队规模较小、预算紧张的企业而言，这一点尤为重要。
位于美国北卡罗来纳州斯旺诺阿的在线保险科技公司Quility，其首席信息官Danielle Conklin分享道，她的团队只有两人，但他们并未止步于利用现有的大型语言模型，而是致力于开发专有的高级模型，初期的应用案例集中在客户服务与客户关系管理（CRM）上。然而，成本与投资回报始终是他们的核心考量因素。Conklin强调，要取得显著成果需要投入时间和资源，而小团队只能集中精力于少数几个能产生高回报的任务上。
除了人力成本外，还有其他方面的花费需要考虑，比如是否需要引入第三方服务提供商、数据清理工具及数据质量保障工具等。此外，模型的维护与更新也会产生长期的费用。在探讨生成式AI的成本时，IT领导者们可能会发现，实际开支往往超出预期。麦肯锡公司高级合伙人Aamer Baig指出，尽管生成式AI模型的启动成本相对较低，但其他隐藏的成本，如变更管理、数据准备等，可能会大幅增加项目的总成本。
以变更管理为例，对于生成式AI项目来说，其需求比传统IT项目更高。Baig表示，如今变更管理的成本可能达到开发成本的三倍之多。生成式AI不仅需要对工作流程、业务流程、政策和绩效指标进行调整，还需考虑诸如提示工程和AI专业培训等新的变革管理因素。Thoughtworks公司的首席AI官Mike Mason也强调了变革管理的重要性，尤其是在改变人类工作方式时。
Mason进一步指出，AI准备度是另一个需要纳入成本考量的因素，其中包括数据是否已准备好支持AI应用。数据必须易于获取，而非孤立存在于不同的存储环境中，并且在输入生成式AI系统前必须进行清洗处理。为了达到这一目标，IT部门可能需要进行基础设施升级，包括迁移到云端或采用现代数据平台。以Thoughtworks的一家生命科学客户为例，该公司通过部署数据网格，实现了临床前试验数据的统一管理，从而提高了数据的可访问性和利用率。
类似地，Quility也在其生成式AI工作中重视数据的作用，利用Snowflake作为企业数据仓库，并借助Apache Kafka的开源分布式事件流平台支持数据管道和集成。Conklin表示，公司希望成为一个数据驱动型企业，让员工在做决策时能够获得所需信息。然而，生成式AI应用的持续运营费用也可能成为影响投资回报的另一个不可预见的成本因素。
此外，生成式AI供应商对于大型语言模型API调用的定价机制，增加了成本预测的复杂性。基于代币的定价方式使得组织难以准确估计应用运行的实际成本，直到其真正上线。咨询公司EY的美洲技术、媒体和娱乐以及电信AI负责人Vamsi Duvvuri提到，虽然生成式AI模型如ChatGPT 40或Claude 3.5的价格近期有所下降，但成本的不确定性仍然是企业面临的一大挑战。
Duvvuri认为，目前多数成本模型在按需付费的情况下无法实现规模效益。尽管如此，他也指出了一些积极的趋势，如竞争性的定价策略和技术架构的进步有助于降低成本。为了优化生成式AI的单位成本，IT领导者应关注扩展AI系统的技术基础和功能模式，包括检索增强生成（RAG）和多模态链接，以提升模型的准确性和输出质量。
