Transformer八子中最年轻的Aidan Gomez在最新访谈中分享：
作为AI领域变革者之一的谷歌版Aidan Gomez，如今已是估值高达55亿美元的Cohere公司的联合创始人兼首席执行官。（Cohere此前推出了Command R系列开源大模型）
在这次与20VC主持人Harry Stebbings的深度对话中，Aidan Gomez畅谈了AI行业的未来趋势。
其中，几个关键话题引起了广泛关注与热烈讨论，例如：
模型性能提升并非仅依赖规模扩大单纯售卖模型难以与OpenAI竞争AI创业公司应避免过度依赖云服务商预测机器人领域将在5年内迎来重大突破数据质量对于模型而言至关重要更多细节，请参阅以下文字版分享：
超越算力，数据与模型创新同样关键
Q：在开始之前，我想了解一下，你小时候是否喜欢玩游戏呢？
Aidan Gomez：我喜欢游戏，从小就对科技感兴趣。
Q：那么你不会选择从一款游戏的最难关卡开始挑战，让别人觉得“这根本不可能完成，我放弃了”。
Aidan Gomez：没错，这在机器学习中被称为“课程学习”。首先教会模型做一些非常简单的事情，然后逐渐增加难度，建立在其已学知识之上。
有趣的是，在机器学习中，这种方法实际上并未得到广泛应用。我们常常把最难和最简单的内容一起呈现给模型，让它自己摸索。
而对于人类来说，课程学习却是非常有效的学习方式。看到这种方法在机器学习中未见成效，确实挺有趣的。
Q：你提到将所有内容直接抛给模型，那么是否只要提供更多的计算能力，模型性能就会随之提升？除了规模，是否有其他因素限制了性能的提升？
Aidan Gomez：确实，增加计算能力和模型规模会让模型表现得更好。这是提高性能最稳妥的方法，但也最不经济。
对于资金充裕的人来说，这是一种风险较低的策略。只要扩展模型规模，投入更多资金购买计算资源，就能看到性能提升。虽然我知道这样可行，但认为这样做效率低下。
在过去一年半的时间里，从ChatGPT发布到GPT-4问世，后者据说拥有1.7万亿参数，是一个庞大的多专家模型（MoE）。
而现在我们已经有了性能更优的模型，参数量仅为130亿。这种进步速度和成本下降程度令人难以置信。
因此，可以通过扩大规模来提升模型性能，但不一定是最优选择。
Q：这样的进步还能持续吗？我们是否将继续看到规模上的突破？还是会遇到某种瓶颈？
Aidan Gomez：确实需要持续的指数级投入才能维持模型智能的线性增长。但这种增长可能会持续很长一段时间。
模型会变得越来越聪明，但也会遇到经济限制。最初版GPT-4的购买者并不多，尤其是企业用户，因为其体积庞大、价格昂贵、运行效率低下，智能程度与成本不成正比。
因此，市场上存在压力，促使模型变得更小、更高效，通过数据和算法创新而非仅仅依赖规模扩大来提升模型性能。
Q：在我们生活的世界中，是否会有一些高度专业化的小型模型，同时也会出现几个占据主导地位的大型模型？还是会两者并存？
Aidan Gomez：近年来的趋势显示，人们倾向于使用一个通用的智能模型来进行原型设计。他们不想用特定模型进行原型设计，也不想花费时间对其进行微调以使其在特定领域表现出色。
他们倾向于选择一个昂贵的大模型进行原型设计，验证其任务完成能力后，再将其转化为一个在特定领域表现优异的高效模型。因此，这种模式已经形成。
因此，我们将继续生活在一个多模型共存的世界中，既有垂直化、专注的模型，也有横向的通用模型。
Q：面对OpenAI花费30亿美元的巨大投入，除非你是微软、亚马逊、谷歌或Facebook这样的巨头，否则如何在竞争中保持自己的位置？
Aidan Gomez：如果仅依赖规模化的策略，确实需要成为这类大公司或其子公司。但是，还可以通过数据创新和模型创新等其他方式寻求突破。
Q：你能详细解释一下数据创新和模型创新吗？
Aidan Gomez：几乎所有开源领域的重要进展都源自数据质量的改善。通过改进网页抓取算法、解析网页内容、提取有价值的信息，并赋予这些内容更高的权重，因为互联网上存在大量冗余和无用信息。
此外，通过生成合成数据，即无需人类参与即可获取大量文本或网页内容，这些数据由模型自动生成。
这些创新，特别是提高数据质量的能力，推动了当前大部分进展。
Q：那么模型创新又涉及哪些方面呢？
Aidan Gomez：这包括新的强化学习算法和技术，如搜索解决方案的方法。
当前模型的局限在于需要立即给出答案，这对模型来说是一个极高的要求。与之相反，人类需要时间来思考和处理问题。
因此，模型发展的下一步是让它们有能力思考和解决问题，允许它们犯错、尝试、失败，然后从中学习。
Q：你提到的解决问题，这是否与推理能力有关？
Aidan Gomez：是的，二者密切相关。
Q：为什么推理能力如此难以实现？为什么我们现在还没有掌握推理能力？
Aidan Gomez：推理本身并不难，难点在于我们缺乏展示推理过程的训练数据。互联网上主要是推理的结果，而不是推理的过程。
人们在网络上分享结论而非思考过程，而这正是我们需要训练数据的地方。
Q：那么你如何看待与OpenAI的用户生成内容计划竞争？
Aidan Gomez：这确实是一个挑战，尤其是在企业领域。客户非常重视数据隐私和保密性。
因此，我们转向合成数据，并投入大量资源于此。我们还组建了一个专门的注释团队并与Scale AI合作。
我们专注于满足特定领域的需求，如自动化财务和人力资源功能。这使我们能够更深入地了解和满足这些特定需求。
Q：合成数据市场将如何发展？它会被少数几家供应商主导吗？
Aidan Gomez：当前的大模型API市场主要由合成数据驱动。大多数人使用大型模型生成数据，以优化更小、更高效的模型。
这种模式的可持续性尚待观察，但我相信，随着新任务和数据需求的不断涌现，无论是来自模型还是人类，我们都必须适应并满足这些需求。
Q：你如何看待模型价值的下降？这是否是一场竞相降价甚至免费的竞争？
Aidan Gomez：如果你只售卖模型，那么在接下来的一段时间里，这将是一场非常艰难的竞争。这不会是一个小市场。
Q：会有很多人只卖模型，还有一些人会卖模型以及其他东西。
Aidan Gomez：Cohere目前只卖模型。我们提供一个API，用户可以通过该API访问我们的模型。
但这种情况很快就会改变。产品阵容将会扩展，我们会在现有基础上增加新的功能和服务。如果你只卖模型，情况会很困难，因为这将成为一个低利润的业务，价格竞争十分激烈。
尽管如此，它仍然会是一项大业务，市场需求增长迅速。但从短期来看，利润将非常薄。
这就是为什么在应用层面有很多兴奋点。市场上的讨论是正确的，指出价值正在芯片层以下发生，因为一开始每个人都在芯片上投入大量资金来构建这些模型，然后在应用层面上看到价值的体现，比如ChatGPT，它按用户收费，每月20美元。
Q：现在很多人认为初创公司进入AI模型领域已经太晚了。然而，随着成本壁垒的降低，这是否反而让初创公司更容易进入这一领域？
Aidan Gomez：确实，构建去年模型的成本每年都会下降10倍甚至100倍。但问题是，没人真正关心那些过时的模型。
每次技术进步都会迅速淘汰旧技术，AI开发的成本正在急剧上升。
开发一个新模型可能需要30亿美元，更新它甚至可能需要50亿美元。这种增长不再是线性的，而是呈数量级变化。
Q：你认为AI创业公司是否会成为云服务提供商的附属公司？
Aidan Gomez：我认为这个领域确实会经历一次整合，许多模型开发者已经被大型云服务提供商如Amazon吸纳。
我相信未来这种情况还会增多。但成为云服务提供商的附属公司可能会带来风险，对于业务发展来说，这并不是一个理想的局面。
Q：没有任何东西能取代人类，对吗？
Aidan Gomez：确实如此。没有任何东西能取代人类。AI会增强人类的能力，使人类变得更加高效，但这并不意味着工作岗位会减少。
Q：你认为AI的下一个大突破将出现在哪个领域？
Aidan Gomez：我认为AI的下一个重大突破将出现在机器人领域。成本需要进一步降低，但成本已经在下降。我们需要更强大的模型。
Q：为什么你认为机器人领域将会有大的突破？
Aidan Gomez：因为很多障碍已经消失。通过使用基础模型和语言模型，人们实际上开发出了更好的规划者，它们能够更自然地推理世界。
Q：数据质量的重要性不容忽视，对吗？
Aidan Gomez：是的，数据质量至关重要。一个错误的例子就能对模型产生显著影响，每个人都低估了这一点。
以下是插图，形象地展现了Aidan Gomez在访谈中所谈及的AI未来愿景：
回到访谈内容：
Q：今天和你聊天真的很有意思。我想进行一个快问快答，我给出一个陈述，你立刻给出你的想法
在过去的12个月里，你对什么改变了最大的看法？
Aidan Gomez：数据的重要性。我严重低估了它。在Cohere内部发生的许多事情彻底改变了我对构建这项技术的重要性因素的理解。
Q：到目前为止，你们公司共筹集了多少资金？
Aidan Gomez：大约10亿美元。
Q：哪一轮筹资最容易？
Aidan Gomez：可能是第一轮。那时就像一场简单的对话，他们说：“给你几百万美元，试试吧。” 所以我觉得那轮融资相当轻松。
Q：筹集5亿美元时，过程肯定更复杂。当你看到5亿美元到账时，是不是有点难以置信？
Aidan Gomez：确实有点。比如每年2500万美元，虽然具体数字我不确定，但这确实是一大笔钱。Cohere改变了我对经济和金钱的看法，现在5亿美元对我来说已经不算什么大数字了。
Q：这让你感到担忧吗？
Aidan Gomez：不，这是我们战略的一部分。如果我们愿意接受那样的条件，我们可以接受。但我们的战略是保持独立，自主发展。
Q：如果你能选择任何一位世界级的董事会成员，你会选谁？
Aidan Gomez：Mike Volpi和Jordan Jacobs，他们现在是我的董事会成员。
Q：为什么你觉得Mike是个优秀的董事会成员？
Aidan Gomez：Mike非常出色，他似乎经历过一切。我可以向他请教几乎任何问题，他都有过类似的经历，并能给出宝贵建议。
Q：Jeff Hinton和Yann LeCun，你更倾向于谁？
Aidan Gomez：肯定是Jeff，我和他的私人关系更亲密。
Q：你认为Yann过于乐观了吗？
Aidan Gomez：不，我更赞同Yann对AI的看法。Jeff更偏向于末日预言，而Yann则更乐观。虽然Yann现在有点像Elon Musk的“回复哥”，但Jeff确实是个聪明且有思想的人。
Q：最后一个问题，你觉得你从未被问过但应该被问的问题是什么？
Aidan Gomez：人们总是问我技术的未来和潜在风险，但很少讨论技术带来的机会。
Q：那你希望技术的未来走向何方？
Aidan Gomez：我认为我们应该利用技术提高世界生产力，增加供应并使事物变得更丰富、更便宜。生产力可能听起来不太吸引人，但如果将5%的生产力提升应用于NHS（英国国家医疗服务体系）。
这将对国家状况、预算和数百万人的生活产生重大影响。所以我认为我们的首要任务应该是提高生产力和增长。
视频地址：https://www.youtube.com/watch?v=FUGosOgiTeI
