英伟达微调Llama3.1模型，仅凭700亿个参数击败GPT-4o 和 Claude 3.5 Sonnet

英伟达日前发布最新AI模型Llama-3.1-Nemotron-70B-Instruct，性能超越业界领先的OpenAI 的GPT-4o 跟Anthropic 的Claude3.5，仅次于OpenAI发布的最新模型o1，此举意味着AI领域竞争格局的重大变化。

Nemotron模型基于META的 Llama3.1 70B，是英伟达为提高LLM生成的响应的帮助程度而定制的大型语言模型。英伟达使用微调结构化数据来控制模型，使其生成更有帮助的响应。该模型仅700亿个参数，但性能远超其重量级。英伟达声称，该模型击败了OpenAI 的 GPT-4o 和 Antrophic 的 Claude 3.5 Sonnet，它们是目前 AI 基准测试中的领导者。

该语言模型使用人类反馈强化学习 (RLHF) 进行训练，具体采用了REINFORCE算法。对Meta的开源Llama 3.1模型进行优化。这种方法使AI能从人类的偏好中学习，可能会带来更加自然和符合语境的回应。

英伟达发表新模型标志着AI系统开发的竞争进入新的阶段，其举动将刺激其他科技公司重新考虑他们的策略，并加速研发进程。