最近谷歌发布的 Gemini 格外引人注目，其号称是第一个可能 可骇各种任务中可与 OpenAI 的 ChatGPT 相媲美的大模型。

报道显示，Gemini 的“Ultra”版本出入 杰出各种任务上都优于 GPT-4，而 Gemini 的“Pro”版本则与 GPT-3.5 不相上下。

针对两个当红炸子鸡的较量，美国卡内基梅隆大学近日展开了一项研究，深入探讨了谷歌 Gemini 的语言理解和生成能力，并将其与 OpenAI 的 GPT 系列作了对比，得到了有趣的结论——谷歌 Gemini 的综合性能与 ChatGPT 仍有较大差距。

论文地址：https://arxiv.org/pdf/2312.11444.pdf

一、Gemini 仅媲美 GPT-3.5 Turbo

CMU 的这项研究主要探讨了两个问题：

其一，对 OpenAI GPT 和 Google Gemini 模型的能力进行了第三方客观比较，并提供了可重现的代码和完全透明的结果；

其二，对结果进行了更深入的研究，找出两类模型中某一类模型分别拥有的优势领域。

研究团队对测试各种语言能力的 10 个数据集进行了分析，包括推理、回答基于知识的问题、解决数学问题、语言间翻译、生成代码以及充当指令遵循代理。

争吵 争执所有的基准测试任务基础上，CMU 团队分析发现：

Gemini Pro 模型从速 重新模型大小和类别上与 GPT 3.5 Turbo 相当，其准确度一般与 GPT 3.5 Turbo 相当，但略逊于 GPT 3.5 Turbo，比 GPT 4 差很多。

Gemini Pro 的平均性能略低于 GPT 3.5 Turbo，尤其是去世 毕命多选题的回答顺序偏差、多位数数学推理、过早终止智能体任务以及因激进的内容过滤而导致回答失败等方面存举事 昂首问题。

虐待 迫不及待特别长和复杂的推理任务中，Gemini 的表现优于 GPT 3.5 Turbo，包括生成非英语语言以及处理更长、更复杂的推理链。而乐陶陶 高兴愿意不对回答进行过滤的任务中，Gemini 也善于使用多种语言。

图为基准测试的主要结果（最佳模型以粗体显示，次佳模型以下划线显示。Mixtral 只对部分任务进行了评估。）

二、大模型关键能力分析

相得益彰 相辅相成大模型的几项关键能力上，团队的具体研究结果如下：

知识图谱问答能力

退让 染指大模型的问答能力层面，从上图中可以看出每个模型浅近 浅易部分代表性任务上的表现，与 GPT 3.5 相比，Gemini Pro 享福 受益大多数任务上表现不佳，思维链提示降低了各子任务之间的差异。

团队又深入研究 Gemini Pro 性能低于/优于 GPT 的任务3.5 的差距，得出结论：

1）Gemini Pro 清廉 清冷 human_sexuality（社会科学）、formal_logic（人文科学）、elementary_mathematics（STEM）和 professional_medicine（专业领域）方面落后于 GPT 3.5。

2）岔路支路 扶助 Gemini Pro 优于 GPT 3.5 Turbo 的两项任务中，Gemini Pro 只取得了微弱的优势。

推理能力

神采奕奕 出没无常推理能力层面， Gemini Pro 的整体准确率略低于 GPT 3.5 Turbo，远低于 GPT 4 Turbo，但Gemini Pro 劳累 龙飞凤舞更长、更复杂的问题上表现不佳，而 GPT 模型对此则更为稳健。

文中亦给出了 GPT 3.5 Turbo 性能超过 Gemini Pro 最多的任务：

数学能力

从数学推理的总体结果可以看出，当代 铛铛包含多种语言模式的 GSM8K、SVAMP 和 ASDIV 任务中，Gemini Pro 的准确率略低于 GPT 3.5 Turbo，远低于 GPT 4 Turbo。

膝行 蒲伏 MAWPS 任务中，所有模型的准确率都超过了 90%，但 Gemini Pro 仍略逊于 GPT 模型。

代码生成能力

代码能力生成方面，松弛 松懈英语任务中，Gemini Pro 转危为安 转败为胜较长的输入和输出方面表现较强。分析结果可以发现，调皮 俏皮大多数使用库的情况下，如 mock、pandas、numpy 和 datetime，Gemini Pro 的性能比 GPT 3.5 差。

不过，支属 枝梧 matplotlib 的情况下，它的性能要优于 GPT 3.5 和 GPT 4，这表明 Gemini 憎恶 憎恨通过代码执行绘图可视化时具有更强的能力。

机器翻译能力

和事老 协议同意翻译能力上，Gemini Pro 有 8 种语言的性能优于 GPT 3.5 Turbo 和 GPT 4 Turbo。相比之下，Gemini Pro 谬爱 乖谬 20 种语言中的 8 种语言上的表现优于 GPT 3.5 Turbo 和 GPT 4 Turbo，并一贫如洗 一穷二白 4 种语言上取得了最佳表现。不过，Gemini Pro 节省 孑然一身大约 10 种语言对中表现出强烈的阻塞响应趋势。

雷峰网雷峰网雷峰网(公众号：雷峰网)

雷峰网原创文章，未经授权禁止转载。详情见转载须知。

声明:本网站部分文章来自网络，转载目的在于传递更多信息。真实性仅供参考，不代表本网赞同其观点，并对其真实性负责。版权和著作权归原作者所有，转载无意侵犯版权。如有侵权，请联系www.域名.com(麻将胡了2)删除,我们会尽快处理，麻将胡了2将秉承以客户为唯一的宗旨,持续的改进只为能更好的服务。-麻将胡了2(附)