您的位置：首页 > 理财 >

第一个超越ChatGPT的开源模型来了？然而网友并不买账|全球信息

来源：哔哩哔哩时间：2023-07-05 16:27:01

开源模型真的可以超过 ChatGPT了吗？

大模型火了起来，每天我们都能看到各种「大」新闻。

今天，又来了个 大新闻：新开源的一个大模型超越了 ChatGPT。具体是什么呢？OpenLLM是一系列在极小、多样且高质量的多轮对话数据集上进行微调的开源语言模型。这两日，作者们更新了该系列模型，并宣称：OpenChat 模型在 AlpacaEval 上获得 % 的胜率；在 Vicuna GPT-4 评估上，性能达到 ChatGPT 的 105%！也就是上面推特截图中，两位博主宣称的开源模型超越 ChatGPT/。OpenLLM 的特色是基于 LLaMA 开源模型，在只有 6,000 个 GPT4 对话的数据集上进行微调，从而达到非常好的效果。此次更新的模型型号与评审结果如下：


【资料图】

· OpenChat：基于 LLaMA-13B，上下文长度为 2048。

· 在Vicuna GPT-4 评估中达到 ChatGPT 分数的 % 。

· 在 AlpacaEval 上达到 % 的胜率。

· OpenChat-8192：基于 LLaMA-13B，扩展上下文长度为 8192。

· 在 Vicuna GPT-4 评估中达到 ChatGPT 分数的 % 。

· 在 AlpacaEval 上实现 % 的胜率。

也就是说，两个模型在 Vicuna GPT-4 评估榜单上结果都超越了 ChatGPT。但这种评审 + 宣传的方式似乎并不被大家认可。网友：夸张在 Twitter 讨论中，有网友表明，这就是夸张的说法。在此「大」新闻公布后，Vicuna 官方也迅速做出了回应。实际上，Vicuna 的测试基准已被弃用，现在使用的是更高级的 MT-bench 基准。该基准的测试，有着更加具有挑战性的任务，并且解决了 gpt4 评估中的偏差以及限制。在 MT-bench 上，OpenChat 性能表现与 wizardlm-13b 相似。也就是说，开源模型与 仍然有着一定差距。这也正是 MT-bench 所强调的内容 —— 开源模型不是完美无缺的，但是这将迈向更好的聊天机器人评估。

评估还表明，在任何给定的评估中，最佳模型的平均性能达到 ChatGPT 的 83%、GPT-4 的 68%，这表明需要进一步构建更好的基础模型和指令调优数据以缩小差距。

标签：

相关阅读

推荐阅读

第一个超越ChatGPT的开源模型来了？然而网友并不买账|全球信息

第一个超越ChatGPT的开源模型来了？然而网友并不

开源模型真的可以超过ChatGPT了吗？大模型火了起来，每天我们都能看到更多

2023-07-05 16:27:01
2023年7月5日植物油酸价格最新行情预测-即时

2023年7月5日植物油酸价格最新行情预测-即时

中国报告大厅2023年7月5日植物油酸价格最新走势监测显示：山东宏洋化学更多

2023-07-05 15:14:31
吉他泛音教学视频（吉他泛音）-全球快看点

吉他泛音教学视频（吉他泛音）-全球快看点

1、理论上来说，弦的二等分、三等分、四等分都可以发出泛音，但是在吉更多

2023-07-05 13:54:51
工业母机板块震荡走低 德恩精工跌近10%

工业母机板块震荡走低 德恩精工跌近10%

工业母机板块震荡走低，德恩精工跌近10%，科力尔、伊之密、合锻智能、更多

2023-07-05 13:17:14
西安市教育局提醒 天天快播报

西安市教育局提醒 天天快播报

西安市中小学、幼儿园将于7月5日起放暑假。为确保孩子们度过一个安全、更多

2023-07-05 12:09:55
穷“洼里”迈上现代农业“高地”

穷“洼里”迈上现代农业“高地”

种韭菜还能用上区块链？去年以来，在山东省潍坊市坊子区坊安街道的十里更多

2023-07-05 11:03:33
浪漫的骑士

浪漫的骑士

1、《浪漫的骑士》是1995年中国文联出版公司出版的图书。2、作者是洪烛更多

2023-07-05 10:07:36
config文件夹能删除吗_config是什么文件夹可以删除吗简介介绍

config文件夹能删除吗_config是什么文件夹可以删

对于config是什么文件夹可以删除吗这个问题感兴趣的朋友应该很多，这个更多

2023-07-05 09:56:04
+ 点击查看更多精彩

热门标签

精彩放送

    今日必看
    热门精选

24小时

一周
太原12个楼盘发放18张预售证 仅有3个项目为纯新盘
    今年9月，太原市房产管理局给省城12个楼盘正式发放了18张预售证。...
截至9月底 杭州共完成不动产登记988.72万件
    房产证、土地证，两证合一了!2016年6月1日，在市民之家举行的全市...
各地继续密集发布楼市宽松政策 多地支持农民进城购房
    近期以来，各地继续密集发布楼市宽松政策，其中包括长春、遵义多...
宁波：关于“带押过户”新模式的7个典型问题权威解答来了
    日前，宁波市不动产登记中心试点二手房带押过户新模式。新模式下...
多地政府大手笔回购商品房 苏州拟对10个板块回购约1万套新房
    越来越多的地方政府出手回购当地商品房。近日，一份苏州市政府部...
市场降温豪宅不冷 媒体:北上广深掀起“豪宅热”
    尽管整体市场低迷，但豪宅板块比较稳定。争取成交，忙完这一次，...
    精彩话题
    最新见闻