在中文能力方面,阿里云刚刚发布了通义千问2.5,赶超GPT4.0。最新的开源模式也发布了Qwen1.5-110B,参数1100亿。在开源的道路上,阿里将坚持下去。
最近开始招生,广州市各区教育局陆续发布招生规则。我们只是测试了解读阿里通义千问文档的能力。同时,我们还带来了国内另一家闭源巨头百度,以长文本处理著称的Kimi进行了一场三国演义,对比了这三家公司根据文档对话的能力。
本次分析的文档如下:
《天河区义务教育2024年学校招生工作细则》
![大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第1张 大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第1张](https://www.yuneu.com/zb_users/upload/2024/05/20240510203247171534436796088.png)
按照本文件的内容,共设计了五个问题:
1 、华南师范大学附属中学招生计划
![大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第2张 大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第2张](https://www.yuneu.com/zb_users/upload/2024/05/20240510203248171534436813822.png)
2、什么是先烈东小学的招生地点?
![大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第3张 大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第3张](https://www.yuneu.com/zb_users/upload/2024/05/20240510203248171534436870779.png)
入学地点的信息来源是一种表格,比一般的文字信息更难处理。
3、什么是先烈东小学的电话号码?
![大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第4张 大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第4张](https://www.yuneu.com/zb_users/upload/2024/05/20240510203248171534436884734.png)
电话号码是我们经常问的问题。我们来看看这些大模型能否正确提取电话号码。
4、什么是天河区体育东路小学(中校区)的招生地点?
![大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第5张 大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第5张](https://www.yuneu.com/zb_users/upload/2024/05/20240510203249171534436929493.png)
先烈东小学在这个问题上有不同的问题。天河区体育东路小学(中校区)现更名为天河区体育东路小学兴国学校。让我们看看我们是否能根据旧名字回答问题。
5、殡葬工人的子女是否属于政策性护理名单?
![大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第6张 大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第6张](https://www.yuneu.com/zb_users/upload/2024/05/20240510203249171534436915325.png)
这一回答的信息来源也是一种表格,而且我们的问题与文档中的文字并不准确匹配,需要一些推理。
以上五个问题的信息来源涵盖了文字和表格,下面我们来看看三位选手的表现。
阿里通义千问
1 、华南师范大学附属中学招生计划
![大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第7张 大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第7张](https://www.yuneu.com/zb_users/upload/2024/05/20240510203250171534437084744.png)
正确的答案,工整的格式点赞
2、什么是先烈东小学的招生地点?
![大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第8张 大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第8张](https://www.yuneu.com/zb_users/upload/2024/05/20240510203250171534437096919.png)
回答正确
3、什么是先烈东小学的电话号码?
![大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第9张 大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第9张](https://www.yuneu.com/zb_users/upload/2024/05/20240510203250171534437049701.png)
电话号码错了,答案错了。
4、什么是天河区体育东路小学(中校区)的招生地点?
![大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第10张 大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第10张](https://www.yuneu.com/zb_users/upload/2024/05/20240510203251171534437154557.png)
答案正确,格式工整点赞。
5、殡葬工人的子女是否属于政策性护理名单?
![大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第11张 大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第11张](https://www.yuneu.com/zb_users/upload/2024/05/20240510203251171534437180157.png)
列出答案来源,并补充相应的材料要求,正确回答。
百度文心一言4.0
1 、华南师范大学附属中学招生计划
![大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第12张 大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第12张](https://www.yuneu.com/zb_users/upload/2024/05/20240510203251171534437192346.png)
回答正确
2、什么是先烈东小学的招生地点?
这一数据原本是文档中的表格,有些困难。
![大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第13张 大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第13张](https://www.yuneu.com/zb_users/upload/2024/05/20240510203252171534437277212.png)
不知为什么没有回答问题,没有答案。
3、什么是先烈东小学的电话号码?
这一数据原本是文档中的表格,有些困难。
![大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第14张 大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第14张](https://www.yuneu.com/zb_users/upload/2024/05/20240510203252171534437293456.png)
回答正确
4、什么是天河区体育东路小学(中校区)的招生地点?
![大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第15张 大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第15张](https://www.yuneu.com/zb_users/upload/2024/05/20240510203252171534437252258.png)
答案不完整。
5、殡葬工人的子女是否属于政策性护理名单?
![大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第16张 大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第16张](https://www.yuneu.com/zb_users/upload/2024/05/20240510203253171534437318487.png)
回答正确
月亮的暗面Kimi
1 、华南师范大学附属中学招生计划
![大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第17张 大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第17张](https://www.yuneu.com/zb_users/upload/2024/05/20240510203253171534437378103.png)
正确回答,并在文档中给出附件名称,赞不绝口。
2、什么是先烈东小学的招生地点?
![大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第18张 大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第18张](https://www.yuneu.com/zb_users/upload/2024/05/20240510203253171534437376375.png)
回答正确
3、什么是先烈东小学的电话号码?
![大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第19张 大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第19张](https://www.yuneu.com/zb_users/upload/2024/05/20240510203254171534437474378.png)
犹豫不决,明明有正确的答案,却不敢肯定
4、什么是天河区体育东路小学(中校区)的招生地点?
![大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第20张 大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第20张](https://www.yuneu.com/zb_users/upload/2024/05/20240510203254171534437449658.png)
回答正确
5、殡葬工人的子女是否属于政策性护理名单?
![大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第21张 大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第21张](https://www.yuneu.com/zb_users/upload/2024/05/20240510203254171534437412706.png)
正确回答,给出引用来源,点赞
总结
![大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第22张 大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi 第22张](https://www.yuneu.com/zb_users/upload/2024/05/20240510203254171534437457611.png)
通过以上测试,通义千问和Kimi都有一个不准确的问题,基本上是平等的,Kimi的答案稍微好一点。文心有两个不准确的问题。垫底。
发表评论