在中文能力方面,阿里云刚刚发布了通义千问2.5,赶超GPT4.0。最新的开源模式也发布了Qwen1.5-110B,参数1100亿。在开源的道路上,阿里将坚持下去。

最近开始招生,广州市各区教育局陆续发布招生规则。我们只是测试了解读阿里通义千问文档的能力。同时,我们还带来了国内另一家闭源巨头百度,以长文本处理著称的Kimi进行了一场三国演义,对比了这三家公司根据文档对话的能力。

本次分析的文档如下:

《天河区义务教育2024年学校招生工作细则》


大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi  第1张

按照本文件的内容,共设计了五个问题:

1 、华南师范大学附属中学招生计划


大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi  第2张

2、什么是先烈东小学的招生地点?

大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi  第3张

入学地点的信息来源是一种表格,比一般的文字信息更难处理。

3、什么是先烈东小学的电话号码?

大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi  第4张

电话号码是我们经常问的问题。我们来看看这些大模型能否正确提取电话号码。

4、什么是天河区体育东路小学(中校区)的招生地点?

大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi  第5张

先烈东小学在这个问题上有不同的问题。天河区体育东路小学(中校区)现更名为天河区体育东路小学兴国学校。让我们看看我们是否能根据旧名字回答问题。

5、殡葬工人的子女是否属于政策性护理名单?

大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi  第6张

这一回答的信息来源也是一种表格,而且我们的问题与文档中的文字并不准确匹配,需要一些推理。

以上五个问题的信息来源涵盖了文字和表格,下面我们来看看三位选手的表现。

阿里通义千问

1 、华南师范大学附属中学招生计划


大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi  第7张

正确的答案,工整的格式点赞

2、什么是先烈东小学的招生地点?


大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi  第8张

回答正确

3、什么是先烈东小学的电话号码?

大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi  第9张

电话号码错了,答案错了。

4、什么是天河区体育东路小学(中校区)的招生地点?


大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi  第10张

答案正确,格式工整点赞。

5、殡葬工人的子女是否属于政策性护理名单?


大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi  第11张

列出答案来源,并补充相应的材料要求,正确回答。

百度文心一言4.0

1 、华南师范大学附属中学招生计划


大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi  第12张

回答正确

2、什么是先烈东小学的招生地点?

这一数据原本是文档中的表格,有些困难。


大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi  第13张

不知为什么没有回答问题,没有答案。

3、什么是先烈东小学的电话号码?

这一数据原本是文档中的表格,有些困难。


大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi  第14张

回答正确

4、什么是天河区体育东路小学(中校区)的招生地点?


大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi  第15张

答案不完整。

5、殡葬工人的子女是否属于政策性护理名单?


大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi  第16张

回答正确

月亮的暗面Kimi


1 、华南师范大学附属中学招生计划


大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi  第17张

正确回答,并在文档中给出附件名称,赞不绝口。

2、什么是先烈东小学的招生地点?

大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi  第18张

回答正确

3、什么是先烈东小学的电话号码?

大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi  第19张

犹豫不决,明明有正确的答案,却不敢肯定

4、什么是天河区体育东路小学(中校区)的招生地点?


大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi  第20张

回答正确

5、殡葬工人的子女是否属于政策性护理名单?


大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi  第21张

正确回答,给出引用来源,点赞

总结

大型实战招生规则文件分析:通义千问 vs 文心一言 VS Kimi  第22张

通过以上测试,通义千问和Kimi都有一个不准确的问题,基本上是平等的,Kimi的答案稍微好一点。文心有两个不准确的问题。垫底。


#头条创作挑战赛#