在中文能力方面,阿里云刚刚发布了通义千问2.5,赶超GPT4.0。最新的开源模式也发布了Qwen1.5-110B,参数1100亿。在开源的道路上,阿里将坚持下去。
最近开始招生,广州市各区教育局陆续发布招生规则。我们只是测试了解读阿里通义千问文档的能力。同时,我们还带来了国内另一家闭源巨头百度,以长文本处理著称的Kimi进行了一场三国演义,对比了这三家公司根据文档对话的能力。
本次分析的文档如下:
《天河区义务教育2024年学校招生工作细则》
按照本文件的内容,共设计了五个问题:
1 、华南师范大学附属中学招生计划
2、什么是先烈东小学的招生地点?
入学地点的信息来源是一种表格,比一般的文字信息更难处理。
3、什么是先烈东小学的电话号码?
电话号码是我们经常问的问题。我们来看看这些大模型能否正确提取电话号码。
4、什么是天河区体育东路小学(中校区)的招生地点?
先烈东小学在这个问题上有不同的问题。天河区体育东路小学(中校区)现更名为天河区体育东路小学兴国学校。让我们看看我们是否能根据旧名字回答问题。
5、殡葬工人的子女是否属于政策性护理名单?
这一回答的信息来源也是一种表格,而且我们的问题与文档中的文字并不准确匹配,需要一些推理。
以上五个问题的信息来源涵盖了文字和表格,下面我们来看看三位选手的表现。
阿里通义千问
1 、华南师范大学附属中学招生计划
正确的答案,工整的格式点赞
2、什么是先烈东小学的招生地点?
回答正确
3、什么是先烈东小学的电话号码?
电话号码错了,答案错了。
4、什么是天河区体育东路小学(中校区)的招生地点?
答案正确,格式工整点赞。
5、殡葬工人的子女是否属于政策性护理名单?
列出答案来源,并补充相应的材料要求,正确回答。
百度文心一言4.0
1 、华南师范大学附属中学招生计划
回答正确
2、什么是先烈东小学的招生地点?
这一数据原本是文档中的表格,有些困难。
不知为什么没有回答问题,没有答案。
3、什么是先烈东小学的电话号码?
这一数据原本是文档中的表格,有些困难。
回答正确
4、什么是天河区体育东路小学(中校区)的招生地点?
答案不完整。
5、殡葬工人的子女是否属于政策性护理名单?
回答正确
月亮的暗面Kimi
1 、华南师范大学附属中学招生计划
正确回答,并在文档中给出附件名称,赞不绝口。
2、什么是先烈东小学的招生地点?
回答正确
3、什么是先烈东小学的电话号码?
犹豫不决,明明有正确的答案,却不敢肯定
4、什么是天河区体育东路小学(中校区)的招生地点?
回答正确
5、殡葬工人的子女是否属于政策性护理名单?
正确回答,给出引用来源,点赞
总结
通过以上测试,通义千问和Kimi都有一个不准确的问题,基本上是平等的,Kimi的答案稍微好一点。文心有两个不准确的问题。垫底。
发表评论