半个月四篇!AI论文连续获得国际顶会“最佳”,上科大做对了什么?  第1张

上海科技大学年轻师生合影,获得顶级学术会议最佳论文或提名

上海科技大学成立仅11年,日前接待。连续4篇论文入选人工智能。(AI)三大国际顶级学术会议最佳论文或提名,而且论文的主要作者都是本科生、研究生,他们都是信息科学与技术学院的学生。这份成绩单让业界感到“不可思议”。

通常,被选为行业顶级会议的最佳论文往往具有先进的创新性,贴近行业需求。即使是历史悠久的名校,学生论文也很难在顶级会议上获奖。这一次,短短半个月,同一所大学、同一所学院的四项研究成果在国际顶级会议中脱颖而出。高密度、高含金量的“出圈”背后,年轻的科技大学成功“解锁”了什么?

半个月四篇!AI论文连续获得国际顶会“最佳”,上科大做对了什么?  第2张

罕见:年轻大学本研学生论文“连中”顶会

六月下旬,好消息接连传来。在四篇论文中,有两篇获得了。美国计算机协会(ACM)获得IEEE国际计算机视觉与模式识别会议的SIGGRAPH最佳论文荣誉提名(CVPR)最佳学生论文奖,另一篇获得国际设计自动化会议奖。(DAC,最佳论文提名是集成电路设计四大顶会之一。

获得这些AI领域的顶级会议有多难?作为计算机图形学领域的重量级国际会议,SIGGRAPH中呈现的想法、愿景和技术往往会超出人们的想象,有望成为未来五年、十年技术发展的基础。今年的SIGGRAPH只选取了5篇最佳论文和12篇最佳论文荣誉提名。

CVPR作为国际计算机视觉和模式识别领域的顶级会议,每年投稿超过1万篇论文,录用率只有25%,其中只有10篇可以获奖,只有2篇最佳学生论文。

“国际同行看到获奖名单几乎惊呆了。”上海科技大学信息科学与技术学院院长虞晶怡表示,从未获得这些奖项的学生都来自世界顶尖大学,他们有几十年或一百多年的历史,中国学生获奖的概率更小。

这一次,年轻的上海科技大学不仅获得了4篇文章,而且主要作者都是硕士、博士生,本科就进入了上海科技大学,还有一个刚大四毕业的本科生。

记者在上海科技大学信息学院MARS展厅看到了这群年轻人的创意。——

CLAY以博士生张龙文和张启邈为主要研发参数15亿,是目前最大、质量最好的3D原生生成模型,其性能明显超过Meta。、OPEnAI、Adobe等大公司同时工作。因为方便易用,上线短短几个月,就有几十万用户,其中大部分都是海外用户。

半个月四篇!AI论文连续获得国际顶会“最佳”,上科大做对了什么?  第3张

CLAY由一个拥有15亿参数的模型组成,擅长创造高质量、逼真的3D资产,旨在轻松将想象转化为3D模型。

以四年级学生何开为第一作者完成的DressCode,是基于文字描述的自回归服装板生成的一个大模型——只需输入一段文字,不仅可以在穿着状态下生成真实的服装模型,还可以直接给出所有的工艺参数,比如裁缝。裁缝只需要做到这一点,就可以得到完全相同的服装。

半个月四篇!AI论文连续获得国际顶会“最佳”,上科大做对了什么?  第4张

DressCode展示了一个生成的AI框架,专门为3D服装设计。

得到CVPR最佳论文的结果是在3D高斯渲染技术中,可以方便高效地解决“伪影”问题,可以在任何比例下实现“无锯齿渲染”,这是业界想要竞相解决的难题之一。

半个月四篇!AI论文连续获得国际顶会“最佳”,上科大做对了什么?  第5张

现场公布CVPR最佳论文

刚刚博博不久的淞一闻,陈禹阳的论文在光刻热点纠错中,大模型的应用获得DAC最佳论文提名。另外,2021届本科生王悦豪本科期间的论文也被评为今年SIGGRAPH最佳论文荣誉提名。

无界:从项目到创业,瞄准大模型应用空白应用。

采访中,记者发现,这些获奖论文都有一个共同的选择理由:令人耳目一新,出乎意料。

只要你随意输入文字或平面图片,你就可以在短短一分钟内用大模型轻松将想象力转化为逼真的高质量3D模型。随着CLAY的诞生,Google、英伟达、Meta等国内外3D模型几乎被制造出来。更不可思议的是,从未有过大模型训练经验的张龙文、张启邈等人,只用了不到一年的时间就开发了这个模型。

几个资历还浅的年轻学生是怎么做到的?上海科技大学信息学院教授许岚认为,"本科生无所不能"。他认为,把本科生当成“一张白纸”,认为他们做科研还需要很长时间。“只要他们感兴趣和需要,他们就会主动学习知识,效率远高于按部就班的课堂教学”。

身为教师,更要做的是站在学术和产业的前沿,引导学生的创新方向。2022年,随着大型模型的快速发展,上海科技大学信息学院的教授们将注意力集中在大型模型前沿的垂直类应用上——让大型模型惠及更多的行业,鼓励学生在这片“蓝海”中自由驰骋。

"那时,Sora还没有发布,每个人都认为3D原生模型通过Diffusion。 生成Transformer结构非常困难,但我们已经找到了这条路。”张龙文说,虽然当时学院的老师和学生没有相关的开发经验,服务器集群刚刚运输到不久,但他们决定在查阅大量文献并了解技术前沿趋势后尝试一下。

很快,在虞晶怡和许岚两位教授的指导和帮助下,张龙文找到了几个学生,拉起一个小团体,开始学习工作。“直到Sora宣布,我们才发现它几乎采用了相同的技术框架。”他透露,经过几次迭代,CLAY已经积累了大量的国内外客户,尤其是在游戏行业。

值得注意的是,在本文的合作单位中,排名第二的是一家名为“影眸科技”的企业。这是一家开发3D生成技术的科技企业,由上海科技大学硕士毕业生吴迪、曾初啸与张启邈、张龙文于2021年创办。到目前为止,他已经获得了红杉资本和奇绩创坛的投资。张启邈透露,影眼科技刚刚获得新一轮投资,未来将继续在3D领域拓展生成式AI的应用,为更多3D行业艺术家带来实用的工具。

半个月四篇!AI论文连续获得国际顶会“最佳”,上科大做对了什么?  第6张

不要给学生设限,鼓励学生带着成绩创业,这是上科大自成立以来就倡导的理念。近年来,随着初创公司毕业的本科生和研究生数量逐年增加。几乎所有获奖论文的成果都朝着技术转型和行业应用的方向发展。

比如何开即将去加拿大多伦多大学攻读博士学位,DressCode的后续开发和运营将继续由影眼科技推进。然而,就在博士学位后不久,在本科期间,她与哥哥一起成立了一家从事虚拟宠物渲染的科技企业。“无论是科研还是创业,在科技大学都不会有束缚感”。

自由:本科科研制度“富养”学生创新潜力

只有10年的本科招生,几年前的分数还没有达到985水平,上科大为什么会激发本科生如此强大的创新潜力?学术自由与“富养”,鼓励学生“探索未探索的问题”,这是最大的秘密。

本科研究制度它是上科大学科教融合的一大特色。现在,上科大概 80% 一至三年级的本科生将陆续进入实验室参与科研工作,三、四年级的本科生可以选修研究生课程,其中约10%在本科期间取得了科研成果。

何开告诉记者,从本科一年级开始,他们就可以进入实验室,听小组会议,选择自己感兴趣的项目进行研究。大二的时候,他遇到了哥哥张龙文和张启邈,对大模特产生了兴趣。

去年,在海外交换生期间,何开与前来参加SIGGRAPH的学长张启交流,发现3D服装生成模式存在空缺,以满足生产管道的需要。因此,他与同学姚凯欣一起,借助张启邈,利用大模型离散技术,仅用三个月的时间就开发出了服装生成大模型。他感慨地说:“在上科大学习很自由,本科四年有很多时间研究课题,自学各种知识。”

上海科技大学的学术自由也体现在现在。鼓励学科交叉与跨界合作。与大多数其他计算机科学与工程学院不同,上海科技大学信息学院没有系,只有研究中心。在虞晶怡看来,僵化的学科划分限制了科学想象力和合作,许多科学和技术挑战需要跨学科的密切合作。

得到DAC最佳论文提名,是淞一闻和陈禹阳没有想到的。他说:“我主修计算机AI,陈禹阳主修电子信息工程。当虞晶怡听到回忆时,他说:AI for 当他们告诉他们“光刻”的想法时,他们仍然有点困惑。然而,他们很快就在光刻热点的测试中找到了灵感。最后,他们只用了几个月的时间就做出了第一个大模型,经过优化,将光刻热点纠错率提高了近20%。

半个月四篇!AI论文连续获得国际顶会“最佳”,上科大做对了什么?  第7张

此外,愿意为本科生投资科研资源。,它还帮助学生加快成功。几乎所有获奖论文的学生都提到,他们最大的信心是学院对计算能力和数据资源的全力支持。“只要实验需要,老师就会尽力满足,很少有本科生能得到如此强大的科研支持”。

“当我们周围的许多同龄人忙于考研和编制时,我们更多地考虑如何让下一个项目变得更好。”张龙文说,经过几年在科技大学校园里的潜移默化,他的视野和思想在不知不觉中发展了很多。

姚凯欣和何开一起完成了DressCode项目,他觉得自己心里没有太多的焦虑,但他对未来更有把握——我相信无论如何变化,他都有信心和能力去面对。