Ai配音专家（上海期智研究院让科学家自由探索）

近日，上海期智研究院PI（首席研究员）、清华大学助理教授赵行带领团队与字节跳动公司合作，发表了一篇题为《神经网络配音器》的论文。这款人工智能软件可以根据视频中说话人物的外表、口型、情绪等特征，完成没有“违和感”的配音。它有广阔的应用前景，既可以为“UP主”的视频作品做外语配音，也有望取代影视配音演员。

“我们团队与公司的合作，都没有要求公司给项目经费，这种开放性产学研合作让我们能更自由地探索科技前沿。”赵行博士说。而给他“不收钱”底气的，是上海期智研究院。这家新型研发机构给每位PI独立的课题经费，为他们营造了在基础研究领域自由探索的环境。

科学家可以按兴趣自由探索

上海期智研究院坐落于张江高新区徐汇园，由图灵奖得主、中国科学院院士姚期智牵头组建，以“突破人工智能基础研究，引领世界人工智能交叉发展”为使命，聚焦人工智能、现代密码学、高性能计算系统、量子计算及量子人工智能、物理器件与计算、生物智能等6个核心方向，并逐步向交叉研究领域拓展，有望孕育一批具有重要影响力的科学理论和关键技术，提升人工智能等领域的创新策源能力。

市科委基础处介绍，上海期智研究院与传统的科研院所不同，在体制机制上试点“三不一综合”，即不定行政级别、不定编制、不受岗位设置和工资总额限制，实行综合预算管理。市科委对上海期智研究院进行“机构式资助”，给予稳定的经费支持，让科研人员不必费时费力申请竞争性政府项目，可以潜心开展前沿研究。

上海期智研究院科研人员在研究强化学习算法。

“科学家在这里工作的最大好处，是能对自己感兴趣的方向进行自由探索。”上海期智研究院PI、上海交通大学教授郁昱说。这位密码学专家申请的研究院课题是“安全计算理论及系统”，去年夏天获得立项。与政府科研项目相比，研究院课题的申请书薄很多，因为PI不需要把课题的各个预算科目写得很细，姚期智等评审专家对PI给予充分信任。而且这些课题不会限制PI的研究方向，让他们拥有根据科技发展趋势和自身兴趣做出调整的空间。比如，郁昱为了回应量子计算机对传统密码学的挑战，对“后量子密码”做了深入研究，相关经费也在课题经费中支出。

考核方面，PI每年要提交阶段性研究报告，但不设量化指标。“很多科研项目是有阶段性量化指标的，比如要求发表论文多少篇，一些科研人员可能为了完成指标去‘凑论文’。”郁昱说，“而我在这里能心无旁骛地研究，发论文是水到渠成的事。”

宽松制度催生国际领跑成果

在这种宽松灵活的制度下，郁昱今年带领团队取得了两项国际“领跑”的成果。

一项成果是他和研究助理刘晗林等人设计的通用加密电路，用于保护算法隐私，其效率比图灵奖得主莱斯利·瓦利安特设计的通用电路提高1/3。据介绍，电路在加密安全性上优于计算机程序，瓦利安特在1976年设计的通用电路已广泛应用于隐私保护函数计算、可验证计算等领域，其构造方法一直没有大的改变。上海期智研究院的这项成果，是首次对通用电路进行结构性优化，相关论文发表在国际顶级密码学会议——2021年美国密码年会上。

郁昱教授的办公室窗外是黄浦江两岸美景。

另一项国际领先成果，则是郁昱选择新的研究方向、进行自由探索的产物。未来，如果量子计算机投入应用，传统密码学是否会失效？对于这个问题，国际上一些密码学家未雨绸缪，开始研究“后量子密码”。郁昱也是其中一员，在研究院课题的支持下，他带领团队研发出了“后量子时代”的数字签名，其算法效率比美国国家标准与技术研究院征集的第三轮标准高10%。

研究院吸引高校教师兼职做PI

赵行研究的“多模态与多传感器的机器学习”课题，也达到了国际先进水平。今年10月举行的国际计算机视觉会议上，他发表了4篇论文，其中2篇被收录为口头报告。这个顶级会议的口头报告论文接收率仅为3.3%。

什么是多模态机器学习？这项研究通过神经网络技术，将计算机视觉、语音识别、自然语言处理等人工智能领域打通，实现理解和处理多源模态信息的能力。比如将图像和声音联系起来，赵行等人开发出“神经网络配音器”，它能根据说话人物的外表、口型、情绪等特征进行人工智能配音。“我们与影视公司交流后了解到，人工智能配音的需求量很大。”赵行告诉记者，“一部全球发行的影片需要几十种语言的配音，目前都是人工配音，工作量很大。如果今后采用机器自动配音，可以为影视公司节约很多成本。”

在自动驾驶领域，多模态机器学习也大有用武之地。它能实现计算机视觉与激光雷达、毫米波雷达等传感器的信息交互，进行融合预测，从而提升智能汽车对周边环境预测的准确性和安全性。

赵行博士在上海期智研究院作报告。

值得一提的是，赵行团队在国际计算机视觉会议上发表的论文中，有一篇的第一作者是“学士后”薛子慧。“学士后”是上海期智研究院在新冠疫情暴发后设立的岗位，招聘那些本科毕业、被国外名校录取却因疫情无法出国的学生，让他们在PI指导下开展前沿研究。

除了“学士后”，研究院还设有研究助理、工程师、实习生等岗位。郁昱告诉记者，近年来，国内一些知名高校的新进科研人员数量不多，高校教师在新型研发机构兼职做PI，可以招聘一批青年科研人员，在前沿科技探索之路上获得更多的人力支持。目前，上海期智研究院有32位PI，他们来自清华、上海交大、复旦、同济等高校。“上海期智研究院位于黄浦江畔，有高水平科研团队，又有自由探索的学术氛围，对科技人才的吸引力很大。”望着窗外的浦江美景，郁昱对研究院的未来充满期待。

栏目主编：黄海华 文字编辑：俞陶然

视频：谢嘉媛 赵晨润 李小佳

来源：作者：俞陶然