10月24-26日，2024中国计算机大会（简称CNCC2024）在横店举行。在24日的“AI+影视创作超级论坛”上，中国人民大学高瓴人工智能学院长聘副教授宋睿华围绕与值得买科技合作的首个研究成果《TiVA：Time-alignedVideo-to-AudioGeneration》（《TiVA：时序同步的视频到音频生成》）进行了主题演讲，具体阐述了该项技术能为内容创作所带来的突破性进展：除了提升AIGC内容生成尤其是声音生成方面的质量和智能化水平之外，也有望为AIGC内容生成带来更丰富的模态和更多想象空间。
本次大会由中国计算机学会主办，是我国计算领域涉及面最广、规模最大、影响力最强的学术、技术、教育和产业盛会。大会以“发展新质生产力，计算引领未来”为主题，邀请图灵奖获得者、国内外院士、国内外计算机领域知名专家和教育家、企业家及专业人士汇聚一堂，共享学术新进展、应用新技术、创意新理念，分享创新成果、展望前沿趋势。
据悉，此次的研究成果《TiVA：Time-alignedVideo-to-AudioGeneration》，在今年7月还被国际多媒体学术会议（ACMInternationalConferenceonMultimedia2024，简称ACMMM2024）录用，并被选为口头报告。该会议由国际计算机协会（ACM）发起，是多媒体处理、分析与计算领域最具影响力的国际顶级会议。同时，此次研究成果已获得国家发明专利授权（专利名称：音频生成方法、视频生成方法、装置、设备和介质，公开号ZL202410613827.3）。
早在2023年6月，值得买科技就与中国人民大学高瓴人工智能学院宋睿华团队达成合作，聚焦大模型、AI内容创作等相关内容研究。除TiVA外，双方还将在近期发布面向电商领域的共享基座检索增强架构（BSharedRAG）、多模态知识增强的视觉信息查询（MuKA）等多个AI研究成果。
此次TiVA研究成果主要聚焦在多模态内容创作和交互领域。当前，视频和音频的同步生成一直是多模态内容生成的技术挑战，大多数现有方法主要关注匹配视觉和声音模态的语义，而无法在时间对齐上实现精确同步。值得买科技与中国人民大学宋睿华团队通过深入研究，提出了新颖的时序同步的视频到音频生成框架-TiVA，该框架通过音频布局的概念，实现了视频内容到音频的高质量生成。其核心在于音频布局的创新使用，通过低分辨率的Mel频谱图来提供粗略的音频结构布局，帮助模型更好地理解和预测声音的起始和结束时间，从而实现更精确的时间对齐。
汽车之家、省广集团等进行合作；在产学研协同方面，与中国人民大学、南开大学、中欧国际工商学院、中央财经大学商学院等高校联合进行，共同探索AI创新协同新路径，近期与人大共同研究的两项AI创新成果也即将面世。
未来，值得买科技将坚持全面AI战略，携手更广泛、更多领域的合作伙伴，共同探索AI在学术、技术、商业上的创新和应用，共同推动AI生态创新协同发展，为创造消费信息自由流动的美好世界做出贡献。
本文地址： 拷贝地址