Hallo-Live:开启文本驱动音视频数字人的实时流式生成新时代

2个月前更新 zmtzn
24 0 0

最新研究成果由上海创智学院与复旦大学的研究团队推出,名为 Hallo-Live,旨在有效解决当前面临的矛盾。该方法融合了异步双流扩散(Asynchronous Dual-Stream Diffusion)与人类偏好引导蒸馏(Human-Centric Preference-Guided DMD),在两台 NVIDIA H200 GPU 上实现了20.38FPS的处理速度和0.94秒的端到端延迟。

Hallo-Live 的整体框架设计包括两个训练阶段。

Hallo-Live:开启文本驱动音视频数字人的实时流式生成新时代的封面图

相关快讯

百度一镜WAIC首发数字人视频播客,微表情技术再突破

百度一镜在WAIC首发数字人视频播客方案,突破微表情与多模态统一技术,可实现自然插话、专业视听表达,解决真人访谈成本高、数字人僵硬等痛点。方案由文心大模型、自研专精模型和海量样本训练支撑,配合编剧、导演、剪辑三大AI智能体,支持多类访谈内容工业化生产。实测显示,制作成本降74%,表现力提升785%,平均播放时长增29%。

AI让“造艺人”变成大众游戏

今年上半年,AI艺人产业加速成形:Yuri获得全国首张AI角色“数字身份证”,桥桥子等AI脱口秀演员快速涨粉,麦橘团队的人脸“角色资产库”被平台和影视游戏批量采购。B站、汽水音乐等平台也推出扶持通道,带动AI歌手、AI演员等角色涌现,虚拟人赛道持续扩张。

AI模型用更少数据精准预测RNA三维结构

美国弗吉尼亚理工大学团队开发出AI模型“RNAbpFlow”,在RNA结构预测上表现可与谷歌“阿尔法折叠3”相媲美,且不依赖海量进化序列数据库,有望提升RNA结构研究效率并加速RNA靶向药物研发。相关成果发表于《自然·方法》。

微软探索深度学习模型提升Copilot协同办公工具性能

微软正在考虑引入中国人工智能企业深度求索推出的V4大模型,作为其Copilot协同办公智能助手的低成本替代技术方案。根据阿克西奥斯新闻网的报道,微软正在测试由微软云本地部署的深度求索V4版本及其他开源大模型,以替代目前支持Copilot的Anthropic和OpenAI大模型,从而降低服务成本。微软计划在未来几周内向市场推出这一低成本大模型服务。

AniShort获得近亿元融资,AI短剧工具迎来年度最大单笔投资!

八点八数字是一家专注于数字人和AIGC视频生成技术的公司,近期完成近亿元融资,资金由北京泰中合领投,多个机构跟投。作为国家级高新技术企业,八点八数字自2014年成立以来,专注于AIGC技术和商业化,积累了十年的技术基础和对内容生产的深刻理解。公司战略布局AI短剧,推出了AI短剧协作平台AniShort,并全球首创AI短剧协作智能体,旨在为行业带来生产力革命,切入短剧千亿市场。

百度推出全新数字人创新业务部

6月7日,百度MEG(移动生态事业群组)进行了组织调整,合并了商业部与电商事业部,成立了大商业事业部。同时,数字人创新业务部也升级为独立部门。

暂无评论

暂无评论...