6月27日,可灵AI宣布全系列视频模型上线“视频音效”功能,顾客在应用可灵AI开展视频创作时,不但能获取高质量的视频画面,更能感蒙受与视频精准匹配、富有空间感的立体声音效,确实达成“所见即所听”的沉浸式感受。目前,该功能已无缝集成至文生视频、图生视频、多模态编辑等多种创作形式中,并限时免费开放。

与此与此同时,系统原有的“音效生成”也进一步升级,新增“视频生音效”功能。顾客目前不但能够经过文本生成音效,更能够径直上传本地视频,或选用在可灵系统创作的历史视频,一键为无声的画面匹配上语义契合、节奏同步的音效,自动适配动作、环境、氛围等多种场景,极大地提升了视频内涵的体现力和沉浸感,有效减少了创笔者在音频后期制作上的时间与技术成本。

从实际成效来看,可灵AI的音效功能在多个典型案例中展现了极高的音画同步精度和极佳的空间听感。例如,在生成“婴儿在活泼地笑”的视频片段中,模型不但还原了婴儿清亮的笑声,甚至连婴儿笑容间隙短促的吸气声都完美捕捉,与画面中肉嘟嘟脸颊的起伏动作精准匹配,其富有空间感的立体声成效,让整个画面的温馨感与生命力扑面而来。

在另一段山体滑坡致使巨石砸中汽车的视频中,系统自动生成了金属扭曲断裂声、石块飞溅与尘土扬起的细节音效,声音定位清晰、动态层次充足,提升了整体灾难场景的视觉冲击力与沉浸感。

据悉,上述功能的达成,依托于可灵AI自主研发的多模态视频生音效模型——Kling-Foley。Kling-Foley 支撑鉴于视频内涵与可选文本提示自动生成与视频画面语义相干、时间同步的高质量立体声音频,涵盖音效、背景音乐等多种类型声音内涵。它支撑生成任意时长的音频内涵,还具备立体声渲染的实力,支撑空间定向的声源建模和渲染。

今年3月,可灵AI首次推出AI音效功能,顾客可经过输入文本生成相应的环境音或动作音,并可进一步结合系统生成的视频开展语义领会与自动匹配。随后,在可灵2.1模型中正式加入了视频音效功能,在生成视频的与此同时,系统也会自动生成与之匹配的音效,增强了整体视听感受。伴随视频音效生成技术的成熟落地,将进一步释放可灵AI在广告创意、影视、短视频、游戏等内涵等领域的进展潜力。

• ·全球首个可持久品牌创建标准发布 五维框架构建可持久转型路线图
• ·界定水果品质新高度，都乐“匠心封神”盛宴点亮进博
• ·荣耀CEO李健乌镇分享AI终端的思索探索与革新实践
• ·海丝腾惊艳亮相第八届进博会，百年匠心对话我国“知音”
• ·尼康顾客狂喜！唯卓仕 35/1.2 LAB Z 画质直逼万元旗舰，售价仅5499！
• ·进博会上的AI竞速：松下的AI战略有何不同？
• ·宝骏悦也两周年版潮酷登场！置换一口价7.28万元！
• ·达内教育AI人工智能及大模型课程 零基本进阶，抢占智能时代新风口
• ·西渝高铁康渝八标在全线率先完成箱梁架设任务
• ·立邦与城安所于第八届进博会达成技术协作,助推涂装产业绿色化、数字化、标准化进展
• ·共探“跨境下一站 掘金新蓝海” 12月6日
• ·中建一局安装公司承建的内蒙古阿巴嘎旗20万千瓦风电工程完成关键节点
• ·山海交响入馔来 新鲁菜地标摘得金梧桐大奖
• ·丹麦蓝罐曲奇持久八年亮相进博会，以匠心品质扎根我国行当
• ·进博会“全勤生”三星的AI全景图：AI Home我国首秀
• ·The North Face 国际运动员 Jimmy Chin、Jim Morrison来华共叙探索信念