趣丸科技推出天谱乐大模型,可一键让视频开口唱歌-
7月26日至29日,2024年第二十一届中国国际数码互动娱乐展览会(ChinaJoy)在上海新国际博览中心开幕。由趣丸科技打造的多模态配乐大模型“天谱乐”惊喜亮相,成为本届大会最具创新的展品之一。
天谱乐大模型不仅支持文生音乐、音频生音乐,还首创图片/视频生音乐功能,多模态输入能力超越Suno。用户仅需上传相册中的一张图片或一段不超过60秒的视频,即可生成与图像内容和基调高度适配的带人声唱词的完整歌曲,生成效果达到专业级水准,极大地满足用户多样化的视听创作需求。
目前,天谱乐大模型已全面接入趣丸科技旗下唱鸭APP,面向所有用户开放。用户可登陆唱鸭官网或下载APP限时免费体验。
业内人士表示,天谱乐无疑带来了AI音乐生成技术的重大突破,展示了AI在理解和创造多模态内容的先进能力,对短视频、影视和音乐行业带来了前所未有的挑战和机遇。
随着数字音乐和短视频文化的蓬勃发展,越来越多的年轻人享受音乐的方式已不再局限于单纯地听歌、K歌,呈现出从“听唱”转向“唱作”的消费偏好,青年群体参与音视频作品创作的需求意识逐渐上扬。为了更好地满足用户,解决这些应用中的实际需求,趣丸科技天谱乐大模型应运而生。
天谱乐大模型独创的“视频生成歌曲”功能,支持上传图片以及MP4、MOV等多种视频格式,生成的音乐曲风丰富、歌词与人声兼备。同时输出带有字幕和封面标签的成品视频,方便一键分享到社媒或好友。
对于普通用户,即使不会乐器不懂乐理也可以为Vlog、家庭录像增添背景音乐或创作专属歌曲来表达自己的态度与情感。对于专业人士,唱鸭网页端为广告、影视和音乐从业者提供音乐专家模式,具备更精准的参数控制和更高的创作自由度。
此外,“文生音乐”功能,用户在输入一段文字后,仅需等待15-20秒,即可生成长达3.5分钟的纯音乐。“音频生音乐”功能,提供“三键成曲”、“哼唱成曲”多种玩法。
天谱乐的强大,在于打破了AI在音乐理解和生成上的局限。据了解,天谱乐大模型由趣丸科技唱鸭团队研发。该团队自研了“多模态音乐生成大模型”技术,在安全合规下,让模型不仅可以根据视频画面的明暗、色彩、情绪的细微变化逐帧识别和理解,也可以理解音乐的和弦、旋律、歌词、演唱风格等复杂特征,最终生成高契合度的视频配乐。
关于团队的构成,趣丸科技副总裁贾朔介绍到“与典型的大模型研发团队不同,我们团队大部分都是有很强的技术和音乐背景的复合型人才。所以我们更有能力去辨别一个好的音乐结构、好的音乐作品应该长什么样子,然后通过技术创造出更有音乐审美与应用价值的产品。”
唱鸭天谱乐官网
音乐是有生命的,它不仅是一种艺术形式,更是情感交流和表达的方式。趣丸科技深知AI音乐工具不仅是技术的堆砌,更是用户情感的载体。通过技术创新降低音乐创作门槛,让用户不再受限于专业的乐理知识,复杂的音乐制作流程和昂贵的版权费用,就可以轻松通过音乐创作记录生活的切片,在创作中提升审美自觉和音乐生产能力。
以唱鸭为代表的AI音乐创作工具使人人参与音乐创作成为现实,也带来生产侧和消费侧的全面革新,其对影视和音乐行业的潜在影响不会亚于数字音乐和流媒体的兴起。
《2024中国音乐产业发展总报告》显示,2023年中国数字音乐产业规模达到893.45亿元,中国网络音乐用户规模达到7.26亿。高盛《Music In The Air》指出,预计到2030年,全球音乐市场(录制音乐、词曲版权和演出市场)的收入预计达到1637亿美元。在可预见的未来,音乐市场仍将保持旺盛发展势头。而随着生成式AI的推动和广泛应用,数字音乐产业价值将进一步凸显。我们也应该看到,生成式AI技术虽然解锁了巨大的市场空间和可能性,但也不能忽视其不完美的现状。贾朔表示,“让AI工具能通过人类的服从性测试,真正嵌入到内容创作者的工具流里面,解决创作过程中的实际问题,可能是行业内的整体挑战。”