中国版Sora来了！清华打造！背后创业公司已融资数亿元

时隔两个月，清华团队(duì)打造了一个中国版的Sora视频大模型。

4月27日，在中关村(cūn)论坛未来(lái)人(rén)工智能先锋论坛上，中国首个长时长、高一致性(xìng)、高(gāo)动态性视频大(dà)模型Vidu正式发(fā)布。这一(yī)模(mó)型由清(qīng)华大学(xué)和大模型创业公司生数科技联(lián)合发(fā)布，可(kě)以一键生(shēng)成长(zhǎng)度达16秒、分辨率为1080P的高清视频内容。

证券时(shí)报记(jì)者独家获悉，清华大学人工智能研究院副院(yuàn)长、生数科技首(shǒu)席(xí)科学家朱军在Vidu发布后发声(shēng)表示：“Vidu，we do, we did, we do together！感谢小伙伴们日以继夜的坚持，在(zài)实验室架(jià)构上(shàng)开花结(jié)果。”据介绍，这也(yě)是自OpenAI发布(bù)Sora以后(hòu)，全球率先取(qǔ)得重大突破的视频(pín)大模(mó)型(xíng)。

Sora发布后(hòu)，行(xíng)业内(nèi)一直有团队宣称要追赶和复现(xiàn)Sora，而Vidu团队用两个月的时间率先跑出来。记者梳理发现，生数科技在多模态大模型(xíng)领域已经有(yǒu)较深的积累，也是目前多模态大模型(xíng)赛道估值最高的初创公司之(zhī)一。目前公司已完成三轮融资，融资额达数亿元人民币，投资方包括启明创投、智谱AI、BV百度风投、锦秋基金等一众机构难忘的署假生活作文。

对标Sora，生成视(shì)频(pín)连贯高(gāo)清

“画(huà)室里的一艘船驶向(xiàng)镜头”，只需要输入这样一句简单(dān)的指令，即可以生成效果(guǒ)逼真、镜头连贯的一段视频。在生数科技发布的Vidu模型生成视频样(yàng)片中，视频的整体质感几乎可与(yǔ)Sora相媲美。

据生数科技介绍，Vidu模型采(cǎi)用(yòng)团队原创的Diffusion与Transformer融合的架构U-ViT，支持一键生成长达16秒、分辨率高达(dá)1080P的高清视频内容。“U-ViT架(jià)构早在2022年9月就由团(tuán)队提出，早于Sora采用的DiT架构，是全球首个Diffusion与Transformer融合的架构。”生数科技表示。

记(jì)者注意到，今年3月(yuè)生数科技完(wán)成(chéng)新一轮(lún)融资后，公(gōng)司就公(gōng)开表示，虽然Sora的出(chū)现表明美国在多模态大模(mó)型领域具有领先性，“但(dàn)中国也并非完全从零开始(shǐ)的阶段”。据介绍，朱军(jūn)在2023年1月就提出了(le)基于Transformer的多(duō)模态扩(kuò)散大模型UniDiffuser，采用了(le)U-ViT，该架构与Sora的架构路线完全一致，区别在于UniDiffuser主要(yào)应用于图(tú)像生成任务，但也(yě)可以以(yǐ)此为基础进(jìn)行视频任务的拓展。

正是(shì)基于在机器学习和多(duō)模态大模型的长期积累，团队才能够在短(duǎn)短的两个月(yuè)时间里突破了(le)长视频表示与处理的多项关键技术(shù)，成功研发(fā)推出(chū)Vidu视频大模型。朱军在Vidu模型发布现(xiàn)场表示，Vidu主要有以(yǐ)下方面的(de)特点与优势：

一是模拟真实物理世界(jiè)，可以生成(chéng)复(fù)杂、细节丰富(fù)的场景，光影(yǐng)效果与人物表(biǎo)情都能(néng)够(gòu)符合真实的物理规律。

二是富(fù)有想象(xiàng)力(lì)，可以虚构(gòu)场景以及想象超现实主义的(de)画面。

三是具有多镜头语言，不再局限于固定镜头(tóu)，能够在遵循主体一致性的情况下实现远景(jǐng)、近景、中景、特写等不同(tóng)镜头的动态切换，还可以实现长镜头、追焦等效果。

四是有出色的(de)视频时长，能支持16秒长度(dù)的视频生成，保持镜头和主体(tǐ)的连贯一(yī)致。

五是能理(lǐ)解中国元素，可以更好地理解生(shēng)成(chéng)熊猫、龙等富有中国文(wén)化特色的形象。

Vidu生成的龙、熊猫等中国文化(huà)元素(sù)视频

背后团队来自清华，已融资数亿元

Vidu的背后，是一家来自清华的(de)明(míng)星创业公司生数科技。

公开资(zī)料显示，生数科技成立于2023年3月，核心成员来(lái)自清华(huá)大学人工智能研究院，致力于自主研发世界领先的可控多(duō)模态通(tōng)用大模型。公司的CEO本(běn)硕就读于清华大学(xué)计算机系的唐家渝(yú)，首席科学家(jiā)由清华人工智能研(yán)究院(yuàn)副院(yuàn)长朱军担任，CTO鲍凡则是清华大学计算机系博士生、朱军教(jiào)授的课题组成员(yuán)，长期关注扩散模型领(lǐng)域研(yán)究。

记者(zhě)注意到，今年(nián)3月，唐家渝曾在沟(gōu)通会上向媒体表示，今年内公司(sī)的大模型一定能达到Sora目前(qián)版本的效果(guǒ)，“但很难说是三个月还是(shì)半年”。然而，Vidu却提前交出了一(yī)份令人惊艳的考卷，这主(zhǔ)要得益于团队是国内最(zuì)早布(bù)局多模态大模型的团队(duì)之一，多年以来(lái)在这一领域形成了深厚的积累。

据唐家渝介绍，生数科技目前采取模型层(céng)和应用层两条路走路的(de)模式。一方面，构建覆盖(gài)文本、图像、视频、3D 模型等多模态能(néng)力的底层(céng)通用大模型(xíng)，面向B端提供模型(xíng)服务能力；另一方面(miàn)，面(miàn)向图像生成、视频生成(chéng)等场景打(dǎ)造垂类应用，按照(zhào)订阅等形式收费(fèi)，应用方向主要是游戏制作、影视后期等内容创作场景。

记者梳(shū)理发现，生数科技自成(chéng)立以来就(jiù)备受资本关(guān)注。天眼查(chá)数据显示(shì)，生数科技目前共完成3轮融(róng)资。2023年6月(yuè)，完成近亿元人民币天使轮融资，投资方包括蚂蚁集(jí)团、BV百度风投、卓源亚洲、卓源(yuán)资本；2023年8月，完成数千万人民币天使+轮融资，投资方为锦秋基金；2024年3月，完成数亿元人民币A轮融资，投资方除了启明创投、达泰资本、智谱AI等(děng)新机构以(yǐ)外，还有BV百度风投、卓源(yuán)亚洲两个老股东。

在三(sān)轮融资(zī)总计数亿元(yuán)人民币(bì)的资本加持下，生数(shù)科技已成为目前国内多(duō)模态大模型中估值最(zuì)高的初(chū)创公(gōng)司之一。生数科技表示，Vidu的问世不仅是U-ViT融合架构在大规模视觉(jué)任务中的又一次成功验证，也代(dài)表了(le)生数科技(jì)在多模态原生大模型(xíng)领域的持(chí)续创新能力和领先性。

责(zé)编：朱(zhū)雨蒙

校对：冉燕青

时隔两(liǎng)个月，清华团(tuán)队打造了一个中国版的(de)Sora视频大模型。

4月27日，在中关(guān)村论坛(tán)未(wèi)来人工智能先锋论(lùn)坛上，中国首个长时(shí)长、高一致性、高动态性视频大模型Vidu正式(shì)发布。这一模型由清(qīng)华大学和大模(mó)型创业公司生(shēng)数科(kē)技联合发布，可以一键生成长度达16秒、分辨率为1080P的高清视频内容。

证券时报记者独家获悉，清华大学人工智能研究院副院长、生数科技首席科学家朱军在Vidu发布后发声表示：“Vidu，we do, we did, we do together！感(gǎn)谢小伙伴们日以继夜的坚持，在实验(yàn)室架(jià)构上开花结果。”据介绍，这(zhè)也是(shì)自OpenAI发布Sora以后，全球率先取得重大突破的视(shì)频大模型(xíng)。

Sora发布后，行业内一(yī)直有团队宣称要追赶和复现Sora，而Vidu团队用两(liǎng)个(gè)月的时间率先跑出来。记者梳理(lǐ)发现，生数科技(jì)在多模态大模型领域已经有较深的积累(lèi)，也是目前多模态大(dà)模型赛道估(gū)值最高的(de)初创公司之一。目前公司已完成三轮(lún)融资，融资额达数亿元人民币，投资方包括启明创投、智(zhì)谱(pǔ)AI、BV百度风投、锦秋基(jī)金等一(yī)众机构。

对标Sora，生成视频连贯高清

“画室里的一艘船驶向镜头”，只需要输(shū)入这样一句(jù)简单的指令，即可以生成效果(guǒ)逼真、镜头连贯的一段视频。在生数科(kē)技发布的Vidu模型生成视频样片中，视频的整体质感几乎可与Sora相媲美。

据生数科技介绍，Vidu模型采用团队(duì)原(yuán)创的Diffusion与Transformer融(róng)合的架构U-ViT，支持一(yī)键生成长达16秒、分辨(biàn)率高达1080P的(de)高清视频(pín)内容。“U-ViT架构(gòu)早在2022年9月就(jiù)由团队提出，早于Sora采用(yòng)的DiT架构(gòu)，是全球首个Diffusion与Transformer融合的架构。”生数科技表示。

记者注意到，今年(nián)3月生数科技完成新一轮融资后，公司就公开表示，虽然(rán)Sora的出现表明(míng)美国在多模态大模型领域具有领先性(xìng)，“但中国(guó)也并非完全从零开始的阶(jiē)段”。据介绍(shào)，朱军在2023年1月就提出了(le)基于Transformer的多模态扩(kuò)散大(dà)模型UniDiffuser，采用了U-ViT，该架构与Sora的架构路线完全一(yī)致，区别在于UniDiffuser主要(yào)应用(yòng)于图(tú)像生成任务，但也可以以此为基础进行视(shì)频任务的拓展。

正是基于在机器学习和多模态大模型的长期(qī)积累(lèi)，团队才能够在短短的两个(gè)月时间里突破了长视频表示与处理的多项关键技术，成功研发推出Vidu视频大(dà)模型。朱军在(zài)Vidu模型发(fā)布现场(chǎng)表示，Vidu主要(yào)有以下方面(miàn)的特点(diǎn)与(yǔ)优势：

一是(shì)模拟(nǐ)真(zhēn)实物(wù)理世界，可以生成复杂、细(xì)节丰富的场(chǎng)景，光影效果与人物表情都能够符合(hé)真实的物理规律(lǜ)。

二是富有想象力，可以虚构场景(jǐng)以及想象超现实主义的画面。

三是具有(yǒu)多镜头语(yǔ)言(yán)，不再局限于固定镜(jìng)头，能够在遵(zūn)循主体一致性的情况下(xià)实(shí)现远景、近景(jǐng)、中景、特(tè)写等不同镜头的(de)动态切换，还可以实现长镜头、追焦等效果。

四是有(yǒu)出色的视频时(shí)长，能支持16秒长度的视(shì)频生成，保持镜头(tóu)和主体的连贯一致(zhì)。

五是能理解中国元素，可以更好地理解生成熊猫、龙等富有中国文化特色的(de)形象(xiàng)。

Vidu生成(chéng)的龙、熊猫等中国文化元素视频

背后团队来自清华(huá)，已(yǐ)融资数亿(yì)元

Vidu的背后，是一家来自清华的明星创业公司生数科(kē)技。

公开(kāi)资(zī)料显示，生数(shù)科技(jì)成立于2023年3月，核心成员来自清华大学人工智能研(yán)究院，致力于自主(zhǔ)研发世界领(lǐng)先的可控多模态通用大模型(xíng)。公司的CEO本硕就读于清华大学计算(suàn)机系的唐家渝，首席科学(xué)家(jiā)由清华人工智能研究院副院(yuàn)长朱军担任，CTO鲍凡(fán)则是(shì)清华大学计算机系博士生、朱军(jūn)教授的课题组(zǔ)成员，长期关注(zhù)扩散模型领域研究。

记(jì)者注(zhù)意到(dào)，今年3月，唐家渝(yú)曾在(zài)沟(gōu)通会上向媒体表示(shì)，今(jīn)年内公司的大模型一定能达到Sora目前(qián)版(bǎn)本的效果，“但很难说是三(sān)个月(yuè)还是半年”。然而，Vidu却(què)提前交出了一份令人惊艳的考卷，这(zhè)主要得益于团队是国内(nèi)最(zuì)早布局多模态大模型的团队之一，多年(nián)以来在这一领(lǐng)域(yù)形成了深厚的积累。

据唐家渝介绍，生数科技目前采取模型层和应用层两条路走路的模式。一方面，构建覆盖文本、图(tú)像、视频(pín)、3D 模(mó)型等(děng)多模态能力的底层通用大模型，面向B端提供模型服务能力；另一方面，面向图像生成、视频生成等场(chǎng)景打造垂类应用，按照订阅等形式收费，应用方向主要是游戏制作、影视后期等内容创作场景。

记者梳理发现(xiàn)，生数科技自成立以(yǐ)来就备(bèi)受资本(běn)关注。天眼查数据显(xiǎn)示，生数科技目前共完成3轮融资。2023年6月，完成近亿(yì)元人民币天(tiān)使轮融资，投资方包括蚂蚁(yǐ)集团、BV百(bǎi)度风投、卓源(yuán)亚洲、卓源资本(běn)；2023年8月，完成(chéng)数千万(wàn)人民币天使+轮融(róng)资，投资方为锦秋基金；2024年3月，完成数亿元人民币(bì)A轮融资，投资方除了启明创投、达泰资(zī)本、智谱(pǔ)AI等新机构以外，还有BV百度风投、卓源亚(yà)洲两个老股东。

在三轮(lún)融资总计(jì)数亿元(yuán)人(rén)民币的资(zī)本加持下，生数科技已成为目前国内多模态大模型中估值最高的初创公司之(zhī)一。生数(shù)科技表示，Vidu的问世不仅是U-ViT融合架构在大规模视(shì)觉任务中的又一次成功验证，也代表了生(shēng)数(shù)科技在多模态原生大模型领域的(de)持续创新能力和(hé)领先性。