-
虚拟数字人全景深度解析
价值投机小学生 / 2023-02-05 18:03 发布
虚拟数字人行业与虚拟现实
人工智能、 元宇宙等产业发展息息相关、 。 近年来
国家发布多项政策支持我国虚拟现实产业发展, 并将虚拟现实和增强现实与云计算, 大数据、 物联网、 工业互联网、 区块链、 人工智能一起列为数字经济重点产业、 。 数字人作为与虚拟世界交互的重要载体
潜在市场空间广阔, 目前国内虚拟数字人产业链布局已趋于完善。 未来有望借助于在应用场景领域的优势, 在政策大力支持下, 迎来快速发展阶段, 。 01
虚拟数字人行业概览
虚拟数字人是指具有数字化外形的虚拟人物。
与具备实体的机器人不同 虚拟数字人依赖显示设备存在, 并且拥有类人的生理构造, 模仿人的形象( 肢体构造、 ) 人的行为、 能说话( 能运动、 以及人的思想) 基本的逻辑能力( 并可以出输出内容如书写、 与人交谈、 ) 。 资料来源
: 行行查虚拟数字人的发展与其制作技术的进步密不可分
从最早的手工绘制到现在的CG, 人工智能合成、 虚拟数字人大致经历了萌芽, 探索、 初级和成长四个阶段、 。 作为元宇宙底层技术与核心资产之一
虚拟人技术具备较大的应用空间, 。
虚拟数字人在元宇宙这一生态圈层中担任着信息制造 信息传递的重要角色、 是元宇宙, “ 人-物-场” 链接的核心数字资产与要素。 虚拟数字人正迅速触及各行业及各应用领域
并给传统市场带来积极变革, 。 目前虚拟数字人技术仍主要用于虚拟偶像
电商直播、 短视频、 新闻综艺节目等泛娱乐行业、 并不断向金融, 教育、 医疗、 文旅、 社交等领域拓展、 为众多行业赋能, 。 02
虚拟数字人分类
按技术分类虚拟人可分为算法驱动型
AI实时或捏脸等( 和真人驱动型) 动作捕捉( ) 。 真人驱动型
通过真人
俗称皮套人( 中之人、 来驱动数字人) 主要原理是真人根据视频监控系统传来的用户视频, 与用户实时语音, 同时通过动作捕捉采集系统将真人的表情, 动作呈现在虚拟数字人形象上、 从而与用户进行交互, 。
它生成的往往是一个静态模型 在绑定关键点之后, 需要借助真人通过动作捕捉设备进行形体, 眼神、 动作等的捕捉、 然后才能进行驱动和渲染, 。 当前关注度较高的真人驱动型虚拟数字人主要有Siren
来自腾讯( ) A-SOUL女团、 来自乐华娱乐( 字节跳动、 ) VIVI子涵、 来自京东( 等) 。 算法驱动型
通过智能系统自动读取并解析识别外界输入信息
根据解析结果决策虚拟数字人后续的输出文本, 然后驱动人物模型生成相应的语音与动作来使虚拟数字人跟用户互动, 该人物模型是预先通过AI技术训练得到的。 可通过文本驱动生成语音和对应动画, 。 它是基于深度学习模型的三维场景表达和对应的神经渲染管线
可以自驱动学习模特说话时的唇动, 表情、 语音以及姿态和动作等、 。 当前关注度较高的算法驱动型虚拟数字人主要有华智冰
来自智源研究院( 智谱AI、 小冰公司、 ) 洛天依、 来自Yamaha( ) 柳夜熙、 来自创壹科技( 等) 。 资料来源
: 行行查按核心功能分类
: 虚拟人可分为服务型和身份型服务型虚拟数字人
: 可提供服务而具备功能性 可替代真人完成任务或提供日常陪伴, 关怀等服务、 如虚拟主播, 虚拟老师、 虚拟陪伴助手等、 。 身份型虚拟数字人
: 与缺乏人格象征的服务型虚拟数字人相比 身份型虚拟数字人具备鲜明身份性, 可用于娱乐/社交等场合, 如虚拟IP/偶像, 虚拟世界第二分身、 。 虚拟IP在现实世界中并不存在对应的真人
其外貌特征, 基本人设、 各类偏好、 背景信息等均由人为设定、 在虚拟IP领域。 大多会采用真人驱动的方式进行运营, 但对应的真人演员与虚拟IP本身并无强绑定关系, 另外
按视觉维度分类虚拟人可分为2D型和3D型, ; 按结构组成分类虚拟人可分为数字型 用户线上观看( 和全息型) 用户现场裸眼观看( ) 。 03
虚拟数字人行业制作流程
三大关键环节虚拟数字人的制作流程涵盖了诸多技术
制作方式与制作技术仍在不断进化中, 。
虚拟人制作流程中最为核心 最具挑战的是建模、 驱动、 渲染三大流程、 。 建模环节
以真人为模型或设计人物为虚拟数字人建立基本的3D模型 3D 建模为构建虚拟人形象的基础。 重点在于实现细节的精细还原, 。 驱动环节
通过真人动作捕捉 真人驱动型( ) 训练驱动模型、 算法驱动型( 等形式确定虚拟数字人的基本动作) 。 渲染环节
根据在设计环节中确定的虚拟人最终呈现效果和应用场景等外界要素 将模型与其运动进行渲染以呈现最佳效果, 渲染技术用于提升虚拟人的逼真程度。 实时互动亦需要实现实时渲染, 。 五大关键模块
虚拟数字人的三大基本特征
具备人的外观( 人的行为、 人的思想、 ) 基于大量技术栈的支撑, 涉及硬件设备和软件算法众多领域, : 图形识别 视觉技术、 3D建模、 CG渲染、 动作捕捉、 人工智能、 计算机语音技术、 自然语言处理等、 。 而一个虚拟数字人
一般情况下会由人物形象, 语音生成、 动画生成、 音视频合成显示、 交互等五个模块构成、 。 04
虚拟数字人行业应用价值
从人机交互到人: “ 人” 交互随着AI技术的成熟
5G网络的普及以及虚拟现实终端的应用、 人机交互方式从最早PC时代的键盘鼠标交互, 到目前的移动终端app交互, 过渡到自然语言的AI交互, 。
同时由于虚拟数字人“ 真实性 高效性、 情感性、 ” 特点 代表着人机交互新范式—人, “ 人” 交互 使得超写实虚拟数字人与真人进行实时, “ 面对面” 交互成为现实。
05虚拟数字人行业产业链
当前虚拟数字人理论和技术日益成熟
应用范围不断扩大, 产业正在逐步形成, 不断丰富、 目前已经发展出了由技术层, 平台层、 应用层组成的产业链结构、 。 上游技术层
为虚拟人的生产制作提供技术支持
主要可分为硬件部分和软件部分, 。 硬件包括所有虚拟人呈现及交互所需的硬件
如显示设备, 芯片和交互所用的光学器件、 传感器等、 以及制作虚拟人时需要承载算力的计算设备, 动作捕捉所用的各类光学器件以及动作传感器等、 。 软件端除了呈现和交互软件外
在制作环节还需要建模软件和渲染引擎, ; 基础层的厂商主要在海外 已深耕行业多年并形成了较为深厚的技术壁垒, 。 中游平台层
将上游中各独立技术进行串联
应用在具体的项目设计中, 主要包括建模, 动捕、 渲染等制作环节、 。
平台层公司目前在高速发展中 竞争壁垒主要在如何结合技术能力和文化设计能力, 为下游应用层提供整合的虚拟人解决方案, 随着AI。 算法、 5G网络等技术发展、 制作环节成本仍有下降空间, 。 下游应用层
将虚拟人应用于各行业领域
虚拟人相关技术首先在影视。 传媒和游戏领域有了多年应用的积累、 随着技术进一步成熟正逐步呈现出新的赋能方式, 。
目前在金融 文旅等领域、 虚拟人凭借其与AI技术的结合, 以及成本, 表现力优势逐步开始提供数字员工、 虚拟导游等服务、 。 资料来源
: 行行查06
虚拟数字人行业商业模式
虚拟偶像的商业变现模式: 虚拟偶像是当前国内各大互联网平台争相打造的虚拟数字人形象
相比真实偶像, 虚拟偶像具有确定性强, 无负面新闻、 、 “ 永不塌房” 的特点 未来将对真人偶像产生一定冲击, 目前国内的虚拟偶像的商业变现以直播带货。 打赏及代言为主流、 。 收入端
: 目前虚拟偶像创造的收入主要来自营销端 代言( 直播带货等、 ) 形象端、 商演( 直播打赏、 影视剧参演等、 ) 声音端、 歌曲( MV发售、 ) 衍生品、 游戏( 动画、 手办模型等、 ) 。 成本端
: 根据蓝色光标的 元宇宙营销工作手册《 》 当前技术水平下设计一个虚拟偶像形象花费10-100万元, 且后续的内容制作和智能驱动研发还需持续投入, 动态虚拟数字人直播或者视频制作的数据/渲染等对技术/算力要求较高, 。 此外优秀的原创内容是虚拟偶像的主要竞争壁垒
如果拥有专业运营团队支持, 运营人力成本较高, 以虚拟偶像短频产品来看。 一条普通的短视频成本大约在几千元甚至上万元, 数分钟的定制视频的成本则需要花费数万元乃至十几万元, 。 07
虚拟数字人行业商业模式
虚拟偶像核心在于IP运营: 在全民娱乐时代
文学, 动漫、 影视、 游戏、 综艺节目等娱乐形式不再孤立发展、 优质的虚拟偶像IP需要体系化运营, 即通过多渠道, 多形式的协同合作、 共同打造一个优质IP, 构建大文娱产业新生态, 同时。 这种各业态的打通使得每一个虚拟IP都可以衍生出众多的新内容, 有利于虚拟谁人产业的内容丰富化, 。 以原创虚拟IP
“ 翎” 为例 出道获得了娱乐, 科技、 海内外主流媒体的关注、 是首个登上央视综艺, 华彩少年《 的虚拟人》 微博粉丝已有40余万, 与奈雪的茶, 特斯拉、 太平鸟乐町、 KEEP、 天梭、 100年润发、 百盛等实现跨界合作、 。 08
虚拟数字人行业竞争格局
海外巨头聚焦于虚拟数字人的基础建设
。 虚拟数字人产业链的基础层主要是技术壁垒深厚的海外巨头
典型代表如英伟达, EpicGames、 Unity均基于自身技术优势向下游生产技术服务平台延伸、 。
国内领先企业更多的是自研AI系统并探索虚拟数字人在社交活动 新闻媒体、 文旅等领域的应用、 不断涌现大量新锐企业, 。 从区域布局来看
我国数字人代表企业主要集中在北京, 广东、 浙江、 上海等经济和科技性产业较为发达的地区、 。 资料来源
: 行行查国内虚拟数字人领域的头部玩家主要是基于已有的动作捕捉
3D建模、 渲染、 AI算法等相关技术、 在已有业务的基础上逐步切入该赛道, 如百度, 阿里、 腾讯、 网易、 科大讯飞、 搜狗等综合类技术大厂、 。 此外
AI算法, CG类企业以及部分硬件设备厂商通过算法自研、 软件开发、 也在积极进入娱乐, 传媒等相关领域、 。 运营型厂商的核心业务是虚拟数字人IP及数字资产运营
相关布局厂商包括上海禾年, 动图宇宙、 次世文化、 乐华娱乐、 燃麦科技等、 技术服务厂商有中科深智。 万像文化、 魔珐科技等、 虚拟数字产业链参与玩家还包括芒果超媒。 蓝色光标、 风语筑、 视觉中国、 海天瑞声等各环节厂商、 。 我国虚拟数字人赛道未来的玩家生态可能会更加丰富
具体所在的业务领域与入局方式将和公司的核心竞争力高度相关, 头部玩家和中小规模的参与者差异将日益明显, 。 虚拟数字人行业当前依然处于培育期
一是缺少上下游协作交流平台。 制约整体产业化发展, 虚拟数字人产业链长。 参与主体多, 既有大型平台企业, 也有中小单位和初创公司、 行业沟通成本高, 二是行业投资回报周期较长。 为数字人产业投资竖立了, “ 无形壁垒” 。 虚拟数字人产业还不完全成熟
投资回报周期较传统技术应用更长, 缺乏长期耐心资本来扶持企业成长, 由于缺乏资本力量的推动。 产业规模扩张与资源整合的进程相对滞后, 。 技术应用层面来看
制作方式自动化程度低, 生产门槛高、 关键技术还不够完全成熟, 。
目前3D虚拟数字人建模依然需要大量的人工制作参与 整体制作效率相对较低, 与部分应用场景快速, 批量制作的需求并不匹配、 此外。 在虚拟数字人的关键技术方面, 还存在实时面部表情捕捉与还原精准度不足, 语音识别在强噪声干扰及远场识别等方面还很难达到实用化要求等瓶颈, 需要加大研究力度以提高算法精度, 。 另外
虚拟数字人技术在发展中会引发一些法律问题和伦理风险, 需要提前建立相关制度进行防范, 虚拟数字人带来的沉浸式体验可能会对用户的精神。 心理状态带来影响、 改变用户在脱离虚拟世界后的行为, 存在一定伦理风险, 。 尽管目前数字人的发展环境
整体情况还处于尚未成熟的起步阶段、 但随着虚拟数字人技术的精进, 市场价值的释放、 其将更全面, 更深入地融入影视、 金融、 文旅等各个领域、 充分发挥应用价值, 迸发巨大的潜力, 。 来源
: 乐晴智库精选