V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

爱意满满的作品展示区。

这是一个创建于 839 天前的主题，其中的信息可能已经有所发展或是发生改变。

Github 项目 | 模型解读 | B 站介绍视频 |

我们的这个工作的目标是让用户通过输入几张任意姿势，任意角度下的手绘人物图片，生成该人物生动的动画视频。

希望有兴趣的朋友来体验和帮助我们改进；或动动小手给个三连，谢谢大家。

手绘

任意

GitHub

动动

21 条回复 • 2022-08-22 23:47:53 +08:00

Aloento

2022-08-12 23:56:43 +08:00

我可以提供炼丹 GPU

hzwer

2022-08-12 23:58:38 +08:00

@Aloento GPU 我们倒是有很多，可以附送算法大佬吗（

FightPig

2022-08-13 00:02:05 +08:00

这个不错

Aloento

2022-08-13 00:05:31 +08:00

@hzwer 羡慕不缺显卡的，那我可以拿来用用试试看。不是很有空提 PR 抱歉

c0xt30a

2022-08-13 02:23:12 +08:00

OP 能否写篇文章介绍下文章核心算法和炼丹时候踩过的坑？

hzwer

2022-08-13 02:37:52 +08:00

@c0xt30a 现在只有这个，因为还在改进中，之后看看有没机会再写
https://zhuanlan.zhihu.com/p/549112479

codingBug

2022-08-13 02:38:13 +08:00

看起来好棒

whywaoxaks

2022-08-13 09:17:38 +08:00

是我看错了么？胸还在抖么？😂

edis0n0

2022-08-13 14:49:39 +08:00

黄学长太强了！要是能做到只输入一张图（因为很多情况都是只有一张图）应用就广了。

hzwer

2022-08-13 15:49:51 +08:00

@edis0n0 输入一张图也可以有一定效果，但确实应该需要一些其他的补全技术

jwenjian

2022-08-14 15:49:24 +08:00

https://sketch.metademolab.com/canvas , Meta 有一个让孩子的手绘小人动起来的实验项目, 是不是一个原理?

Juszoe

2022-08-15 09:55:08 +08:00

b 站刷到过，很有趣的工作。但是需要一个和人物类似的 3D 模型，这个就没那么简单了，输入人物和模型也不一定刚好能匹配上😂

tsutomu

2022-08-15 10:38:29 +08:00

直接导出模型就好

hzwer

2022-08-15 13:44:27 +08:00

@Juszoe 是的，不过我们试过匹配不上的情况，也没有崩得非常离谱
总之是需要联合其它组件一起的，也需要工程师们继续来改进

hzwer

2022-08-15 13:46:26 +08:00

@jwenjian 哇这个确实很有意思，我大概能感受到有很多共通之处

lisongeee

2022-08-15 14:17:13 +08:00

有没有坤坤打篮球的动作？

hzwer

2022-08-15 18:05:04 +08:00

@lisongeee https://www.bilibili.com/video/BV1Xa411o72k

Youkochan0v0

2022-08-16 23:13:34 +08:00 via iPad

@jwenjian 试了一下楼主和#11 的链接，蛮有趣的

darkscope

2022-08-17 20:55:55 +08:00

B 站先关注一波，之前看你发的补帧的也很赞；
话说模型是直接生成视频吗，还是说一套贴图呢，我看需要 mesh 和动作序列
明天看看论文~

Rooney1

2022-08-21 03:25:24 +08:00

很棒的样子

hzwer

2022-08-22 23:47:53 +08:00

@darkscope 说起来挺复杂的，建议看我们 b 站解说

让手绘动漫人设图动起来，一个开源 AI 项目

Github 项目 | 模型解读 | B 站介绍视频 |