【XiaoMate】用自己的照片生成一个你自己的3D人物模型

一、前言

想给我自己的桌宠【XiaoMate小美同学】搞一个写实的人物角色,所以趁这个中秋假期来试试看,昨天晚上开始问大模型如何可以用一张人物图片来生成一个3D人物模型,然后看解决方案,下载安装软件Blender(几百兆的文件,莫名其妙的下载了几个钟头),然后今天早上终于把基础流程走通了,但是还存在一些问题,最大的问题是原始生成的模型是有纹理的,但是搞到后面纹理丢失了,还不知道是哪一步的问题。

以下是整个流程,先跟大家分享一下:

  • 步骤一:生成人物照片。混元大模型:https://hunyuan.tencent.com/ ,再加千问。
  • 步骤二:生成人物模型,混元3D大模型:https://3d.hunyuan.tencent.com/
  • 步骤三:用Blender清洗混元3D生成的模型,去掉Camera, Light。
  • 步骤四:在mixamo上自动绑定骨骼。
  • 步骤五:重新导入Blender,并导出glb或者vrm。
  • 步骤六:在小美同学上加载模型

二、关于XiaoMate

XiaoMate是一个开源的智能桌面宠物应用,支持 2D和3D 模型,可以支持 AI 对话、待办提醒、自动任务、MCP技能调用等丰富功能。

1. 代码仓库

2. 快速开始

本次暂时只提供 Windows 绿色便携包,如果你只是想体验一下XiaoMate的效果,仅需要下载前端包就可以,后端可以先用公有云上的demo版本。

前端可前往 XiaoMate Desktop v2.0.7 发布页 下载;
后端请前往 XiaoMate 后端仓库 获取。

两个都是绿色便携包,解压后,点击目录中的 start.bat 即可运行。

3. 注意事项

  • AI 对话、书签、提醒、自动任务、MCP 技能和通知等在线功能仍然依赖后端;Live2D/3D 模型展示、窗口交互和本地设置不依赖后端。
  • 默认后端地址仅用于演示,服务器配置较低,只建议用于体验界面;运行 Playwright 等复杂任务时大概率会失败。长期使用请自行下载并部署后端,这样数据也可以保存在自己的电脑中。
  • 如果遇到问题,可以添加作者微信:oddmeta;也欢迎关注公众号奥德元,一起学习 AI,一起追赶时代。Good good study, day day up。

三、完整流程

步骤一、生成人物照片

既然是用混元3D来生成模型,那我就想是不是用同样是腾讯的模型来生成张图片,于是我就直接打开腾讯混元,然后跟它说:生成一张美女的照片,要求背景空白,姿势是T-pose,适用于在混元3d上生成人物模型

结果混元说:我这边不能直接生成并发送图片

step1_generate_charactor_hunyuan

于是我又打开千问,把混元输出的提示词喂给了千问。

完整提示词:

正面全身标准 T-pose 参考图,一位年轻成年女性,虚拟人物,面容清秀,表情中性,眼睛睁开,长发扎成低马尾或丸子头,露出额头、脖子和肩膀;身穿浅灰色紧身运动背心和黑色紧身瑜伽裤,衣服合身但不暴露,脚穿白色运动鞋或赤脚;双臂向两侧水平伸直,与肩同高,手掌朝下,手指自然伸直并微微分开,不握拳;双腿伸直,双脚与肩同宽,脚尖朝前;身体笔直站立,正对镜头;纯白色背景,无任何道具、家具、文字、水印;影棚均匀柔光,轻微接触阴影,超写实,高细节,8k,全身完整入镜,四周留白,不裁剪手臂和脚;适合 3D 建模的正面 T-pose 参考图,非性感,非暴露。

千问给我生成了一个美女,如下图所示。

步骤二、生成人物模型

登录混元3D官网:https://3d.hunyuan.tencent.com/
我是混元3D的新注册用户,系统给我送了20次生成次数,也不知道是每天可以20次,还是总共只能白嫖20次。
在那里选择“图生3D”,然后将千问生成的美女上传上去,再点下面的“立即生成”

step2_generate_3d_model_by_using_hunyuan3d

过两分钟后,混元3D就把模型给你生成出来的,只不过脸部的一些细节有失真、僵硬的现象,咱先不管,咱现在要求没那么高。

step2_download_generated_3d_model

然后我们选择将生成好的模型下载下来,我选择下载的模型类型是GLB格式的,因为我刚刚下载安装的Blender很干净,原始版本,啥插件也没有,纯粹是图方便、不想走弯路,事实上其他的一些格式也应该是OK的。

步骤三:用Blender清洗混元3D生成的模型

将下载下来的混元3D生成的glb模型import(导入)到 Blender。
然后在Blender的右上角的 outliner(如果找不到可用快捷键 shift + f9打开),然后在那里禁用掉Camera, Light。

step3_hide_camera_and_light

注:这个时候看到的模型就已经是没有纹理(texture)的了,Blender纯新手,也折腾好久也不清楚怎么回事。并且没有纹理的这个问题到最后放到桌宠上还是一样没有纹理。没研究明白。

步骤四:在mixamo上自动绑定骨骼

打开mixamo官网,注册一个mixamo账号,然后在characters这个页面那边的右边点击upload character, 将步骤三中禁用掉了Camera和Light后导出的模型上传到mixamo,如果你有正确的将模型中没有任何的骨骼、相机、灯光,上传完成后会自动跳出来下面这个auto rigger的界面,而如果在上传完成后报错了,就是你的模型里有一些东西没去干净,需要返回步骤三,在Blender里清理一下。

step4_autorig_wizard

绑定完成骨骼后,你的这个模型就可以用了,点击mixamo网页左边的那些动作,在你的模型上应该都可以看到动作了。

step4_upload_to_mixamo_and_autorig

确认OK了,再在mixamo那里点DOWNLOAD,将绑定骨骼OK的模型再下载下来。

步骤五:重新导入Blender,并导出glb或者vrm

在步骤四中绑定好骨骼的模型下载下来后,可以再用Blender打开/导入(import),然后再用Blender将这个模型转换成VRM/GLB,后面就可以在小美同学桌宠上使用了。

步骤六:在小美同学上加载模型

从Blender中重新导出后(VRM格式或者GLB格式),将之放到XiaoMate目录下的 Resources/models/vrm目录下。
然后再运行XiaoMate桌宠,并在XiaoMate桌宠中打开设置界面,最后在模型选项卡中选择你新生成的这个模型。

效果如下图所示

step6_load_to_xiaomate

四、遗留问题

今天早上只是把基础流程走通了,存在的最大的问题是原始生成的模型是有纹理的,但是搞到后面纹理丢失了,还不知道是哪一步的问题。从现象上看混元3D出来的时候肯定是有纹理的,但是导入到Blender的时候就已经看不到纹理了(这个时候按道理应该是还在的),再后面去掉Camera, Light后放到Mixamo的时候也是没有纹理的,不确定是不是在这一步的时候丢了的,也不知道如何才能把它找回来,或者再自己创建一些新的纹理:衣服、裤子、头发以及其它各种装饰。

俺还是一个纯新手,不知道有没有哪个大佬可以教教。

Leave a comment

Your email address will not be published. Required fields are marked *