Shap-E

[[open-in-colab]]

Shap-E 是一种用于生成 3D 资产的条件模型，可用于视频游戏开发、室内设计和建筑。它是在大型 3D 资产数据集上训练的，并经过后处理以渲染每个对象的更多视图，并生成 16K 而不是 4K 点云。Shap-E 模型分两步训练：

编码器接收 3D 资产的点云和渲染视图，并输出表示该资产的隐式函数的参数
扩散模型在编码器生成的潜在变量上进行训练，以生成神经辐射场 (NeRF) 或纹理化的 3D 网格，从而更易于渲染和在后续应用中使用 3D 资产

本指南将向你展示如何使用 Shap-E 开始生成你自己的 3D 资产！

在开始之前，请确保你已安装以下库：

# uncomment to install the necessary libraries in Colab
#!pip install -q diffusers transformers accelerate trimesh

文本转 3D

要生成 3D 物体的 GIF，请将文本提示传递给 [ShapEPipeline]。该管道生成一系列图像帧，用于创建 3D 对象。

import torch
from diffusers import ShapEPipeline

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

pipe = ShapEPipeline.from_pretrained("openai/shap-e", torch_dtype=torch.float16, variant="fp16")
pipe = pipe.to(device)

guidance_scale = 15.0
prompt = ["A firecracker", "A birthday cupcake"]

images = pipe(
    prompt,
    guidance_scale=guidance_scale,
    num_inference_steps=64,
    frame_size=256,
).images

现在，使用 [~utils.export_to_gif] 函数将图像帧列表转换为 3D 对象的 GIF。

from diffusers.utils import export_to_gif

export_to_gif(images[0], "firecracker_3d.gif")
export_to_gif(images[1], "cake_3d.gif")

prompt = "A firecracker"

prompt = "A birthday cupcake"

图像转 3D

要从另一张图像生成 3D 对象，请使用 [ShapEImg2ImgPipeline]。你可以使用现有图像或生成全新的图像。让我们使用 Kandinsky 2.1 模型来生成一张新图像。

from diffusers import DiffusionPipeline
import torch

prior_pipeline = DiffusionPipeline.from_pretrained("kandinsky-community/kandinsky-2-1-prior", torch_dtype=torch.float16, use_safetensors=True).to("cuda")
pipeline = DiffusionPipeline.from_pretrained("kandinsky-community/kandinsky-2-1", torch_dtype=torch.float16, use_safetensors=True).to("cuda")

prompt = "A cheeseburger, white background"

image_embeds, negative_image_embeds = prior_pipeline(prompt, guidance_scale=1.0).to_tuple()
image = pipeline(
    prompt,
    image_embeds=image_embeds,
    negative_image_embeds=negative_image_embeds,
).images[0]

image.save("burger.png")

将芝士汉堡传递给 [ShapEImg2ImgPipeline] 以生成其 3D 表示。

from PIL import Image
from diffusers import ShapEImg2ImgPipeline
from diffusers.utils import export_to_gif

pipe = ShapEImg2ImgPipeline.from_pretrained("openai/shap-e-img2img", torch_dtype=torch.float16, variant="fp16").to("cuda")

guidance_scale = 3.0
image = Image.open("burger.png").resize((256, 256))

images = pipe(
    image,
    guidance_scale=guidance_scale,
    num_inference_steps=64,
    frame_size=256,
).images

gif_path = export_to_gif(images[0], "burger_3d.gif")

cheeseburger

3D cheeseburger

生成网格

Shap-E 是一种灵活的模型，它还可以生成纹理化的网格输出，以便在后续应用中进行渲染。在本例中，你将把输出转换为 glb 文件，因为 🤗 Datasets 库支持 glb 文件的网格可视化，这些文件可以通过数据集查看器进行渲染。

你可以通过将 output_type 参数指定为 "mesh" 来为 [ShapEPipeline] 和 [ShapEImg2ImgPipeline] 生成网格输出：

import torch
from diffusers import ShapEPipeline

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

pipe = ShapEPipeline.from_pretrained("openai/shap-e", torch_dtype=torch.float16, variant="fp16")
pipe = pipe.to(device)

guidance_scale = 15.0
prompt = "A birthday cupcake"

images = pipe(prompt, guidance_scale=guidance_scale, num_inference_steps=64, frame_size=256, output_type="mesh").images

使用 [~utils.export_to_ply] 函数将网格输出保存为 ply 文件：

from diffusers.utils import export_to_ply

ply_path = export_to_ply(images[0], "3d_cake.ply")
print(f"Saved to folder: {ply_path}")

然后，你可以使用 trimesh 库将 ply 文件转换为 glb 文件：

import trimesh

mesh = trimesh.load("3d_cake.ply")
mesh_export = mesh.export("3d_cake.glb", file_type="glb")

默认情况下，网格输出是从底部视角聚焦的，但你可以通过应用旋转变换来更改默认视角：

import trimesh
import numpy as np

mesh = trimesh.load("3d_cake.ply")
rot = trimesh.transformations.rotation_matrix(-np.pi / 2, [1, 0, 0])
mesh = mesh.apply_transform(rot)
mesh_export = mesh.export("3d_cake.glb", file_type="glb")

将网格文件上传到你的数据集存储库，以便使用数据集查看器进行可视化！

Shap-E ​

文本转 3D ​

图像转 3D ​

生成网格 ​

Shap-E

文本转 3D

图像转 3D

生成网格