# 后端模型处理

当前后端主要围绕四类模型提供服务：深度估计、语义分割、图像补全和动画生成。

前端通过 GET /models 获取模型列表和参数配置，用来动态生成 UI；推理接口分别为：

POST /depth

POST /segment

POST /inpaint

POST /animate

## 一、深度估计

输入一张 RGB 图像，输出每个像素的相对深度，用于后续的分层和视差计算。

这一部分是整个伪3D效果的基础，深度质量直接决定最终效果上限。

模型：

* ZoeDepth：https://github.com/isl-org/ZoeDepth.git
* Depth Anything v2：https://github.com/DepthAnything/Depth-Anything-V2.git
* MiDaS：https://github.com/isl-org/MiDaS.git
* DPT：https://github.com/isl-org/DPT.git

接口说明

HTTP：POST /depth

请求体：DepthRequest

实现：models_depth.py 中的 run_depth_inference


## 二、语义分割

对图像进行像素级分区，用于辅助分层（天空 / 山 / 地面 / 建筑等）。

在伪3D流程中，这一步主要解决一个问题：

哪里可以拆开，哪里必须保持整体

模型：
* Mask2Former：https://github.com/facebookresearch/Mask2Former.git
* SAM：https://github.com/facebookresearch/segment-anything.git

接口说明

HTTP：POST /segment

请求体：SegmentRequest

实现：models_segmentation.py 中的 run_segmentation_inference

## 三、图像补全

在进行视差变换或分层后，图像中会出现“空洞区域”，需要通过生成模型进行补全。

这一部分主要影响最终画面的“真实感”。

模型：
* SDXL Inpainting：https://github.com/AyushUnleashed/sdxl-inpaint.git
* ControlNet：https://github.com/lllyasviel/ControlNet.git

接口说明

HTTP：POST /inpaint

请求体：InpaintRequest

实现：models_inpaint.py 中的 run_inpaint_inference

## 四、动画生成

通过文本提示词生成短动画（GIF），用于从静态描述快速预览动态镜头效果。

这部分当前接入 AnimateDiff，并通过统一后端接口对外提供调用能力。

模型：
* AnimateDiff：https://github.com/guoyww/animatediff.git

接口说明

HTTP：POST /animate

请求体：AnimateRequest

实现：`python_server/model/Animation/animation_loader.py` + `python_server/server.py` 中的 `animate`