嗨，大家好！相信大家都已经知道今天的主题了吧，没错，就是Flux.1系列模型。自几个月前StabilityAI推出SD3-medium模型以来，开源图像模型领域似乎暂时陷入了一段平静期，没有出现太多新的热点，也没有出现太多的新图像模型。不过，直到八月份，情况发生了变化。黑森林实验室（Black Forest Lab，以下简称BFL）带来了他们最新发布的Flux.1系列模型，话说BFL团队2024年8月1日刚宣布成立，然后就发布了Flux.1系列模型。好了，我先从团队背景开始说起把。

团队背景及融资状况

这是一个实力非常强悍的团队，由原SD团队的部分核心成员组成，还曾发表过VQGAN和LatentDiffusion等技术论文，也曾发布过Stable Diffusion XL，Stable Video Diffusion，Rectified Flow Transformers模型和实时图像合成技术（ Adversarial Diffusion Distillation）。

融资方面，BFL宣布已经获得3100万美元的种子轮融资，这次主要投资者是著名的Andreessen Horowitz（a16z，硅谷知名风投）领投，还包括了Brendan Iribe、Michael Ovitz、Garry Tan、Timo Aila和Vladlen Koltun等在内的多位知名天使投资人的参与。

模型介绍

总共发布了三个尺寸规格的模型：

  • FLUX.1 [pro]: 最高性能版本,通过API提供
  • FLUX.1 [dev]: 开放权重版本,用于非商业应用
  • FLUX.1 [schnell]: 最快速版本,适合本地开发和个人使用

这些模型的优势有以下几点：

  1. 图像质量增强，分辨率更好，视觉效果更好；
  2. 细节增强，人物手部优化非常明显；
  3. 提示词语义理解更精准；
  4. 出图速度更快；

FLUX.1pro版本模型的参数量达到了12B，只可惜目前这个版本是闭源的，只开放了API。dev版本是pro版本蒸馏下来的模型，性能也非常强劲，实测需要较高配置（16G+显存和32G+内存），schnell版本虽然没说是pro版本蒸馏的，但我猜应该是dev版本蒸馏的，实测需要普通配置（8G+显存）。

模型使用指南

前置条件：

  1. 需要Comfyui（秋叶版）；
  2. 需要clip和T5模型；
  3. 需要FLUX.1dev模型和va模型；

模型已打包在网盘，国内可以去魔搭社区下载模型速度嘎嘎快，链接在最后。

1. 模型下载

如果还没有下载模型的可以在魔搭社区下载这两个模型；

下载后分别把flux1-dev.safetensors文件放在comfyui根目录下的models\unet文件夹内，把ae.safetensors文件放在models\vae文件夹内。

然后到抱抱脸下载clip模型和T5模型，如何下载可参考过去文章

2. comfyUI启动

ComfyUI核心版本升到最新版，如何使用可以参考其他博主的文章，这里不多做赘述了；

comfyUI启动后点击右侧导航栏中的加载，导入工作流；

选择这张图（工作流）加载，还有三个工作流示例这里也不多作介绍了，在GitHub的comfyui项目页可以找到相关示例；

1）UNET加载器选中flux1-dev.safetensors模型；

2）clip加载器选中T5XXL和clip_l模型；

3）AVE加载器选中ae.safetensors模型；

4）输入提示词；

5）调节图像宽度；

6）调节图像高度；

7）调度器选择迭代步数

注意：这组参数是基于flux1-dev-FP16精度的组合，如果出图慢的话可以把UNET加载器里的weight_dtype参数调到FP8精度，速度会提高不少。（另外，还有个schnell版本我没下载）

这些参数设置完成后就可以开始生成图像了，这次我们来试一下AI画图的老难题。

3. 示例图展示
3.1 手部特写：
3.2 文字海报图：
3.3 微观视角图：

写在最后

以上的这些示例图足以说明Flux.1系列模型的强大了吧，也不用对比SD3了，没啥意义，毕竟核心人员都走了。相对于出图质量，对于电脑硬件的要求也是非常高，我仔细观察了下性能参数，在出图的过程中内存不仅拉满，硬盘读写竟然也拉满了，特别是采样器阶段，CPU和RAM基本都拉满。不得不说，模型的质量是提高了不少，但是硬件要求也高了非常多啊。大语言模型都在往小模型领域发展，而图像模型则是往大模型领域发展。

黑森林：https://blackforestlabs.ai/

comfyui：https://comfyanonymous.github.io/ComfyUI_examples/flux/

魔搭社区：https://modelscope.cn/models/AI-ModelScope/FLUX.1-dev/

网盘传送门：https://pan.baidu.com/s/1xd57BxO9Q19rpfkUMcyEiA?pwd=qqqq

返回