Update README.md
Browse files
README.md
CHANGED
@@ -5,13 +5,10 @@
|
|
5 |
| AltDiffusion-m18 | 多模态 Multimodal | Multilingual | Stable Diffusion | [FlagAI](https://github.com/FlagAI-Open/FlagAI) |
|
6 |
|
7 |
## 模型信息
|
8 |
-
|
9 |
|
10 |
-
|
11 |
-
|
12 |
-
AltDiffusion-m18 是一种基于@StableDiffusion 的多语言文本图像生成模型。该模型是 Stability AI 和@BAAI FlagAI 团队合作的(FlagAI 是 LF AI & Data Foundation 的沙盒阶段项目)。
|
13 |
-
|
14 |
-
AltDiffusion-m18 is a multilingual text-image generation model built on @StableDiffusion. This model is a collaboration between Stability AI & @BAAI FlagAI team (FlagAI is a sandbox-stage project of LF AI & Data Foundation).
|
15 |
|
16 |
### 训练方法
|
17 |
如图1,所示训练分为两个阶段:概念对齐阶段和效果提升阶段。我们首先替换使用多语言CLIP AltCLIP-m18替换掉原始SD的OpenCLIP, 之后冻住AltCLIP的参数。在第一阶段中,使用256\*256的图片分辨率,训练Unet中CrossAttention层的k,v矩阵进行文图的概念对齐。在第二阶段中,使用512\*512的图片分辨率,训练Unet的所有参数进行生成效果的提升。
|
|
|
5 |
| AltDiffusion-m18 | 多模态 Multimodal | Multilingual | Stable Diffusion | [FlagAI](https://github.com/FlagAI-Open/FlagAI) |
|
6 |
|
7 |
## 模型信息
|
8 |
+
AltDiffusion-m18 是一种基于@StableDiffusion 的多语言文本图像生成模型。该模型由 Stability AI 和@BAAI FlagAI 团队合作完成(FlagAI 是 LF AI & Data Foundation 的沙盒阶段项目)。AltDiffusion-m18目前支持 18 种语言,包含:英语、中文、日语、泰语、韩语、印地语、乌克兰语、阿拉伯语、土耳其语、越南语、波兰语、荷兰语、葡萄牙语、意大利语、西班牙语、德语、法语和俄语。
|
9 |
|
10 |
+
AltDiffusion-m18 is a multilingual text-image generation model built on @StableDiffusion. This model is a collaboration between Stability AI & @BAAI FlagAI team (FlagAI is a sandbox-stage project of LF AI & Data Foundation).\
|
11 |
+
, and currently supports 18 languages. The languages included are English, Chinese, Japanese, Thai, Korean, Hindi, Ukrainian, Arabic, Turkish, Vietnamese, Polish, Dutch, Portuguese, Italian, Spanish, German, French, and Russian.
|
|
|
|
|
|
|
12 |
|
13 |
### 训练方法
|
14 |
如图1,所示训练分为两个阶段:概念对齐阶段和效果提升阶段。我们首先替换使用多语言CLIP AltCLIP-m18替换掉原始SD的OpenCLIP, 之后冻住AltCLIP的参数。在第一阶段中,使用256\*256的图片分辨率,训练Unet中CrossAttention层的k,v矩阵进行文图的概念对齐。在第二阶段中,使用512\*512的图片分辨率,训练Unet的所有参数进行生成效果的提升。
|