Files changed (1) hide show
  1. README.md +183 -0
README.md CHANGED
@@ -0,0 +1,183 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+
2
+
3
+
4
+ #鉄道・電車LoRA
5
+ 世界中の変なLoRA愛好家の皆様、お元気でお過ごしでしょうか?<br>
6
+ <br>
7
+ これは「追加学習してみる実験」で作成した鉄道・電車等のLoRAです。<br>
8
+ 最初に結論から言ってしまうと、鉄道車輌や車内の学習はかなり難しいです。<br>
9
+ AI画像生成の「ノイズの海の中からなんとなくぼやっとしたイメージを再現する」という仕組み上では、パースが歪んでしまったり、勝手なアレンジが加えられたりすることがよくあります。<br>
10
+ 自動車・バイクや鉄道といった乗り物・機械系のイラスト生成は、各々をよく観察し細かな仕様の違いさえ分かってしまう熱心なファンとは相性が良くないジャンルかもしれません。<br>
11
+ <br>
12
+ 私達が使っているSD15系モデルには、海外の鉄道車輌等の風景もある程度学習されているようです。<br>
13
+ プロンプトで"train"や"train interior"(車輌の内装:車内)と書いて画像生成すれば、車輌の外観や車内のイラストが生成できます<br>
14
+ しかし海外っぽい車輌や車内になってしまうことが多く、日本人の私達が日常で目にするような国内の車輌や車内風景を描くことはできません<br>
15
+ LoRA等の追加学習で日本の電車でお出かけする風景のイラストを生成することはできるのか?とりあえずやってみようということでチャレンジしたのが別途アップしている山手線235系・阪急3000系の車内風景でした。<br>
16
+ 結果としては、車内の特徴をある程度学習はしてくれるのですが、窓やドア・シート配置といった規則性は再現できないので、かなり異次元日本の風景になってしまいました<br>
17
+ <br>
18
+ そして次に車輌の外観の学習ですが、車内と同じく、特徴をある程度は学習してくれるものの、縦や横に伸びてしまったり変形したり、あるべきパーツが無い・増殖するといった感じで、分かってる方にとってはかなり気持ち悪いイラストになってしまいます。<br>
19
+ 作成したLoRAで思ったような画像が生成できるかどうかを個人的に「打率」と呼んでいますが、その「打率」が2~3割にも届かない感じです。<br>
20
+ <br>
21
+ 大まかな特徴を追加で学習できているので、実際の車輌の写真をControlNet等で参照させれば若干は改善することができますが…<br>
22
+ 素材を用意しなくてはならないので、結構面倒じゃないかなと思ったりします<br>
23
+ <br>
24
+ 「実験してみた」ことで、出来そうな事と改善が難しそうな点がなんとなく分かってきたのが収穫かもしれません。<br>
25
+ そのような訳で最近作成してみた色々な鉄道関係のLoRAを一旦まとめてみようと思います。皆様の研究・実験のお役に立てば幸いです。<br>
26
+ ##E233_1000_SD15
27
+ 京浜東北線E233系の車内風景です。<br>
28
+ トリガー:e233, train interior, scenery, seat, window, door, poster (object), <br>
29
+ <br>
30
+ ##E233ex_SD15
31
+ 京浜東北線E233系の外観です。<br>
32
+ トリガー:e233, exterior, train, train station, railroad tracks, scenery, outdoors, day, real world location,
33
+ <br>
34
+ ##E233_SD15_V6
35
+ 埼京線E233系の外観です。<br>
36
+ トリガー:E233, train, train station, railroad tracks, scenery, outdoors, power lines, day, sky, real world location, building
37
+ <br>
38
+ ##Hanshin5000
39
+ 阪神のジェットカー5001形の外観です。<br>
40
+ トリガー:Hanshin5000, scenery, railroad tracks, train station, outdoors, train, real world location, power lines,
41
+ <br>
42
+ ##JNR205ex_SD15
43
+ 埼京線205系の外観です。<br>
44
+ Prompt:JNR205, train, railroad tracks, scenery, real world location, outdoors, realistic, photo background, building, power lines, headlight
45
+ Prompt:JNR205, train, train station, railroad tracks, scenery, real world location, outdoors, day, ceiling, ceiling light, tail lights
46
+ <br>
47
+ ##JNR12kei_SD15
48
+ 旧国鉄12系客車の車内です。<br>
49
+ Prompt:12kei, aisle, train interior, scenery, window, seat, ceiling light, indoors, sunlight, reflective floor
50
+ <br>
51
+ ##JNR_SUHA43_SD15
52
+ 旧国鉄スハ43・スハフ42等の客車の車内・外観です。<br>
53
+ Prompt:suha43aisle, train interior, scenery, seat, window, sunlight, ceiling, ceiling light, indoors
54
+ Prompt:suha43, railroad tracks, train station, train, scenery, outdoors, day, tree, real world location
55
+ <br>
56
+ ##JNR_SUHA43W_SD15
57
+ 旅の風景のイラストを作れないかとスハ43・スハフ42等の客車の通路から窓側のボックスシートを見た風景だけを学習してみたものです。<br>
58
+ 結論からいうと、元のモデル自体が持つ"train interior"のタグは車輌進行方向の視点が強く学習されているのでうまくいきませんでした。<br>
59
+ Prompt:suha43window, train interior, scenery, seat, window, shadow, day, sunlight, door, indoors
60
+ <br>
61
+ ##JNR_oha35_SD15
62
+ 旧国鉄オハ35客車の車内です。スハ43より若干古い時代の車輌で近代化更新があまりなされていない木製の車内風景を学習させてみたものです。<br>
63
+ Prompt:oha35, train interior, scenery, window, indoors, sunlight, chair, ceiling, ceiling light, wooden floor
64
+ <br>
65
+ ##oha35_deck_SD15
66
+ 旧客のデッキ付近の風景をイラストにできないかと作ってみたものです。うまくいきません。<br>
67
+ Prompt:kyukyaku, vestibule, train interior, scenery, door, indoors, ceiling light, wooden floor, train
68
+ Prompt:kyukyaku, scenery, train station, railroad tracks, day, outdoors, door, window, sign, sunlight, train, vestibule, outdoors
69
+ Prompt:kyukyaku, train interior, scenery, vestibule, building, train station, power lines, outdoors, door, window
70
+ <br>
71
+ ##大阪環状線103系
72
+ 大阪環状線を走っていた103系です。延命更新工事で原型からはかなり変化しています。<br>
73
+ JRE103, train, train station, railroad tracks, outdoors, real world location, photo background, 1boy, realistic, standing, scenery, headlight
74
+ JRE103, train, train station, railroad tracks, multiple boys, vehicle focus, scenery, tail lights
75
+ <br>
76
+ ##大阪環状線201系
77
+ 大阪環状線を走っていた201系です。<br>
78
+ JRE201, train, night, train station, scenery, outdoors, building, railroad tracks, headlight<br>
79
+ JRE201, train, train station, railroad tracks, scenery, vehicle focus, outdoors, tail lights<br>
80
+ <br>
81
+ ##大阪環状線323系
82
+ 現在大阪環状線の主力となっている323系です。<br>
83
+ JRE323, train, train station, pants, multiple boys, backpack, bag, railroad tracks, multiple girls, shoes, scenery, real world location, standing, headlight<br>
84
+ JRE323, train, train station, railroad tracks, scenery, outdoors, real world location, tail lights<br>
85
+ <br>
86
+ ##大阪市交通局10A系
87
+ かつて御堂筋線を走っていた10A系です。<br>
88
+ OsakaMetro10A, subway station, train station, train, multiple boys, bag, real world location, multiple girls, railroad tracks, pants, 6+boys, black hair, rolling suitcase, holding, outdoors, tail lights<br>
89
+ OsakaMetro10A, subway station, train station, train, railroad tracks, hat, 1boy, scenery, realistic, uniform, railroad worker, outdoors, tail lights<br>
90
+ <br>
91
+ ##大阪メトロ20系
92
+ 中央線20系です。<br>
93
+ OsakaMetro20, subway station, train, train station, scenery, railroad tracks, ceiling, ceiling light, headlight<br>
94
+ OsakaMetro20, subway station, train, train station, multiple boys, railroad tracks, real world location, multiple girls, scenery, ceiling, ceiling light, tail lights, headlight<br>
95
+ <br>
96
+ ##大阪メトロ21系
97
+ 御堂筋線21系です。<br>
98
+ OsakaMetro21, subway station, train, train station, railroad tracks, scenery, real world location, outdoors, ceiling, ceiling light, headlight<br>
99
+ OsakaMetro21, subway station, train, train station, scenery, ceiling, tail lights<br>
100
+ <br>
101
+ ##大阪メトロ22系
102
+ 谷町線22系です。<br>
103
+ OsakaMetro22, subway station, train, train station, multiple girls, pants, bag, 1boy, railroad tracks, multiple boys, ceiling, ceiling light, headlight<br>
104
+ OsakaMetro22, subway station, train, train station, multiple boys, 6+boys, hat, real world location, scenery, shirt, night, pants, gloves, bag, holding, white shirt, uniform, railroad worker, ceiling, ceiling light, tail lights<br>
105
+ <br>
106
+ ##大阪メトロ66系
107
+ 堺筋線66系です。<br>
108
+ OsakaMetro66, subway station, train, scenery, train station, outdoors, ceiling, headlight<br>
109
+ OsakaMetro66, subway station, train, scenery, train station, tiles, tile floor, door, ceiling, ceiling light, tail lights<br>
110
+ <br>
111
+ ##大阪メトロ70系
112
+ 長堀鶴見緑地線70系です<br>
113
+ OsakaMetro70, subway station, train, scenery, train station, night, ceiling, ceiling light, headlight<br>
114
+ OsakaMetro70, subway station, train, train station, railroad tracks, scenery, outdoors, ceiling, ceiling light, taillight<br>
115
+ <br>
116
+ ##大阪メトロ80系
117
+ 今里筋線80系です<br>
118
+ OsakaMetro80, subway station, train, scenery, ceiling, ceiling light, scenery, headlight<br>
119
+ OsakaMetro80, subway station, train, scenery, door, train station, outdoors, light, ceiling, ceiling light, scenery, taillight<br>
120
+ <br>
121
+ ##大阪メトロ400系
122
+ 中央線400系です<br>
123
+ OsakaMetro400, subway station, train station, scenery, headlight<br>
124
+ OsakaMetro400, subway station, train station, train, scenery, taillight<br>
125
+ <br>
126
+ ##大阪メトロ30000系
127
+ 御堂筋線30000系です。<br>
128
+ OsakaMetro30000, subway station, 1boy, pants, shirt, male focus, white shirt, black pants, hat, solo, from behind, black hair, night, headlight<br>
129
+ OsakaMetro30000, subway station, train station, scenery, night, railroad tracks, train, sign, door, real world location, ceiling, ceiling light, headlight<br>
130
+ OsakaMetro30000, subway station, police, hat, train station, police uniform, motor vehicle, train, scenery, taillight<br>
131
+ <br>
132
+ ##TokyoMetro01_SD15
133
+ ���団地下鉄(現:東京地下鉄(東京メトロ))銀座線01系です<br>
134
+ TokyoMetro01, subway station, train station, train, 6+boys, multiple boys, blurry, real world location, depth of field, railroad tracks, bag, multiple girls, scenery, ceiling, ceiling light, headlight<br>
135
+ TokyoMetro01, subway station, train station, train, scenery, real world location, railroad tracks, multiple boys, multiple girls, ceiling, ceiling light, tail lights<br>
136
+ <br>
137
+ ##TokyoMetro02_SD15
138
+ 営団地下鉄 丸ノ内線02系です<br>
139
+ TokyoMetro02, subway station, train station, train, scenery, railroad tracks, real world location, realistic, night, ceiling, ceiling light, headlight<br>
140
+ TokyoMetro02, subway station, train station, train, scenery, railroad tracks, ceiling, ceiling light, taillight<br>
141
+ <br>
142
+ ##TokyoMetro03_SD15
143
+ 営団地下鉄 日比谷線03系です<br>
144
+ TokyoMetro03, subway station, train station, train, scenery, railroad tracks, sign, real world location, bag, outdoors, day, ceiling, ceiling light, headlight<br>
145
+ TokyoMetro03, subway station, train station, train, multiple boys, bag, scenery, railroad tracks, skirt, 6+boys, ceiling, ceiling light, tail lights<br>
146
+ <br>
147
+ ##TokyoMetro05_SD15
148
+ 営団地下鉄 東西線05系です<br>
149
+ TokyoMetro05, subway station, train station, train, railroad tracks, scenery, outdoors, bench, ceiling, ceiling light, headlight<br>
150
+ TokyoMetro05, subway station, train station, train, railroad tracks, white shirt, pants, 1boy, shirt, black hair, scenery, male focus, hat, black pants, short sleeves, standing, real world location, black headwear, wide shot, ceiling, ceiling light, tail lights<br>
151
+ <br>
152
+ ##TokyoMetro10000_SD15
153
+ 東京メトロ 有楽町線・副都心線10000系です<br>
154
+ TokyoMetro10000, subway station, train station, train, scenery, sign, outdoors, 1boy, jacket, pants, standing, blurry, ceiling, ceiling light, headlight<br>
155
+ TokyoMetro10000, subway station, train station, train, railroad tracks, real world location, scenery, photo background, realistic, 1boy, vehicle focus, ceiling, ceiling light, tail lights, headlight<br>
156
+ TokyoMetro10000, subway station, train station, train, scenery, railroad tracks, real world location, building, outdoors, day, ceiling, ceiling light, tail lights<br>
157
+ <br>
158
+ ##TokyoMetro1000_SD15
159
+ 東京メトロ 銀座線1000系です<br>
160
+ TokyoMetro1000, subway station, train station, train, scenery, sign, light, railroad tracks, ceiling, ceiling light, headlight<br>
161
+ TokyoMetro1000, subway station, train station, multiple boys, train, hat, scenery, railroad tracks, real world location, ceiling, ceiling light, tail lights<br>
162
+ <br>
163
+ ##TokyoMetro5000_SD15
164
+ 営団地下鉄 東西線を走っていた5000系です<br>
165
+ TokyoMetro5000, subway station, train station, train, scenery, railroad tracks, outdoors, real world location, ceiling, ceiling light, headlight<br>
166
+ TokyoMetro5000, subway station, train station, train, railroad tracks, black hair, 1boy, standing, 1girl, pants, shoes, wide shot, scenery, real world location, tail lights<br>
167
+ <br>
168
+ ##TokyoMetro6000_SD15
169
+ 営団地下鉄 千代田線を走っていた6000系です<br>
170
+ TokyoMetro6000, subway station, train station, train, railroad tracks, scenery, chinese text, real world location, headlight<br>
171
+ TokyoMetro6000, subway station, train station, train, scenery, fence, outdoors, real world location, night, railroad tracks, ceiling, ceiling light, tail lights<br>
172
+ <br>
173
+ ##TokyoMetro7000_SD15
174
+ 営団地下鉄 有楽町線を走っていた7000系です<br>
175
+ TokyoMetro7000, subway station, train station, train, scenery, railroad tracks, tiles, ceiling, ceiling light, headlight<br>
176
+ TokyoMetro7000, subway station, train station, train, railroad tracks, scenery, outdoors, real world location, day, building, tail lights<br>
177
+ <br>
178
+ ##TokyoMetro8000_SD15
179
+ 営団地下鉄 半蔵門線8000系です<br>
180
+ TokyoMetro8000, train, railroad tracks, real world location, outdoors, scenery, building, sky, day, power lines, headlight<br>
181
+ TokyoMetro8000, subway station, train station, train, scenery, ceiling, ceiling light, headlight<br>
182
+ TokyoMetro8000, subway station, train station, train, scenery, tail lights<br>
183
+ <br>