|
--- |
|
language: zh |
|
datasets: poetry |
|
inference: |
|
parameters: |
|
max_length: 108 |
|
num_return_sequences: 1 |
|
do_sample: True |
|
widget: |
|
- text: "物换 星移 几度 秋" |
|
example_title: "滕王阁1" |
|
- text: "秋水 共 长天 一色" |
|
example_title: "滕王阁 2" |
|
- text: "萍水 相逢，尽是 他乡 之 客。" |
|
example_title: "滕王阁 3" |
|
|
|
--- |
|
|
|
|
|
# 古诗词 |
|
|
|
## Model description |
|
|
|
古诗词AI生成 |
|
|
|
## How to use |
|
使用 pipeline 调用模型: |
|
|
|
```python |
|
from transformers import AutoTokenizer, GPT2LMHeadModel, TextGenerationPipeline |
|
model_checkpoint = "supermy/poetry" |
|
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint) |
|
model = GPT2LMHeadModel.from_pretrained(model_checkpoint) |
|
text_generator = TextGenerationPipeline(model, tokenizer) |
|
text_generator.model.config.pad_token_id = text_generator.model.config.eos_token_id |
|
|
|
print(text_generator("举头 望 明月，", max_length=100, do_sample=True)) |
|
print(text_generator("物换 星移 几度 秋，", max_length=100, do_sample=True)) |
|
|
|
>>> print(text_generator("举头 望 明月，", max_length=100, do_sample=True)) |
|
[{'generated_text': '举头 望 明月， 何以 喻 无言 。 顾影 若为 舞 ， 啸 风清 独 伤 。 四时 别有 意 ， 千古 得 从容 。 赏音 我非 此 ， 何如 鸥鹭 群 。 崎 山有 佳色 ， 落落 样 相宜 。 不嫌 雪霜 温 ， 宁 受 四时 肥 。 老 态 如 偷 面 ， 冬 心 似 相知 。 春风 不可 恃 ， 触 动 春 何为 。 岁晚 忽然 老 ， 花前 岁月深 。 可笑 一场 梦 ， 婵娟 乍 自 心 。 列 名 多 岁月 ， 森 列 尽 林峦 。 试问 影 非 笑'}] |
|
>>> print(text_generator("物换 星移 几度 秋，", max_length=100, do_sample=True)) |
|
[{'generated_text': '物换 星移 几度 秋， 消长 随时 向 一丘 。 渔者 下 逢 勾漏 令 ， 漏声 高出 景阳 丘 。 天津 大尹 昔 从游 ， 大尹 来时 春复 秋 。 旗鼓 日 严 宣 使 从 ， 联镳 歌笑 又 风流 。 冈峦 比 并 瑶 溪 水 ， 叠嶂 高 盘 黼黻 洲 。 花木 芳菲 三月 天 ， 莺花 暖 翠 几 流年 。 一从 别后 多 携手 ， 肠断 酒阑 怀 凛然 。 北阙 人称 似梦中 ， 西山 别样 梦魂 香 。 多君 观国 亲 圭璧 ， 能 预 陇西 称 巨 良 。 刷羽 刷羽'}] |
|
|
|
``` |
|
Here is how to use this model to get the features of a given text in PyTorch: |
|
|
|
```python |
|
from transformers import AutoTokenizer, AutoModelForCausalLM |
|
tokenizer = AutoTokenizer.from_pretrained("supermy/poetry") |
|
model = AutoModelForCausalLM.from_pretrained("supermy/poetry") |
|
``` |
|
|
|
|
|
|
|
## Training data |
|
|
|
|
|
非常全的古诗词数据，收录了从先秦到现代的共计85万余首古诗词。 |
|
|
|
## 统计信息 |
|
|
|
| 朝代 | 诗词数 | 作者数 | |
|
|-----------------------|--------|--------| |
|
| 宋 | 287114 | 9446 | |
|
| 明 | 236957 | 4439 | |
|
| 清 | 90089 | 8872 | |
|
| 唐 | 49195 | 2736 | |
|
| 元 | 37375 | 1209 | |
|
| 近现代 | 28419 | 790 | |
|
| 当代 | 28219 | 177 | |
|
| 明末清初 | 17700 | 176 | |
|
| 元末明初 | 15736 | 79 | |
|
| 清末民国初 | 15367 | 99 | |
|
| 清末近现代初 | 12464 | 48 | |
|
| 宋末元初 | 12058 | 41 | |
|
| 南北朝 | 4586 | 434 | |
|
| 近现代末当代初 | 3426 | 23 | |
|
| 魏晋 | 3020 | 251 | |
|
| 金末元初 | 3019 | 17 | |
|
| 金 | 2741 | 253 | |
|
| 民国末当代初 | 1948 | 9 | |
|
| 隋 | 1170 | 84 | |
|
| 唐末宋初 | 1118 | 44 | |
|
| 先秦 | 570 | 8 | |
|
| 隋末唐初 | 472 | 40 | |
|
| 汉 | 363 | 83 | |
|
| 宋末金初 | 234 | 9 | |
|
| 辽 | 22 | 7 | |
|
| 秦 | 2 | 2 | |
|
| 魏晋末南北朝初 | 1 | 1 | |
|
| 总和 | 853385 | 29377 | |
|
|
|
``` |
|
``` |
|
|
|
## Training procedure |
|
|
|
模型：[GPT2](https://huggingface.co/gpt2) |
|
训练环境：英伟达16G显卡 |
|
|
|
bpe分词："vocab_size"=50000 |
|
``` |
|
|
|
***** Running training ***** |
|
Num examples = 16431 |
|
Num Epochs = 680 |
|
Instantaneous batch size per device = 24 |
|
Total train batch size (w. parallel, distributed & accumulation) = 192 |
|
Gradient Accumulation steps = 8 |
|
Total optimization steps = 57800 |
|
Number of trainable parameters = 124242432 |
|
GPT-2 size: 124.2M parameters |
|
0%| | 0/57800 [00:00<?, ?it/s]You're using a PreTrainedTokenizerFast tokenizer. Please note that with a fast tokenizer, using the `__call__` method is faster than using a method to encode the text followed by a call to the `pad` method to get a padded encoding. |
|
9%|▊ | 5000/57800 [6:58:57<72:53:18, 4.97s/it]***** Running Evaluation ***** |
|
Num examples = 1755 |
|
Batch size = 24 |
|
{'loss': 3.1345, 'learning_rate': 0.0004939065828881268, 'epoch': 58.82} |
|
9%|▊ | 5000/57800 [6:59:14<72:53:18, Saving model checkpoint to poetry-trainer/checkpoint-5000 |
|
Configuration saved in poetry-trainer/checkpoint-5000/config.json |
|
Model weights saved in poetry-trainer/checkpoint-5000/pytorch_model.bin |
|
tokenizer config file saved in poetry-trainer/checkpoint-5000/tokenizer_config.json |
|
Special tokens file saved in poetry-trainer/checkpoint-5000/special_tokens_map.json |
|
17%|█▋ | 10000/57800 [13:55:32<65:40:41, 4.95s/it]***** Running Evaluation ***** |
|
Num examples = 1755 |
|
Batch size = 24 |
|
{'eval_loss': 11.14090633392334, 'eval_runtime': 16.8326, 'eval_samples_per_second': 104.262, 'eval_steps_per_second': 4.396, 'epoch': 58.82} |
|
{'loss': 0.2511, 'learning_rate': 0.00046966687938531824, 'epoch': 117.64} |
|
17%|█▋ | 10000/57800 [13:55:48<65:40:41Saving model checkpoint to poetry-trainer/checkpoint-10000 |
|
.......... |
|
95%|█████████▌| 55000/57800 [76:06:46<3:59:33, 5.13s/it]***** Running Evaluation ***** |
|
Num examples = 1755 |
|
Batch size = 24 |
|
{'eval_loss': 14.860174179077148, 'eval_runtime': 16.7826, 'eval_samples_per_second': 104.572, 'eval_steps_per_second': 4.409, 'epoch': 588.23} |
|
{'loss': 0.0083, 'learning_rate': 3.0262183266589473e-06, 'epoch': 647.06} |
|
95%|█████████▌| 55000/57800 [76:07:03<3:59:33,Saving model checkpoint to poetry-trainer/checkpoint-55000 |
|
|
|
{'eval_loss': 14.830656051635742, 'eval_runtime': 16.7365, 'eval_samples_per_second': 104.86, 'eval_steps_per_second': 4.421, 'epoch': 647.06} |
|
{'train_runtime': 287920.5857, 'train_samples_per_second': 38.806, 'train_steps_per_second': 0.201, 'train_loss': 0.33751299874592816, 'epoch': 679.99} |
|
|
|
100%|██████████| 57800/57800 [79:58:40<00:00, 4.93s/it] |
|
``` |
|
|
|
|
|
``` |
|
### entry and citation info |
|
``` |
|
|
|
``` |
