Update README.md

README.md

@@ -27,55 +27,80 @@ widget:
 使用 pipeline 调用模型:
 
 ```python
->>> from transformers import pipeline
->>> model_checkpoint = "supermy/c2m"
->>> translator = pipeline("translation", 
-		model=model_checkpoint,
-		num_return_sequences=1,
-		max_length=52, 
-		truncation=True,)
->>> translator("往者不可谏,来者犹可追。")
-[{'translation_text': '过 去 的 事 情 不能 劝 谏 ， 未来 的 事 情 还 可以 追 回 来 。 如 果 过 去 的 事 情 不能 劝 谏 ， 那 么 ， 未来 的 事 情 还 可以 追 回 来 。 如 果 过 去 的 事 情'}]
->>> translator("福兮祸所伏，祸兮福所倚。",do_sample=True)
-[{'translation_text': '幸 福 是 祸 患 所 隐 藏 的 ， 灾 祸 是 福 祸 所 依 托 的 。 这 些 都 是 幸 福 所 依 托 的 。 这 些 都 是 幸 福 所 带 来 的 。 幸 福 啊 ， 也 是 幸 福'}]
->>> translator("成事不说，遂事不谏，既往不咎。", num_return_sequences=1,do_sample=True)
-[{'translation_text': '事 情 不 高 兴 ， 事 情 不 劝 谏 ， 过 去 的 事 就 不 会 责 怪 。 事 情 没 有 多 久 了 ， 事 情 没 有 多 久 ， 事 情 没 有 多 久 了 ， 事 情 没 有 多'}]
->>> translator("逝者如斯夫！不舍昼夜。",num_return_sequences=1,max_length=30)
-[{'translation_text': '逝 去 的 人 就 像 这 样 啊 ， 不分 昼夜 地 去 追 赶 它 们 。 这 样 的 人 就 不 会 忘 记'}]
+from transformers import AutoTokenizer, GPT2LMHeadModel, TextGenerationPipeline
+model_checkpoint = "supermy/poetry"
+tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
+model = GPT2LMHeadModel.from_pretrained(model_checkpoint)
+text_generator = TextGenerationPipeline(model, tokenizer)
+text_generator.model.config.pad_token_id = text_generator.model.config.eos_token_id
+
+print(text_generator("举头 望 明月，", max_length=100, do_sample=True))
+print(text_generator("物换 星移 几度 秋，", max_length=100, do_sample=True))
+
+>>> print(text_generator("举头 望 明月，", max_length=100, do_sample=True))
+[{'generated_text': '举头 望 明月， 何以 喻 无言 。 顾影 若为 舞 ， 啸 风清 独 伤 。 四时 别有 意 ， 千古 得 从容 。 赏音 我非 此 ， 何如 鸥鹭 群 。 崎 山有 佳色 ， 落落 样 相宜 。 不嫌 雪霜 温 ， 宁 受 四时 肥 。 老 态 如 偷 面 ， 冬 心 似 相知 。 春风 不可 恃 ， 触 动 春 何为 。 岁晚 忽然 老 ， 花前 岁月深 。 可笑 一场 梦 ， 婵娟 乍 自 心 。 列 名 多 岁月 ， 森 列 尽 林峦 。 试问 影 非 笑'}]
+>>> print(text_generator("物换 星移 几度 秋，", max_length=100, do_sample=True))
+[{'generated_text': '物换 星移 几度 秋， 消长 随时 向 一丘 。 渔者 下 逢 勾漏 令 ， 漏声 高出 景阳 丘 。 天津 大尹 昔 从游 ， 大尹 来时 春复 秋 。 旗鼓 日 严 宣 使 从 ， 联镳 歌笑 又 风流 。 冈峦 比 并 瑶 溪 水 ， 叠嶂 高 盘 黼黻 洲 。 花木 芳菲 三月 天 ， 莺花 暖 翠 几 流年 。 一从 别后 多 携手 ， 肠断 酒阑 怀 凛然 。 北阙 人称 似梦中 ， 西山 别样 梦魂 香 。 多君 观国 亲 圭璧 ， 能 预 陇西 称 巨 良 。 刷羽 刷羽'}]
+
 ```
 Here is how to use this model to get the features of a given text in PyTorch:
 
 ```python
-from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
-tokenizer = AutoTokenizer.from_pretrained("supermy/c2m")
-model = AutoModelForSeq2SeqLM.from_pretrained("supermy/c2m")
-text = "用你喜欢的任何文本替换我。"
-encoded_input = tokenizer(text, return_tensors='pt')
-output = model(**encoded_input)
+from transformers import AutoTokenizer, AutoModelForCausalLM
+tokenizer = AutoTokenizer.from_pretrained("supermy/poetry")
+model = AutoModelForCausalLM.from_pretrained("supermy/poetry")
 ```
 
 
 
 ## Training data
 
-非常全的文言文（古文）-现代文平行语料，基本涵盖了大部分经典古籍著作。
-
-原始爬取的数据是篇章级对齐，经过脚本分句（按照句号分号感叹号问号划分）以及人工校对，形成共计约96万句对。目录bitext下是文言文-现代文对齐的平行数据。此外，目录source下是文言文单语数据，target下是现代文单语数据，这两个目录下的文件内容按行对齐。
 
-以下为数据统计信息。其中，短篇章中包括了《论语》、《孟子》、《左传》等篇幅较短的古籍，已和《资治通鉴》合并。
+非常全的古诗词数据，收录了从先秦到现代的共计85万余首古诗词。
+
+## 统计信息
+
+| 朝代                   | 诗词数  | 作者数  |
+|-----------------------|--------|--------|
+| 宋                    | 287114 |   9446 |
+| 明                    | 236957 |   4439 |
+| 清                    |  90089 |   8872 |
+| 唐                    |  49195 |   2736 |
+| 元                    |  37375 |   1209 |
+| 近现代                |  28419 |    790 |
+| 当代                  |  28219 |    177 |
+| 明末清初               |  17700 |    176 |
+| 元末明初               |  15736 |     79 |
+| 清末民国初             |  15367 |     99 |
+| 清末近现代初           |  12464 |     48 |
+| 宋末元初              |  12058 |     41 |
+| 南北朝                |   4586 |    434 |
+| 近现代末当代初         |   3426 |     23 |
+| 魏晋                  |   3020 |    251 |
+| 金末元初              |   3019 |     17 |
+| 金                    |   2741 |    253 |
+| 民国末当代初           |   1948 |      9 |
+| 隋                    |   1170 |     84 |
+| 唐末宋初              |   1118 |     44 |
+| 先秦                  |    570 |      8 |
+| 隋末唐初              |    472 |     40 |
+| 汉                    |    363 |     83 |
+| 宋末金初              |    234 |      9 |
+| 辽                    |     22 |      7 |
+| 秦                    |      2 |      2 |
+| 魏晋末南北朝初          |      1 |      1 |
+| 总和                  | 853385 |  29377 |
 
-
-如果您使用该语料库，请注明出处：https://github.com/NiuTrans/Classical-Modern
-
-感谢为该语料库做出贡献的成员：丁佳鹏、杨文权、刘晓晴、曹润柘、罗应峰。
 ```
 ```
 
 ## Training procedure
 
-在英伟达16G显卡训练了 4 天整，共计68 次。
+在英伟达16G显卡训练了 4 天整，
+num_train_epochs=680。
+
 
-[文言文数据集](https://huggingface.co/datasets/supermy/Classical-Modern) 训练数据. Helsinki-NLP [Helsinki-NLP](Helsinki-NLP/opus-mt-zh-en) 模型:
+模型[GPT2](https://huggingface.co/gpt2) 
 
 
 ```