Update README.md
Browse files
README.md
CHANGED
|
@@ -1,3 +1,56 @@
|
|
| 1 |
-
---
|
| 2 |
-
license: cc
|
| 3 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
---
|
| 2 |
+
license: cc
|
| 3 |
+
language:
|
| 4 |
+
- zh
|
| 5 |
+
library_name: transformers
|
| 6 |
+
pipeline_tag: text-generation
|
| 7 |
+
widget:
|
| 8 |
+
- text: 问：什么是鹦鹉？
|
| 9 |
+
- text: 问：什么是大象？
|
| 10 |
+
- text: 问：谁是李白？
|
| 11 |
+
- text: 问：什么是黑洞？
|
| 12 |
+
- text: 从前有个胖鹦鹉，胖得飞不动。
|
| 13 |
+
- text: 从前有个小姑娘从来不洗脸。孔子说：
|
| 14 |
+
datasets:
|
| 15 |
+
- adam89/TinyStoriesChinese
|
| 16 |
+
- fzmnm/TinyStoriesAdv-zh
|
| 17 |
+
---
|
| 18 |
+
|
| 19 |
+
### TinyStoriesAdv_92M
|
| 20 |
+
|
| 21 |
+
超迷你的玩具模型，只能讲中文，可以回答一些小学生的常识问题。幻觉严重。但是很有趣。
|
| 22 |
+
受到[TinyStories](https://arxiv.org/abs/2305.07759)、[Phi2](https://arxiv.org/abs/2309.05463)等论文的启发，使用了自己制作的全合成的数据库 https://huggingface.co/datasets/fzmnm/TinyStoriesAdv-zh
|
| 23 |
+
|
| 24 |
+
采用了类似Qwen的架构。
|
| 25 |
+
```python
|
| 26 |
+
dim=640;n_layers=20;n_heads=10;n_kv_heads=2;max_seq_len=1024;embedding_weight_tying=True;
|
| 27 |
+
tokens_per_iteration=524288
|
| 28 |
+
dropout=0.1
|
| 29 |
+
warmup_iters=1000;stable_iters=9000
|
| 30 |
+
```
|
| 31 |
+
A100上7.5小时即可训练完毕。
|
| 32 |
+
这个是预训练版本，没有进行偏好微调。
|
| 33 |
+
|
| 34 |
+
#### 试玩：
|
| 35 |
+
```python
|
| 36 |
+
temperature=0
|
| 37 |
+
cherry_picking=True
|
| 38 |
+
```
|
| 39 |
+
|
| 40 |
+
>问：什么是鹦鹉？
|
| 41 |
+
><span style="color:blue">答：鹦鹉是一种非常聪明的鸟类,它们的语言和声音非常特别。它们会用各种…
|
| 42 |
+
声音交流,比如模仿鸟叫声、使用手势和用力拍打。</span>
|
| 43 |
+
|
| 44 |
+
>问：什么是大象？
|
| 45 |
+
><span style="color:blue">答：大象是一种非常大的动物,生活在北美洲的森林和草原。</span>
|
| 46 |
+
|
| 47 |
+
>问：谁是李白？
|
| 48 |
+
><span style="color:blue">答：李白是唐代的一位诗人,他的诗歌以豪放、浪漫和浪漫著称。</span>
|
| 49 |
+
|
| 50 |
+
>问：什么是黑洞？
|
| 51 |
+
><span style="color:blue">答：黑洞是一种看不见的物体,它们像是宇宙中的“大吸尘器”,不过它们的…
|
| 52 |
+
引力强大,所以它们看不见。</span>
|
| 53 |
+
|
| 54 |
+
>从前有个胖鹦鹉，胖得飞不动。<span style="color:blue">有一天,他看到一只大鸟,想和它打招呼。鸟儿说:“你好,胖胖!我可以和你打招呼吗?”胖胖的鹦鹉回答:“好的,我很乐意!”于是,它们成了朋友,一起玩耍。他们跑啊跳啊,玩得很开心。但是,一只大鸟看到了胖胖的鹦鹉,想要抓住它。鸟儿说:“不,胖胖!你不能和我们玩。”胖胖的鹦鹉很伤心,但它知道鸟儿必须听从。所以,胖胖的鹦鹉和鸟儿成为了朋友。他们一起玩,成为了最好的朋友。</span>
|
| 55 |
+
|
| 56 |
+
>从前有个小姑娘从来不洗脸。孔子说：<span style="color:blue">“你要去学校,不能在草坪上玩。”小姑娘答应了,孔子带她去了草坪。小姑娘坐在石头上,孔子看着她。孔子问:“你为什么难过?”小姑娘叹了口气:“我生病了,我父亲不能让我照顾你。”孔子听了,心里很难过。第二天,小姑娘来到了草坪上,孔子请她摘花。她摘了花,小姑娘笑着说:“我会帮你。”小姑娘走进教堂,孔子问:“你怎么唱这个歌?”小姑娘低声说:“因为我妈妈病了。”孔子听了,心里很难过,他想知道她的心意。于是,他对小姑娘说:“你妈妈病了,我来看看。”小姑娘点点头,跟孔子来到一个大花园。她看到孔子,有很多花,美丽极了。她伸出手想要,孔子却说:“你不可以摘花,但你必须答应我。”小姑娘惊讶地说:“我答应你!”孔子笑着说:“你不需要别的,我知道怎么做。”小姑娘高兴地答应了。孔子又对小姑娘说:“你可以摘我的花,但只摘我自己。”小姑娘答应了。她摘下最美丽的玫瑰花,放在自己的口袋里带回家。孔子看着她走,心里感到很温暖。第二天,小姑娘又来了,孔子又说:“你要好好侍奉母亲,我要把你送到天上。”小姑娘害怕怕,但孔子坚定地说:“我不会的,我会照顾你的。”小姑娘害怕孔子,但还是答应了。她拿出美丽的玫瑰花,递给孔子。孔子接过花,感激地说:“你是我的骄傲。”第三天,小姑娘来拜见孔子。她穿着一身漂亮的衣服,头发有些乱,孔子却不喜欢她。“你怎么这么漂亮,难道不怕你吗?”孔子问。小姑娘心里很难过,泪水夺眶而出。孔子听见她的哭声,心里很不舒服,但他还是不敢过。“为什么要伤心?”孔子问。“我想要更美的心,像天一样纯洁的人。”小姑娘说。</span>
|