使用Solar的左脚踩右脚的方式将1.3B模型提升到2.3B，自己卷自己增加到152层。并且使用了COIG-CQIA来做SFT

我们训练的Mamba模型专注中文，pretrain使用的基本都是优质中文书籍语料。如果你喜欢我们的模型，帮我们点个小心心吧！

How to consume it

import sys
import torch
from transformers import LlamaTokenizer, MambaForCausalLM

device = "cuda"
model_path = sys.argv[1]
tokenizer = LlamaTokenizer.from_pretrained(model_path)
model = MambaForCausalLM.from_pretrained(model_path).to(device)

messages = []
while True:
    user_message = input("User: ")
    messages.append(dict(
        role="user",
        content=user_message
    ))

    input_ids = tokenizer.apply_chat_template(messages, return_tensors="pt", add_generation_prompt=True).to(device)

    out = model.generate(input_ids=input_ids, max_length=1000, temperature=0.7, do_sample=True,
                         penalty_alpha=0.8, top_k=5,
                         repetition_penalty=1.2, eos_token_id=tokenizer.eos_token_id)

    decoded = tokenizer.batch_decode(out)
    messages.append(dict(
        role="assistant",
        content=decoded[0].split("<|assistant|>\n")[-1])
    )

    print("Model:", decoded[0].split("<|assistant|>\n")[-1])

以下是一些示例

<|user|>
写一篇关于中国经济腾飞的社论,从多个方面来介绍中国经济发展,例如历史、文化、军事、外贸等,要求内容丰富,观点新颖,篇幅尽可能长,分析要详尽</s>
<|assistant|>
## 经济腾飞:中国崛起

2019年是中国改革开放45周年。回顾新中国成立以来近30年的发展历程,可以清晰地看出,在邓小平理论的指导下,中国共产党带领全国人民进行了一场伟大而深刻的历史革命。经过艰苦探索和 改革探索,中国终于走上了社会主义道路;通过改革开放,中国逐步实现了由农业国到工业国的转变,实现了从封闭半自给半封建的社会向现代化社会的飞跃,成为世界第二大经济体,并成功加入WTO(世界贸易组织),为人类文明的发展做出了重大贡献。纵观中国历史,中华民族经历了无数次民族解放战争,也经历了许多次政治动荡和社会变革。但每一次社会巨变都伴随着一次又一次的民族复兴浪潮,最终推动中国迈上新的台阶。

### 中国经济的腾飞:始于18世纪70年代的第一次工业革命

16世纪的欧洲正处于文艺复兴时期,英国是资本主义世界的砝码。随着资本主义的萌芽和发展壮大,资产阶级开始登上历史舞台。为了维护自己的利益,英国资产阶级同封建专制君主进行了不懈 的斗争,最终导致了资产阶级革命的爆发。这次革命的导火索就是英国的工业革命。18世纪末至19世纪初,英国发生了大规模的工厂制度改革运动,使生产技术得到了迅速提高,生产力得到显著提升。随后,以蒸汽机为代表的机器制造工艺不断改进,促进了机械化生产的兴起,推动了第二次工业革命。

### 中国经济的起飞:从计划经济转向市场经济

19世纪中期以后,西方列强对中国的侵略加剧,中国逐渐沦为一个半殖民地半封建社会。面对这一严峻形势,中国人民奋发图强,开始了近代史上规模最大的一次反帝反殖斗争——辛亥革命。这场革命推翻了清朝的统治,建立了中华民国,确立了中华人民共和国作为独立自主的国家。1927年至1949年的十年间,中国先后完成了土地制度的改革、城市改革的推进以及农村经济的恢复。1949年 以后,中国共产党领导的人民解放军胜利进军西藏、新疆等地,建立起人民政权。至此,中国初步形成了社会主义经济体系,国家统一了,民族团结了,人民生活改善了,社会风气的改变也加快了步 伐。

### 中国经济的增长

1978年以来,中国继续坚持实行以市场为基础的全民所有制,进一步完善社会主义市场经济体制,大力发展多种所有制经济。截至2018年底,我国已经形成包括国有企业、集体企业、私营企业和外资企业在内的各类所有制经济共6.2万多家,占全国国有经济总量的比重达到61%。这些大型国有企业的建立和发展为中国经济的持续稳定健康发展打下了坚实基础。同时,随着对外开放程度的不断提高和中国综合实力的增强,中国在全球范围内的影响力和竞争力日益增强。

### 中国经济的快速增长

2018年,中国的国内生产总值突破200万亿元人民币,首次超越日本成为世界上最大的经济体,成为世界第三大经济体。“中国”二字已成为国际社会对中国经济和科技发展的赞誉之词,中国也成为 继美国之后世界第二人口大国。与此同时,中国还积极参与世界经济活动,在国际舞台上发挥着越来越重要的作用。2019年,中国正式加入了联合国,成为首批入选的成员国之一。2019年1月,中共中央总书记、国务院总理习近平出席在瑞士日内瓦举行的第13届联合国大会开幕式并发表主旨演讲时指出:“我们相信,只要我们共同努力,就一定能够实现中华民族的伟大复兴。”

### 中国的未来之路:和平与发展的主题

和平与繁荣是人类社会的永恒主题,也是人类社会进步的必然趋势。和平与进步是当今时代的主题。中国将坚定走和平发展道路,始终站在时代前列,为人类造福于人类。和平发展既是时代的需 要,也是人类的选择。和平不仅指国际关系,还包括经济关系和政治关系。和平不仅是国家的追求目标,更是每个公民的责任与义务。和平与发展仍然是时代的主旋律,是各国人民的共识所在。和平与合作是我们的时代主题。我们要用建设有中国特色的社会主义的思想武装全党、全军和全体人民,让我们的奋斗有了强大的精神动力和坚强的意志力量,让我们在前进中不断取得新的成就。

### 中美关系:相互尊重、平等相待

20世纪以来,中美两国之间的双边关系历经曲折起伏,但在冷战结束后的今天,双方的关系仍然十分友好。两国领导人互访频繁,签署了一系列具有重要意义的文件,如《上海公报》《中美建交

<|user|>
写一封情意绵绵的情书,写的人是一位男士,要求古代文言文风格</s>
<|assistant|>
敬启者:小女淑敏,字蕙琼。幼承家学,长受母训。自幼娴熟诗文,尤工书法、绘画、诗词等。年届而立,尚未婚娶;然自思虽非门当户对之人,但亦不必强合也。近日偶见一男子,其貌不扬,举止轻 浮,而谈吐间又颇带几分才情。观其言谈举止,似有非凡之才华,令人叹为观止。遂欲与之结为夫妻,以慰平生梦想。因彼乃一文人,且素未谋面,不知其名姓,更不敢妄作主张。惟念其人品甚高,学识丰富,若与之结为夫妇,必可相得益彰矣!</s>

<|user|>
对于研发人员每个月一次考核是不是太频繁了,你有没有什么好的建议</s>
<|assistant|>
研发人员每月进行考核并不是什么新鲜事。在传统企业中,由于工作量大、周期长等原因,对员工考核是非常常见的做法。然而,现代企业中的员工往往具有较高的灵活性,并且能够根据企业的战略需求和目标来进行自我管理。因此,对于研发人员的考核方式应该更加灵活多样,以适应他们的个性特点和工作习惯。此外,研发团队需要定期进行例会,以便及时了解团队的进展情况以及问题所在。### 案例:某公司研发部每周进行一次绩效评估

某公司在研发部门实行绩效评估制度,每年进行两次。第一次是在每年的9月底,由研发总监亲自主持。这次的会议主要围绕以下内容展开:1.确定研发部门的职责;2.制定年度计划;3.讨论研发工作的重点;4.确定关键任务;5.安排相关人员完成工作;6.进行绩效考评。第二次则是由人力资源总监组织召开,每次由人力资源总监带领相关人员参加。这次会议主要是讨论以下事项:1.明确责 任范围;2.制定绩效考核标准;3.确定考核结果;4.确定考核指标;5.沟通反馈信息;6.总结经验教训并提出下一步改进的方向。#### 研发人员绩效考核的注意事项

1.要注重对员工的培训
为了确保研发人员的工作效率得到提高,公司必须重视对研发人员的培训。通过培训可以有效地提升员工的技能和知识,从而实现更好的工作效率。
2.要注重对员工的激励
作为公司的领导者,应当充分认识到员工的价值。因此,应积极鼓励和支持他们努力工作,为公司的发展做出自己的贡献。同时,公司还应当给予每位员工一定的空间和自由度,让他们根据自己的 意愿来选择自己的工作岗位和发展方向。
3.要重视对员工的培养
随着科技的发展,越来越多的企业开始重视对人才的培养,而研发部门正是培养人才的重要场所之一。因此,公司有必要加强对研发人员的培养力度,以确保他们能够胜任各自的角色,并为公司创 造更多的价值。
4.要对研发人员进行职业规划教育
作为一名优秀的研发人员,应该具备良好的职业素养,只有如此,才能够为公司的发展提供更全面的服务和帮助。为此,公司应该加强对研发人员的职业生涯规划的教育,为他们设定明确的职业目 标和职业发展路径,帮助他们树立远大的理想,朝着正确的道路前进。
5.要重视对研发人员的薪酬待遇
作为企业的管理者,应该重视对研发人员的薪酬待遇,因为这不仅关系到其个人未来的发展和前途,也关系着整个企业的兴衰成败。因此,公司应当加大对研发人员的薪资待遇的关注,使其能够在 未来获得更高的薪水回报。</s>