|
--- |
|
语言: 恩 |
|
标签: |
|
- 填充掩模 |
|
许可证: 麻省理工学院 |
|
|
|
--- |
|
|
|
#生物+临床BERT模型 |
|
|
|
这[公开可用的临床BERT嵌入](https://arxiv.org/abs/1904.03323)论文包含四个独特的临床BERT模型：初具规模（`外壳式`) 或生物工程师（`生物BERT基础版1.0+PubMed 200K+270K`），并接受过所有模拟笔记或仅进行出院总结的培训。 |
|
|
|
这张模型卡描述了生物+临床BERT模型，它是从[生物伯特](https://arxiv.org/abs/1901.08746)并对所有模拟笔记进行了培训。 |
|
|
|
##训练前数据 |
|
这`生物_临床BE RT`模型训练的所有音符[模拟三](https://www.nature.com/articles/sdata201635)，一个包含来自马萨诸塞州波士顿贝斯以色列医院ICU患者的电子健康记录的数据库。有关MIMIC的更多详细信息，请参见[在这里](https://mimic.physionet.org/). 中的所有注释`注意事项`表包括（880M字） |
|
|
|
##模型预训练 |
|
|
|
###注意预处理 |
|
模拟器中的每个记录首先使用基于规则的部分分割器拆分成部分（例如，出院总结记录分为“当前疾病史“、“家族史”、“简要住院过程”等部分）。然后每一部分被分成句子使用SciSpacy（`核心科学医学博士`标记器）。 |
|
|
|
###培训前程序 |
|
该模型的训练使用的代码从[谷歌的BERT存储库](https://github.com/google-research/bert)在12 GB的图形处理器上运行。用比奥贝特初始模型参数（`生物BERT基础版1.0+PubMed 200K+270K`). |
|
|
|
###训练前超参数 |
|
我们使用了一个批大小为32，最大序列长度为128，学习率为5.105的预训练我们的模型。所有笔记训练的模型被训练了150,000步。使用不同掩码复制输入数据的DUP因子被设置为5。使用了所有其他默认参数（具体而言，屏蔽语言模型概率=0.15 |
|
和每个序列最大预测值＝20）。 |
|
|
|
##如何使用模型 |
|
|
|
通过变压器库加载模型： |
|
``` |
|
从变压器导入自动标记器、自动建模 |
|
自动令牌化器。"埃米尔·森策尔生物_临床应用") |
|
模型=AutoModel.from_pretrained("emilyalsentzer/Bio_ClinicalBERT") |
|
``` |
|
|
|
##更多信息 |
|
|
|
参考原文，[公开可用的临床BERT嵌入](https://arxiv.org/abs/1904.03323)NAACL临床NLP研讨会2019有关NLI和NER任务的其他详细信息和性能。 |
|
|
|
##问题吗？ |
|
|
|
发布一个关于Github的问题[临床放射治疗回收](https://github.com/EmilyAlsentzer/clinicalBERT)或电子邮件emilya@mit.edu有任何问题。 |
|
|
|
|
