Update README.md
Browse files
README.md
CHANGED
@@ -29,7 +29,7 @@ widget:
|
|
29 |
<!-- ![image/jpeg](https://cdn-uploads.huggingface.co/production/uploads/66e93d483745423cbb14c5ff/fNxjr3en_onzbOv0sghpE.jpeg) -->
|
30 |
|
31 |
# EraX-VL-7B-V1
|
32 |
-
## Introduction
|
33 |
|
34 |
We are excited to introduce **EraX-VL-7B-v1**, a robust multimodal model for OCR (optical character recognition) and VQA (visual question-answering) that excels in various languages, with a particular focus on Vietnamese. The `EraX-VL-7B` model stands out for its precise recognition capabilities across a range of documents, including medical forms 🩺, invoices 🧾, bills of sale 💳, quotes 📄, and medical records 💊. This functionality is expected to be highly beneficial for hospitals 🏥, clinics 💉, insurance companies 🛡️, and other similar applications 📋. Built on the solid foundation of the [Qwen/Qwen2-VL-7B-Instruct](https://huggingface.co/Qwen/Qwen2-VL-7B-Instruct)[1], which we found to be of high quality and fluent in Vietnamese, `EraX-VL-7B` has been fine-tuned to enhance its performance. We plan to continue improving and releasing new versions for free, along with sharing performance benchmarks in the near future.
|
35 |
|
@@ -47,10 +47,10 @@ We are excited to introduce **EraX-VL-7B-v1**, a robust multimodal model for OCR
|
|
47 |
- **License:** Apache 2.0
|
48 |
- **Fine-tuned from:** [Qwen/Qwen2-VL-7B-Instruct](https://huggingface.co/Qwen/Qwen2-VL-7B-Instruct)
|
49 |
|
50 |
-
## Benchmarks
|
51 |
Coming Soon!!!
|
52 |
|
53 |
-
## Quickstart
|
54 |
Here we show a code snippet to show you how to use the chat model with `transformers` and `qwen_vl_utils`:
|
55 |
|
56 |
[![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/drive/1CnSxtWDLG48-NQh7wk9_z8WI7J4OY_Ci?usp=sharing)
|
@@ -60,7 +60,7 @@ from transformers import Qwen2VLForConditionalGeneration, AutoTokenizer, AutoPro
|
|
60 |
from qwen_vl_utils import process_vision_info
|
61 |
```
|
62 |
|
63 |
-
## Examples
|
64 |
|
65 |
![image/jpeg](https://cdn-uploads.huggingface.co/production/uploads/66e93d483745423cbb14c5ff/Q5GkK8vuZ9zDVPkhwu4yH.jpeg)
|
66 |
|
@@ -167,11 +167,11 @@ Hình ảnh là một biểu đồ thể hiện mối quan hệ giữa chỉ s
|
|
167 |
|
168 |
Hình ảnh chụp một khung cảnh đồng quê Việt Nam với những nét đặc trưng riêng biệt. Bối cảnh là một cánh đồng lúa xanh mướt, trải dài bất tận, được bao phủ bởi một lớp sương mù nhẹ nhàng. Phía xa là những dãy núi xanh ngắt, tạo nên một bức tranh thiên nhiên thơ mộng và trữ tình. Ở trung tâm bức ảnh, hai cậu bé đang ngồi trên lưng con trâu nước đen tuyền. Cậu bé phía trước mặc quần đỏ, đang cười tươi rói, trong khi cậu bé phía sau mặc quần đen, vẻ mặt trầm tư hơn. Con trâu nước đang đứng yên, đầu hướng về phía bên phải, nhìn về phía xa xăm. Phía bên phải hình ảnh, một người đàn ông đang cầm một cái chậu màu đen, đang đổ nước lên đầu mình. Nước từ chậu chảy xuống tạo thành những giọt nước li ti, tung tóe khắp không gian. Trên bầu trời, có những đám mây trắng bồng bềnh, tạo nên một khung cảnh thanh bình và lãng mạn. Ánh nắng vàng óng chiếu rọi xuống cánh đồng, tạo nên một bức tranh tuyệt đẹp.
|
169 |
|
170 |
-
## Acknowledgments
|
171 |
We thank Khang Đoàn ([5CD-AI](https://huggingface.co/5CD-AI)) for his invaluable support in order to train `EraX-VL-7B-V1`. Our appreciation also goes to AAA JS Company for their support and resources, which significantly contributed to this project.
|
172 |
For correspondence regarding this work, please contact Nguyễn Anh Nguyên at [nguyen@erax.ai](nguyen@erax.ai).
|
173 |
|
174 |
-
## Citation
|
175 |
<!-- - title={EraX-VL-7B-V1: A Highly Efficient Multimodal LLM for Vietnamese, especially for medical forms and bills.},
|
176 |
- author={Nguyễn Anh Nguyên and Nguyễn Hồ Nam (BCG) and Dũng Hoàng and Thục Phạm and Nhật Phạm},
|
177 |
- helpers={Khang Đoàn and AAA JS Company},
|
@@ -188,7 +188,7 @@ If you find our project useful, we would appreciate it if you could star our rep
|
|
188 |
}
|
189 |
```
|
190 |
|
191 |
-
## References
|
192 |
[1] Qwen team. Qwen2-VL. 2024.
|
193 |
|
194 |
[2] Bai, Jinze, et al. "Qwen-VL: A Versatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond." arXiv preprint arXiv:2308.12966 (2023).
|
|
|
29 |
<!-- ![image/jpeg](https://cdn-uploads.huggingface.co/production/uploads/66e93d483745423cbb14c5ff/fNxjr3en_onzbOv0sghpE.jpeg) -->
|
30 |
|
31 |
# EraX-VL-7B-V1
|
32 |
+
## Introduction🎉
|
33 |
|
34 |
We are excited to introduce **EraX-VL-7B-v1**, a robust multimodal model for OCR (optical character recognition) and VQA (visual question-answering) that excels in various languages, with a particular focus on Vietnamese. The `EraX-VL-7B` model stands out for its precise recognition capabilities across a range of documents, including medical forms 🩺, invoices 🧾, bills of sale 💳, quotes 📄, and medical records 💊. This functionality is expected to be highly beneficial for hospitals 🏥, clinics 💉, insurance companies 🛡️, and other similar applications 📋. Built on the solid foundation of the [Qwen/Qwen2-VL-7B-Instruct](https://huggingface.co/Qwen/Qwen2-VL-7B-Instruct)[1], which we found to be of high quality and fluent in Vietnamese, `EraX-VL-7B` has been fine-tuned to enhance its performance. We plan to continue improving and releasing new versions for free, along with sharing performance benchmarks in the near future.
|
35 |
|
|
|
47 |
- **License:** Apache 2.0
|
48 |
- **Fine-tuned from:** [Qwen/Qwen2-VL-7B-Instruct](https://huggingface.co/Qwen/Qwen2-VL-7B-Instruct)
|
49 |
|
50 |
+
## Benchmarks📊
|
51 |
Coming Soon!!!
|
52 |
|
53 |
+
## Quickstart🎮
|
54 |
Here we show a code snippet to show you how to use the chat model with `transformers` and `qwen_vl_utils`:
|
55 |
|
56 |
[![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/drive/1CnSxtWDLG48-NQh7wk9_z8WI7J4OY_Ci?usp=sharing)
|
|
|
60 |
from qwen_vl_utils import process_vision_info
|
61 |
```
|
62 |
|
63 |
+
## Examples🧩
|
64 |
|
65 |
![image/jpeg](https://cdn-uploads.huggingface.co/production/uploads/66e93d483745423cbb14c5ff/Q5GkK8vuZ9zDVPkhwu4yH.jpeg)
|
66 |
|
|
|
167 |
|
168 |
Hình ảnh chụp một khung cảnh đồng quê Việt Nam với những nét đặc trưng riêng biệt. Bối cảnh là một cánh đồng lúa xanh mướt, trải dài bất tận, được bao phủ bởi một lớp sương mù nhẹ nhàng. Phía xa là những dãy núi xanh ngắt, tạo nên một bức tranh thiên nhiên thơ mộng và trữ tình. Ở trung tâm bức ảnh, hai cậu bé đang ngồi trên lưng con trâu nước đen tuyền. Cậu bé phía trước mặc quần đỏ, đang cười tươi rói, trong khi cậu bé phía sau mặc quần đen, vẻ mặt trầm tư hơn. Con trâu nước đang đứng yên, đầu hướng về phía bên phải, nhìn về phía xa xăm. Phía bên phải hình ảnh, một người đàn ông đang cầm một cái chậu màu đen, đang đổ nước lên đầu mình. Nước từ chậu chảy xuống tạo thành những giọt nước li ti, tung tóe khắp không gian. Trên bầu trời, có những đám mây trắng bồng bềnh, tạo nên một khung cảnh thanh bình và lãng mạn. Ánh nắng vàng óng chiếu rọi xuống cánh đồng, tạo nên một bức tranh tuyệt đẹp.
|
169 |
|
170 |
+
## Acknowledgments👏
|
171 |
We thank Khang Đoàn ([5CD-AI](https://huggingface.co/5CD-AI)) for his invaluable support in order to train `EraX-VL-7B-V1`. Our appreciation also goes to AAA JS Company for their support and resources, which significantly contributed to this project.
|
172 |
For correspondence regarding this work, please contact Nguyễn Anh Nguyên at [nguyen@erax.ai](nguyen@erax.ai).
|
173 |
|
174 |
+
## Citation📝
|
175 |
<!-- - title={EraX-VL-7B-V1: A Highly Efficient Multimodal LLM for Vietnamese, especially for medical forms and bills.},
|
176 |
- author={Nguyễn Anh Nguyên and Nguyễn Hồ Nam (BCG) and Dũng Hoàng and Thục Phạm and Nhật Phạm},
|
177 |
- helpers={Khang Đoàn and AAA JS Company},
|
|
|
188 |
}
|
189 |
```
|
190 |
|
191 |
+
## References📑
|
192 |
[1] Qwen team. Qwen2-VL. 2024.
|
193 |
|
194 |
[2] Bai, Jinze, et al. "Qwen-VL: A Versatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond." arXiv preprint arXiv:2308.12966 (2023).
|