README.md

---
license: apache-2.0
language:
- vi
- en
- zh
base_model:
- Qwen/Qwen2-VL-7B-Instruct
library_name: transformers
tags:
- erax
- multimodal
- erax-vl-7b
- insurance
- ocr
- vietnamese
- bcg
pipeline_tag: visual-question-answering

widget:
- src: images/photo-1-16505057982762025719470.webp
  example_title: Test 1
- src: images/vt-don-thuoc-f0-7417.jpeg
  example_title: Test 2
---
<p align="center">
  <img src="https://cdn-uploads.huggingface.co/production/uploads/66e93d483745423cbb14c5ff/fNxjr3en_onzbOv0sghpE.jpeg" alt="Logo">
</p>
<!-- ![image/jpeg](https://cdn-uploads.huggingface.co/production/uploads/66e93d483745423cbb14c5ff/fNxjr3en_onzbOv0sghpE.jpeg) -->

# EraX-VL-7B-V1
## Introduction 🎉

We are excited to introduce **EraX-VL-7B-v1**, a robust multimodal model for **OCR (optical character recognition)** and **VQA (visual question-answering)** that excels in various languages 🌍, with a particular focus on Vietnamese 🇻🇳. The `EraX-VL-7B` model stands out for its precise recognition capabilities across a range of documents 📝, including medical forms 🩺, invoices 🧾, bills of sale 💳, quotes 📄, and medical records 💊. This functionality is expected to be highly beneficial for hospitals 🏥, clinics 💉, insurance companies 🛡️, and other similar applications 📋. Built on the solid foundation of the [Qwen/Qwen2-VL-7B-Instruct](https://huggingface.co/Qwen/Qwen2-VL-7B-Instruct)[1], which we found to be of high quality and fluent in Vietnamese, `EraX-VL-7B` has been fine-tuned to enhance its performance. We plan to continue improving and releasing new versions for free, along with sharing performance benchmarks in the near future.

**EraX-VL-7B-V1** is a young member of our **EraX's LànhGPT** collection of LLM models.

- **Developed by:**
  - Nguyễn Anh Nguyên (nguyen@erax.ai)
  - Nguyễn Hồ Nam (BCG)
  - Hoàng Tiến Dũng (dung.ht@erax.ai)
  - Phạm Huỳnh Nhật (nhat.ph@erax.ai)
  - Phạm Đình Thục (thuc.pd@erax.ai)
- **Funded by:** [Bamboo Capital Group](https://bamboocap.com.vn) and EraX
- **Model type:** Multimodal Transformer with over 7B parameters
- **Languages (NLP):** Primarily Vietnamese with multilingual capabilities
- **License:** Apache 2.0
- **Fine-tuned from:** [Qwen/Qwen2-VL-7B-Instruct](https://huggingface.co/Qwen/Qwen2-VL-7B-Instruct)

## Benchmarks 📊
Coming Soon!!!

## API trial 🎉
Please contact **nguyen@erax.ai** for API access inquiry.

## Examples 🧩

### Example 01: OCR - Optical Character Recognition

<!-- ![image/jpeg](https://cdn-uploads.huggingface.co/production/uploads/66e93d483745423cbb14c5ff/Q5GkK8vuZ9zDVPkhwu4yH.jpeg)
-->

<div align="center">
  <img src="images/henkham_0.jpg" width="500"/>
</div>

```
{
    "document": {
        "header": {
            "title": "GIẤY HẸN KHÁM LẠI",
            "organization": "SỞ Y TẾ NGHỆ AN\nBỆNH VIỆN UNG BƯỚU NGHỆ AN",
            "address": "Võ Thị Sáu, Thủy Tùng - TP Vinh - Nghệ An"
        },
        "patient_info": {
            "name": "NGUYỄN THỊ LUÂN",
            "date_of_birth": "03/07/1976",
            "gender": "40",
            "address": "Xã Nghĩa Khánh-Huyện Nghĩa Đàn-Nghệ An",
            "medical_card_number": "CN 3 40 40 168 60413",
            "registration_date": "16/12/2016",
            "admission_date": "Từ 01/03/2016",
            "diagnosis": "C20-Bướu ac trực tràng",
            "revisit_date": "17/01/2017"
        },
        "administrative_details": {
            "department": "Trung tâm điều trị ung bướu",
            "revisit_instruction": "vào ngày 17/01/2017, hoặc đến hết kỳ thời gian nếu nước ngoài hẹn khám lại nếu có dấu hiệu (triệu chứng)",
            "note": "nếu KCB ban đầu: Trạm y tế xã Nghĩa Khánh",
            "signature": "Trưởng khoa",
            "doctor_signature": "Lâm Nguyễn Khang",
            "revisiting_date_confirmation": "Ngày 16 tháng 12 năm 2016",
            "confirmation_signature": "Bác sĩ điều trị",
            "physician_signature": "Nguyễn Văn Việt"
        }
    }
}
```
### Example 02: OCR - Optical Character Recognition

![image/png](https://cdn-uploads.huggingface.co/production/uploads/66e93d483745423cbb14c5ff/IrX-QP67TZTcTl3vlp1uZ.png)

```
{
  "header": {
    "title": "PHIẾU KHÁM BỆNH",
    "date": "Hà Nội, ngày 23 tháng 3 năm 2020",
    "patient_info": {
      "id": "HN011000002",
      "name": "Vương Hồng Thắng - Năm sinh: 1978",
      "address": "Số 10 tầng 2, TTTM V+, Số 505 Phố Minh Khai, Quận Hai Bà Trưng, Hà Nội",
      "phone": "+0942116117",
      "email": "bamu.vn@gmail.com"
    },
    "contact_info": {
      "address": "Nhà Khoa Bamufit\nĐịa chỉ: 505, Phố Minh Khai, Hai Bà Trưng, Hà Nội, Việt Nam",
      "phone": "0942484784",
      "email": "info@bamufit.vn",
      "website": "https://bamufit.vn"
    }
  },
  "treatment_details": [
    {
      "visit_date": "13-09-2019",
      "treatment_type": "Chẩn đoán: Abscess chẽ",
      "procedure": "Cắt lợi bằng Laser r23",
      "doctor": "THỊ HIEN",
      "price": "500,000",
      "quantity": "1",
      "discounted_price": "0",
      "total_cost": "500,000"
    },
    {
      "visit_date": "13-09-2019",
      "treatment_type": "Chẩn đoán: Abscess quanh chóp",
      "procedure": "Bám gai xuống ở răng r23",
      "doctor": "THỊ HIEN",
      "price": "100,000",
      "quantity": "1",
      "discounted_price": "0",
      "total_cost": "100,000"
    }
  ],
  "financial_details": {
    "total_cost": "600,000",
    "discounted_total": "0",
    "paid_amount": "1,114,000",
    "remaining_balance": "1,714,000"
  },
  "notes": "- Kiêng ăn uống đồ để gây nhiễm mủ như chè, cà phê, thuốc lá, rượu vang đỏ .. và hạn chế dùng đồ quá nóng, quá lạnh sau khi tẩy trắng răng ít nhất 2 tuần.",
  "footer": {
    "customer_signature": "(Ký và ghi rõ họ tên)",
    "accountant_signature": "(Ký và ghi rõ họ tên)",
    "dentist_signature": "(Ký và ghi rõ họ tên)"
  }
}
```
### Example 03: Image Captioning

![image/jpeg](https://cdn-uploads.huggingface.co/production/uploads/66e93d483745423cbb14c5ff/pSSqEOXQCsvz9H76CGQXa.jpeg)

Hình ảnh là một biểu đồ thể hiện mối quan hệ giữa chỉ số BMI (Body Mass Index) và tuổi, được chia thành các mức độ khác nhau dựa trên phần trăm percentile. Trục hoành của biểu đồ đại diện cho tuổi từ 2 đến 20 năm, trong khi trục tung đại diện cho chỉ số BMI từ 10 đến 32. Biểu đồ này có ba khu vực chính: vùng màu đỏ ở phía dưới cùng đại diện cho mức béo phì với chỉ số BMI cao hơn 30; vùng màu vàng nằm giữa đại diện cho nguy cơ béo phì với chỉ số BMI từ khoảng 25 đến 30; và vùng màu xanh lá cây ở phía trên đại diện cho mức cân nặng khỏe mạnh hoặc thiếu cân với chỉ số BMI thấp hơn 25. Trên biểu đồ còn có đường cong màu xám chạy qua các mức độ BMI theo tuổi, đánh dấu các mức 5th, 50th, và 95th percentile. Văn bản trong hình gồm các cụm từ 'Béo phì', 'Nguy cơ béo phì', 'Sức khỏe dinh dưỡng tốt', và 'Thiếu cân' để mô tả từng khu vực tương ứng với chỉ số BMI.

### Example 04: Image Captioning

<!-- ![image/jpeg](https://cdn-uploads.huggingface.co/production/uploads/66e93d483745423cbb14c5ff/kXrR6s990p0EgphZEtEnJ.jpeg) -->

<div align="center">
  <img src="images/langque_1.jpg" width="500"/>
</div>

Hình ảnh chụp một khung cảnh đồng quê Việt Nam với những nét đặc trưng riêng biệt. Bối cảnh là một cánh đồng lúa xanh mướt, trải dài bất tận, được bao phủ bởi một lớp sương mù nhẹ nhàng. Phía xa là những dãy núi xanh ngắt, tạo nên một bức tranh thiên nhiên thơ mộng và trữ tình. Ở trung tâm bức ảnh, hai cậu bé đang ngồi trên lưng con trâu nước đen tuyền. Cậu bé phía trước mặc quần đỏ, đang cười tươi rói, trong khi cậu bé phía sau mặc quần đen, vẻ mặt trầm tư hơn. Con trâu nước đang đứng yên, đầu hướng về phía bên phải, nhìn về phía xa xăm. Phía bên phải hình ảnh, một người đàn ông đang cầm một cái chậu màu đen, đang đổ nước lên đầu mình. Nước từ chậu chảy xuống tạo thành những giọt nước li ti, tung tóe khắp không gian. Trên bầu trời, có những đám mây trắng bồng bềnh, tạo nên một khung cảnh thanh bình và lãng mạn. Ánh nắng vàng óng chiếu rọi xuống cánh đồng, tạo nên một bức tranh tuyệt đẹp.

### Example 05: Visual Question Answering

<div align="center">
  <img src="images/biencadoitheo_3.jpg" width="500"/>
</div>

- **User**: Hãy mô tả nội dung của bức ảnh này một cách thật chi tiết và không giải thích gì thêm

- **Assistant**: Bức ảnh là một hình vẽ minh họa đơn giản về một cô bé đang ôm một con gấu bông màu vàng. Cô bé có mái tóc đen ngắn, mặc váy đỏ và đi tất sọc trắng. Cô bé đứng ở giữa khung hình với tư thế ôm chặt gấu bông bằng cả hai tay. Gấu bông có đôi mắt to tròn và nụ cười tươi. Văn bản trong ảnh được chia thành hai phần: phần trên cùng là tiếng Anh và phần dưới là tiếng Việt. Nội dung văn bản như sau: 'Sofia's bear was old, tatty and very well loved.' (Có nghĩa là 'Con gấu bông của Sofia đã cũ kỹ và rách rưới nhưng cô bé rất yêu nó'). Dưới dòng chữ tiếng Anh là dòng chữ tiếng Việt: 'Sofia có một bạn gấu bông tuy đã cũ kỹ và sờn rách nhưng cô bé rất yêu quý nó.' Bố cục tổng thể của bức ảnh khá đơn giản, tập trung vào nhân vật chính là cô bé và con gấu bông mà cô đang ôm. Màu sắc chủ đạo là các gam màu ấm áp như đỏ, vàng và nâu nhạt, tạo cảm giác thân thiện và gần gũi.

### Example 06: Multi-turns Visual Question Answering

<div align="center">
  <img src="images/henkham_0.jpg" width="500"/>
</div>

- **User**: Hãy trích xuất toàn bộ chi tiết của bức ảnh này theo đúng thứ tự của nội dung trong ảnh. Không bình luận gì thêm.
  Lưu ý:
  1. Nếu có chữ trong ảnh thì phải trích xuất ra hết theo thứ tự và định dạng của câu chữ.
  2. Nếu có bảng biểu (table) thì phải trả lại định dạng như bảng biểu trong hình và text của nó.
  3. Nếu bức ảnh không có bất kỳ ký tự nào, hãy diễn giải bức ảnh đó.
  4. Chỉ trả lại bằng tiếng Việt.

- **Assistant**: Bức ảnh là một giấy hẹn khám lại từ Bệnh viện Ung Bướu Nghệ An. Giấy hẹn được cấp cho bệnh nhân Nguyễn Thị Luân, sinh ngày 03/07/1976, hiện đang cư trú tại Xã Nghĩa Khánh - Huyện Nghĩa Đàn - Nghệ An. Giấy hẹn ghi rõ thông tin về lần sử dụng thuốc BHYT từ ngày 01/03/2016 đến 16/12/2016, với số thẻ BHYT là CN 3 40 40 168 60413. Ngày khám ban đầu là 16/12/2016 và giờ khám là buổi trưa. Giấy hẹn khám lại vào ngày 17/01/2017 hoặc trước khi hết thời hạn sử dụng thẻ bảo hiểm y tế nếu có dấu hiệu triệu chứng bất thường. Giấy hẹn cũng chỉ áp dụng cho một lần khám duy nhất trong vòng 10 ngày làm việc kể từ ngày được hẹn khám lại. Bên dưới phần thông tin bệnh nhân là chữ ký của Trưởng khoa, bác sĩ điều trị và con dấu đỏ của Bệnh viện Ung Bướu Nghệ An. Ngoài ra, trên góc phải của giấy hẹn còn có dòng chữ 'Tổng đài tư vấn 1900.6172' cùng logo của bệnh viện.

- **User**: Hãy cho biết thông tin của bệnh nhân.

- **Assistant**: Bệnh nhân là Nguyễn Thị Luân, sinh ngày 03/07/1976, hiện đang cư trú tại Xã Nghĩa Khánh - Huyện Nghĩa Đàn - Nghệ An. Số thẻ bảo hiểm y tế của bệnh nhân là CN 3 40 40 168 60413.

- **User**: Bác sĩ điều trị cho bệnh nhân là ai?

- **Assistant**: Bác sĩ điều trị cho bệnh nhân là bác sĩ Nguyễn Văn Việt.

- **User**: Đến năm 2024 chị Luân bao nhiêu tuổi?

- **Assistant**: Nguyễn Thị Luân sinh ngày 03/07/1976, tính đến năm 2024 chị sẽ 48 tuổi.

- **User**: Vậy năm 2020 chị Luân mấy tuổi?

- **Assistant**: Vào năm 2020, Nguyễn Thị Luân sẽ 44 tuổi vì năm 2020 cách năm 2024 4 năm.

### Example 07: Multi-images Visual Question Answering

<div style="display: flex; justify-content: center; gap: 10px;">
  <img src="images/langque_0.jpg" width="350"/>
  <img src="images/langque_1.jpg" width="350"/>
</div>

- **User**: Hãy trích xuất toàn bộ chi tiết của các bức ảnh này theo đúng thứ tự của nội dung và không bình luận gì

- **Assistant**: Hình ảnh đầu tiên là một bức tranh sơn dầu với phong cách tả thực, thể hiện khung cảnh làng quê Việt Nam thanh bình. Bức tranh được vẽ với gam màu tươi sáng, rực rỡ, tạo cảm giác ấm áp, vui tươi. Nền trời xanh biếc, điểm xuyết những đám mây trắng bồng bềnh. Phía xa là dãy núi xanh ngắt, thấp thoáng những ngôi nhà mái ngói đỏ au. Giữa khung cảnh là dòng sông uốn lượn, chảy hiền hòa giữa cánh đồng lúa chín vàng óng ánh. Hai bên bờ sông là những hàng cây xanh mát rượi, tạo nên một bức tranh thiên nhiên thơ mộng, hữu tình. Trên dòng sông, có hai người đang ngồi trên thuyền nhỏ, tay cầm lái, hướng về phía trước. Bên cạnh đó, còn có một người phụ nữ đang đi trên con đường đất nhỏ, hướng về phía làng. Hình ảnh này gợi lên một cuộc sống thanh bình, yên ả của người dân làng quê Việt Nam. 

  Hình ảnh thứ hai là một bức ảnh chụp chân dung, thể hiện sự hồn nhiên, trong sáng của tuổi thơ. Trong ảnh, có ba nhân vật chính: hai cậu bé và một người đàn ông. Cậu bé lớn hơn đang cưỡi trên lưng con trâu đen, hai tay nắm chặt vào dây cương, vẻ mặt đầy thích thú. Cậu bé nhỏ hơn ngồi sau lưng cậu bạn lớn, tay cầm một chiếc mũ rộng vành, nhìn về phía trước với ánh mắt ngây thơ. Người đàn ông đứng ở phía sau, mặc quần đùi, tay cầm một cái chậu nước, đang đổ nước lên đầu hai cậu bé. Bối cảnh của bức ảnh là một cánh đồng cỏ xanh mướt, phía xa là những hàng cây xanh mát. Ánh nắng ban mai chiếu rọi xuống cánh đồng, tạo nên một khung cảnh đẹp như tranh vẽ.  

  Bức ảnh này mang đến cho người xem cảm giác vui tươi, hồn nhiên, thể hiện nét đẹp văn hóa truyền thống của người nông dân Việt Nam.  

## Quickstart 🎮
[![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/drive/1CnSxtWDLG48-NQh7wk9_z8WI7J4OY_Ci?usp=sharing)

Install the necessary packages:
```curl
python -m pip install git+https://github.com/huggingface/transformers accelerate
python -m pip install qwen-vl-utils
pip install flash-attn --no-build-isolation
```

Then you can use `EraX-VL-7B-V1` like this:
```python
import os
import base64
import json

import cv2
import numpy as np
import matplotlib.pyplot as  plt

import torch
from transformers import Qwen2VLForConditionalGeneration, AutoTokenizer, AutoProcessor
from qwen_vl_utils import process_vision_info

model_path = "erax/EraX-VL-7B-V1"

model = Qwen2VLForConditionalGeneration.from_pretrained(
    model_path,
    torch_dtype=torch.bfloat16,
    attn_implementation="eager", # replace with "flash_attention_2" if your GPU is Ampere architecture
    device_map="auto"
)

tokenizer =  AutoTokenizer.from_pretrained(model_path)
# processor = AutoProcessor.from_pretrained(model_path)

min_pixels = 256 * 28 * 28
max_pixels = 1280 * 28 * 28
processor_model = "Qwen/Qwen2-VL-7B-Instruct-GPTQ-Int4"
processor = AutoProcessor.from_pretrained(
     processor_model,
     min_pixels=min_pixels,
     max_pixels=max_pixels,
 )

image_path ="image.jpg"

with open(image_path, "rb") as f:
    encoded_image = base64.b64encode(f.read())
decoded_image_text = encoded_image.decode('utf-8')
base64_data = f"data:image;base64,{decoded_image_text}"

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": base64_data,
            },
            {
                "type": "text",
                "text": "Diễn tả nội dung bức ảnh như 1 bác sỹ giỏi."
                # "Diễn tả nội dung bức ảnh này bằng định dạng json."
            },
        ],
    }
]

# Prepare prompt
tokenized_text = processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)

image_inputs, video_inputs = process_vision_info(messages)

inputs = processor(
    text=[ tokenized_text],
    images=image_inputs,
    videos=video_inputs,
    padding=True,
    return_tensors="pt",
)
inputs = inputs.to("cuda")

# Generation configs
generation_config =  model.generation_config
generation_config.do_sample   = True
generation_config.temperature = 0.2
generation_config.top_k       = 1
generation_config.top_p       = 0.001
generation_config.max_new_tokens     = 2048
generation_config.repetition_penalty = 1.1

# Inference
generated_ids = model.generate(**inputs, generation_config=generation_config)
generated_ids_trimmed = [
    out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
output_text = processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)

print(output_text[0])
```

## Acknowledgments 👏
We thank Khang Đoàn ([5CD-AI](https://huggingface.co/5CD-AI)) for his invaluable support in order to train `EraX-VL-7B-V1`. Our appreciation also goes to AAA JS Company for their support and resources, which significantly contributed to this project. 

## Citation 📝
<!-- - title={EraX-VL-7B-V1: A Highly Efficient Multimodal LLM for Vietnamese, especially for medical forms and bills.},
- author={Nguyễn Anh Nguyên and Nguyễn Hồ Nam (BCG) and Dũng Hoàng and Thục Phạm and Nhật Phạm},
- helpers={Khang Đoàn and AAA JS Company},
- contact={nguyen@erax.ai},
- organization={EraX} -->
If you find our project useful, we would appreciate it if you could star our repository and cite our work as follows:
```
@article{EraX-VL-7B-V1,
  title={EraX-VL-7B-V1: A Highly Efficient Multimodal LLM for Vietnamese, especially for medical forms and bills},
  author={Nguyễn Anh Nguyên and Nguyễn Hồ Nam (BCG) and Hoàng Tiến Dũng and Phạm Đình Thục and Phạm Huỳnh Nhật},
  organization={EraX},
  year={2024},
  url={https://huggingface.co/erax-ai/EraX-VL-7B-V1}
}
```

## References 📑
[1] Qwen team. Qwen2-VL. 2024.

[2] Bai, Jinze, et al. "Qwen-VL: A Versatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond." arXiv preprint arXiv:2308.12966 (2023).

[4] Yang, An, et al. "Qwen2 technical report." arXiv preprint arXiv:2407.10671 (2024).

[5] Chen, Zhe, et al. "Internvl: Scaling up vision foundation models and aligning for generic visual-linguistic tasks." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024.

[6] Chen, Zhe, et al. "How far are we to gpt-4v? closing the gap to commercial multimodal models with open-source suites." arXiv preprint arXiv:2404.16821 (2024).

[7] Tran, Chi, and Huong Le Thanh. "LaVy: Vietnamese Multimodal Large Language Model." arXiv preprint arXiv:2404.07922 (2024).


## Contact 🤝
- For correspondence regarding this work, please contact Nguyễn Anh Nguyên at [nguyen@erax.ai](nguyen@erax.ai).
- If you need API access, please email [nguyen@erax.ai](nguyen@erax.ai); we will also release our Github codes shortly.