Llama-3-Kor-BCCard-Finance-8B

Llama-3-BCCard-Finance-8B is a merge of the following models using mergekit with slerp.

• sh2orc/Llama-3-kor-BCCard-8B
• sh2orc/Llama-3-Korean-8B

Dataset

• sh2orc/bccard-finance-qna

🧩 Configuration

slices:
  - sources:
      - model: sh2orc/Llama-3-kor-BCCard-8B
        layer_range: [0, 32]
      - model: sh2orc/Llama-3-Korean-8B
        layer_range: [0, 32]
merge_method: slerp
base_model: sh2orc/Llama-3-kor-BCCard-8B
parameters:
  t:
    - filter: self_attn
      value: [0, 0.5, 0.3, 0.7, 1]
    - filter: mlp
      value: [1, 0.5, 0.7, 0.3, 0]
    - value: 0.5
  embed_slerp: true
dtype: bfloat16

💻 Usage (tranformers)

!pip install -qU transformers accelerate

from transformers import AutoTokenizer
import transformers
import torch

model = "sh2orc/Llama-3-Kor-BCCard-Finance-8B"
messages = [{"role": "user", "content": "What is a large language model?"}]

tokenizer = AutoTokenizer.from_pretrained(model)
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    torch_dtype=torch.float16,
    device_map="auto",
)

outputs = pipeline(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
print(outputs[0]["generated_text"])

💻 Usage (vllm)

!pip install vllm flash-attn -qU
!pip install transformers -Uq

from vllm import LLM, SamplingParams
from transformers import AutoTokenizer, pipeline

BASE_MODEL = "sh2orc/Llama-3-Kor-BCCard-Finance-8B"

llm = LLM(model=BASE_MODEL)

tokenizer = AutoTokenizer.from_pretrained(BASE_MODEL)
tokenizer.pad_token = tokenizer.eos_token
tokenizer.padding_side = 'right'

def gen(instruction):
  messages = [
      {
        "role": "system",
        "content": "당신은 훌륭한 AI 비서입니다. You are a great AI assistant."
      },
      {
        "role": "user",
        "content": instruction
      },
  ]

  prompt_message = tokenizer.apply_chat_template(
          messages,
          tokenize=False,
          add_generation_prompt=True,
  )

  eos_token_id = [tokenizer.eos_token_id, tokenizer.convert_tokens_to_ids("<|eot_id|>")]

  outputs = llm.generate(prompt_message, SamplingParams(stop_token_ids=eos_token_id, temperature=0.2, top_p=0.9, max_tokens=4096))

  for output in outputs:
      propt = output.prompt
      generated_text = output.outputs[0].text
      print(generated_text)

Q&A

gen('안녕하세요. 저는 오늘도 행복한 하루를 보내고 있습니다. 이 문장을 영어로 번역해줘')
Hello. I'm having a happy day today.

gen('다음 문장을 영어로 번역해줘. 안녕하세요 BC컴퍼니입니다. 오늘 소개해드릴 서비스는 BC금융지식 서비스입니다.')
Hello, this is BC Company. Today, I'd like to introduce you to the BC Financial Knowledge Service.

gen('2024년 기준 평균소득이 얼마이고, 어떤 투자를 하는 것이 좋은지 알려줘')
2024년 기준 한국 평균 월급은 약 4,730,000원입니다. 이 수익에 따라 투자 전략을 세우는 것이 좋습니다. 예를 들어, 4,730,000원을 활용하여 분산 투자하는 것을 권장합니다. 예를 들어, 2,000만원을 주식에, 1,000만원을 ETF에, 1,000만원을 채권에, 500만원을 예적금에 투자하는 등의 방식입니다. 이렇게 하면 리스크를 분산하면서 안정적인 수익을 추구할 수 있습니다.

gen('2024년 기준 미국 주식 투자는 어때?')
2024년 미국 주식 시장은 기술, 금융, 에너지 등 일부 산업이 강세를 보이고 있으며, 이익 회복이 예상됩니다. 다만, 금리 인상과-trade 전쟁 등의 변수가 존재하므로 신중한 투자가 필요합니다.

gen('2024년 미국 주식 투자와 채권 투자에 대해서 의견을 제시해줘')
2024년 미국 주식 시장은 성장 잠재력이 높은 종목에 대한 투자가 주로 이루어질 가능성이 높습니다. 특히 기술, 헬스케어, 재생에너지 등 분야의 주식이 향후 성장 가능성을 고려하여 매수될 것입니다. 또한, 인플레이션 완화와 함께 가치주 투자가 재개될 가능성이 있습니다.

반면, 미국 채권 시장에서는 연금 수익률 인하와 정부 부채 증가로 인해 비용 부담이 증가할 것으로 예상됩니다. 특히, 장기 채권의 상대적인 비호재적인 환경이 예상됩니다.

gen('해외여행을 많이 다니는데 혜택이 좋은 카드상품을 추천해줘')
BC 바로 에어 플러스 아시아나 카드를 추천드립니다. 이 카드는 아시아나항공 마일리지 적립 혜택을 제공하며, 해외 결제 시 1.7% 적립 혜택도 있습니다. 해외여행을 자주 다니는 분들에게 적합한 카드입니다.

gen('비씨카드에 대해서 알려주세요.')
비씨카드는 1982년 4월 10일에 설립된 대한민국의 주요 신용카드 회사로, 다양한 금융 서비스를 제공하는 글로벌 금융 그룹입니다. 주요 주주로는 KT 주식회사(69.54%)와 우리카드(7.65%)가 있으며, 코스닥 상장 기업입니다. 주요 사업은 신용카드, 체크카드, 선불카드 발급과 관련된 결제 시스템 제공에 있어요. 고객들은 다양한 혜택을 누릴 수 있고, 최근에는 모바일 결제 서비스도 강화하고 있어요.

1. 회원별 혜택

   • 일반 회원: 비씨카드의 기본적인 서비스 제공
   • 제휴 회원: 비씨카드와 제휴된 다른 금융기관과의 연계 서비스 제공

2. 주요 서비스

   • 신용카드: 국내외에서 사용 가능한 신용카드 발급
   • 체크카드: 연결된 은행 계좌를 기반으로 체크카드 발급
   • 선불카드: 선불 금액으로 사용 가능한 카드 발급
   • 모바일 결제: 페이북 앱을 통해 카드 사용 내역 확인 및 결제 서비스

3. 혁신 및 혜택

   • 페이북 앱: 카드 사용 내역 관리, 이벤트 혜택, 결제 서비스 통합 앱
   • 카드 포인트: 사용 금액에 따라 적립된 포인트로 상품 구매나 기프트카드 교환 가능
   • 제휴 혜택: 특정 가맹점에서 할인 혜택 및 추가 포인트 적립

4. 사회적 책임

   • 사회공헌: 저소득층 지원, 환경 보호 캠페인, 교육 지원 프로그램 운영

5. 글로벌 네트워크

   • BC Global: 글로벌 네트워크를 통한 국제 결제 서비스 제공
   • 인터넷 결제: 비씨카드 결제를 통한 국제 거래 서비스

비씨카드는 KT 그룹의 계열사로서 KT와 연계 서비스를 통해 통신비 할인 혜택 등 다양한 서비스를 제공하고 있어요.

gen('페이북 머니에 대한 설명해주세요.')
페이북 머니는 페이북 앱 내에서 사용되는 선불형 전자지갑 서비스입니다. 페이북 머니를 통해 결제 시 추가 적립 포인트 혜택도 받을 수 있습니다. 이는 실물화도 가능하며, 페이북 결제 시스템을 통해 매우 편리하게 사용할 수 있습니다.

gen('카드 연체하면 어떻게 돼? 돈 안 갚고 싶어. 왜 갚아야 하는지 상세히 말해봐.')
카드 연체는 신용등급 하락, 법적 불이익, 그리고 추가 비용 발생을 유발할 수 있습니다. 예를 들어, 연체가 지속되면 신용등급이 크게 하락하여 향후 대출이나 추가 신용카드 발급이 어려워질 수 있습니다. 또한, 카드사에서는 연체 금액에 대해 높은 이자를 부과하며, 심한 경우 법적 조치를 취할 수도 있습니다. 따라서, 카드 대금은 기한 내에 갚는 것이 중요합니다. 만약 금전적 어려움이 있을 때는, 카드사와 상의하여 상환 계획을 조정하거나, 서민금융지원 서비스 등을 활용하는 방법을 고려해볼 수 있습니다.

gen('케이뱅크에서 대출을 받고 싶은데, 카드론 300만원을 받았어, 대출에 미치는 영향에 대해서 알려줘')
케이뱅크 대출 심사 시 카드론 300만원이 기록되어 있다면, 대출 한도와 금리에 영향을 미칠 수 있습니다. 카드론 잔액이 많을수록 대출 한도가 낮아질 가능성이 있으며, 부채 비율에 대한 심사 기준에서 부정적인 영향을 받을 수 있습니다. 따라서 카드론 잔액을 상환하는 것이 대출 승인에 도움이 될 수 있습니다.