Merge branch 'feat/demo'

.gitignore

@@ -1,4 +1,5 @@
 .venv
 dataset
 output
-big_vision_repo
+big_vision_repo
+.env

demo.py

@@ -0,0 +1,79 @@
+import gradio as gr
+import requests
+import base64
+from PIL import Image
+from io import BytesIO
+from dotenv import load_dotenv
+import os
+import deepl
+
+load_dotenv()
+ENDPOINT_URL = "https://api.runpod.ai/v2/qkqui1t394hjws/runsync"
+INFERENCE_API_KEY = os.getenv("INFERENCE_API_KEY")
+TRANSLATE_API_KEY = os.getenv("TRANSLATE_API_KEY")
+
+def encode_image_to_base64(image):
+  buffered = BytesIO()
+  image.save(buffered, format="JPEG")
+  img_str = base64.b64encode(buffered.getvalue()).decode("utf-8")
+  return img_str
+
+
+def translate_en_to_ko(text):
+  translator = deepl.Translator(TRANSLATE_API_KEY)
+  try:
+      result = translator.translate_text(text, target_lang="KO")
+      return result.text
+  except deepl.DeepLException as e:
+      return f"번역 중 오류 발생: {str(e)}"
+
+
+def critic_image(image, language, category):
+  img_base64 = encode_image_to_base64(image)
+  payload = {
+      "input": {
+          "max_new_tokens": 512,
+          "category": category,
+          "image": img_base64
+      }
+  }
+
+  headers = {
+      "Authorization": INFERENCE_API_KEY,
+      "Content-Type": "application/json"
+  }
+  
+
+  response = requests.post(ENDPOINT_URL, json=payload, headers=headers)
+  result = response.json()
+
+  analysis_result = result['output']['result'].strip()
+
+  if language == "KO":
+      return translate_en_to_ko(analysis_result)  # 한국어로 번역 후 반환
+  else:
+      return analysis_result  # 영어 그대로 반환
+
+
+categories = [
+  'General Visual Analysis', 'Form and Shape', 'Symbolism and Iconography', 
+  'Composition', 'Color Palette', 'Light and Shadow', 'Texture', 
+  'Movement and Gesture', 'Line Quality', 'Perspective', 'Scale and Proportion'
+]
+
+
+demo = gr.Interface(
+  fn=critic_image,
+  inputs=[
+    gr.Image(type="pil"),
+    gr.Radio(choices=["EN", "KO"], label="Select Language", value="EN"),
+    gr.Dropdown(choices=categories, label="Select Category", value="General Visual Analysis")
+  ],
+  outputs="text",
+  title="Gemmarte",
+  description="Upload an image and get a visual analysis in text form from the Gemmarte model." 
+)
+
+
+if __name__ == "__main__":
+  demo.launch()

trans_deepl.ipynb

@@ -0,0 +1,107 @@
+{
+ "cells": [
+  {
+   "cell_type": "code",
+   "execution_count": 1,
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "이미지 분석 중...\n",
+      "\n",
+      "영어 분석 결과:\n",
+      "\n",
+      "The painting features a couple passionately embracing, set against a rich, gold-leaf background. The figures are depicted in a stylized manner, with elongated bodies and flowing hair. The woman's face is partially obscured by a veil, adding a sense of mystery and intrigue to the composition. The man's face is turned towards the woman, his eyes closed in a moment of intimacy. The couple's bodies are intertwined, creating a sense of unity and connection. The use of gold leaf throughout the painting adds a luxurious and ethereal quality, enhancing the overall romantic atmosphere of the piece. The intricate patterns and textures in the background further emphasize the couple's connection and the overall sense of opulence and beauty in the painting.\n",
+      "\n",
+      "한국어로 번역 중...\n",
+      "\n",
+      "한국어 번역 결과:\n",
+      "\n",
+      "이 그림은 풍부한 금박을 배경으로 열정적으로 포옹하는 부부의 모습을 담고 있습니다. 인물은 길쭉한 몸과 흐르는 머리카락으로 양식화된 방식으로 묘사되어 있습니다. 여성의 얼굴은 베일로 부분적으로 가려져 있어 구도에 신비감과 음모를 더합니다. 남자의 얼굴은 여자 쪽으로 향하고 있으며, 친밀감을 느끼며 눈을 감고 있습니다. 두 사람의 몸은 서로 얽혀 있어 일체감과 연결감을 자아냅니다. 그림 전체에 금박을 사용하여 고급스럽고 미묘한 느낌을 더하여 작품의 전체적인 로맨틱한 분위기를 더욱 돋보이게 합니다. 배경의 복잡한 패턴과 질감은 부부의 연결과 그림의 전반적인 화려함과 아름다움을 더욱 강조합니다.\n"
+     ]
+    }
+   ],
+   "source": [
+    "import requests\n",
+    "import base64\n",
+    "import deepl\n",
+    "\n",
+    "# RunPod API 설정\n",
+    "runpod_url = \"https://api.runpod.ai/v2/qkqui1t394hjws/runsync\"\n",
+    "runpod_headers = {\n",
+    "    \"Authorization\": \"C51NZTZUOIPSB3NNECOGREZLBHGTZL13FW9L6U5Y\",\n",
+    "    \"Content-Type\": \"application/json\"\n",
+    "}\n",
+    "\n",
+    "# DeepL API 설정\n",
+    "deepl_auth_key = \"fb94505a-9cf7-40cc-95af-8513f31794d1:fx\"\n",
+    "\n",
+    "def encode_image(image_path):\n",
+    "    with open(image_path, \"rb\") as image_file:\n",
+    "        return base64.b64encode(image_file.read()).decode('utf-8')\n",
+    "\n",
+    "def analyze_image(image_path):\n",
+    "    base64_image = encode_image(image_path)\n",
+    "    data = {\n",
+    "        \"input\": {\n",
+    "            \"max_new_tokens\": 512,\n",
+    "            \"category\": \"General Visual Analysis\",\n",
+    "            \"image\": base64_image\n",
+    "        }\n",
+    "    }\n",
+    "    response = requests.post(runpod_url, headers=runpod_headers, json=data)\n",
+    "    if response.status_code == 200:\n",
+    "        return response.json()['output']['result']\n",
+    "    else:\n",
+    "        return f\"이미지 분석 실패. 상태 코드: {response.status_code}\"\n",
+    "\n",
+    "def translate_en_to_ko(text):\n",
+    "    translator = deepl.Translator(deepl_auth_key)\n",
+    "    try:\n",
+    "        result = translator.translate_text(text, target_lang=\"KO\")\n",
+    "        return result.text\n",
+    "    except deepl.DeepLException as e:\n",
+    "        return f\"번역 중 오류 발생: {str(e)}\"\n",
+    "\n",
+    "def main():\n",
+    "    image_path = r\"C:\\Users\\user\\Desktop\\GemmArte-main\\dataset\\images\\2.png\"\n",
+    "    \n",
+    "    print(\"이미지 분석 중...\")\n",
+    "    analysis_result = analyze_image(image_path)\n",
+    "    print(\"\\n영어 분석 결과:\")\n",
+    "    print(analysis_result)\n",
+    "\n",
+    "    print(\"\\n한국어로 번역 중...\")\n",
+    "    korean_result = translate_en_to_ko(analysis_result)\n",
+    "    print(\"\\n한국어 번역 결과:\")\n",
+    "    print(korean_result)\n",
+    "\n",
+    "if __name__ == \"__main__\":\n",
+    "    main()"
+   ]
+  }
+ ],
+ "metadata": {
+  "kernelspec": {
+   "display_name": "nlp",
+   "language": "python",
+   "name": "python3"
+  },
+  "language_info": {
+   "codemirror_mode": {
+    "name": "ipython",
+    "version": 3
+   },
+   "file_extension": ".py",
+   "mimetype": "text/x-python",
+   "name": "python",
+   "nbconvert_exporter": "python",
+   "pygments_lexer": "ipython3",
+   "version": "3.11.10"
+  }
+ },
+ "nbformat": 4,
+ "nbformat_minor": 2
+}