import gradio as gr from huggingface_hub import InferenceClient import os import pandas as pd from typing import List, Dict, Tuple import json import io import traceback import csv # HuggingFace 클라이언트 대신 OpenAI 클라이언트 사용 from openai import OpenAI import os # 추론 API 클라이언트 설정 hf_client = InferenceClient( "CohereForAI/c4ai-command-r-plus-08-2024", token=os.getenv("HF_TOKEN") ) def load_code(filename: str) -> str: try: with open(filename, 'r', encoding='utf-8') as file: return file.read() except FileNotFoundError: return f"{filename} 파일을 찾을 수 없습니다." except Exception as e: return f"파일을 읽는 중 오류가 발생했습니다: {str(e)}" def load_parquet(filename: str) -> str: try: df = pd.read_parquet(filename, engine='pyarrow') return df.head(10).to_markdown(index=False) except FileNotFoundError: return f"{filename} 파일을 찾을 수 없습니다." except Exception as e: return f"파일을 읽는 중 오류가 발생했습니다: {str(e)}" # OpenAI 클라이언트 설정 client = OpenAI(api_key=os.getenv("OPEN_AI")) # respond 함수 수정 def respond(message: str, history: List[Dict[str, str]], system_message: str = "", max_tokens: int = 4000, temperature: float = 0.5, top_p: float = 0.9, parquet_data: str = None) -> str: # 시스템 프롬프트 설정 system_prefix = """반드시 한글로 답변할 것. 너는 업로드된 데이터를 기반으로 질문에 답변하는 역할을 한다. 주요 지침: 1. 질문과 직접 관련된 내용만 간단명료하게 답변할 것 2. 이전 답변과 중복되는 내용은 제외할 것 3. 불필요한 예시나 부연 설명은 하지 말 것 4. 동일한 내용을 다른 표현으로 반복하지 말 것 5. 핵심 정보만 전달할 것 """ if parquet_data: try: df = pd.read_json(io.StringIO(parquet_data)) data_summary = df.describe(include='all').to_string() system_prefix += f"\n\n데이터 요약:\n{data_summary}" except Exception as e: print(f"데이터 로드 오류: {str(e)}") # 대화 히스토리 구성 messages = [{"role": "system", "content": system_prefix}] # 최근 대화 컨텍스트만 유지 recent_history = history[-3:] if history else [] for chat in recent_history: messages.append({"role": chat["role"], "content": chat["content"]}) messages.append({"role": "user", "content": message}) try: # OpenAI API 호출 response = client.chat.completions.create( model="gpt-4o-mini", # GPT-4-mini 모델 사용 messages=messages, max_tokens=max_tokens, temperature=temperature, top_p=top_p, stream=True ) full_response = "" for chunk in response: if chunk.choices[0].delta.content: full_response += chunk.choices[0].delta.content # 응답 정제 cleaned_response = clean_response(full_response) yield cleaned_response except Exception as e: error_message = f"추론 오류: {str(e)}" print(error_message) yield error_message def clean_response(text: str) -> str: """응답 텍스트 정제 함수""" # 문장 단위로 분리 sentences = [s.strip() for s in text.split('.') if s.strip()] # 중복 제거 unique_sentences = [] seen = set() for sentence in sentences: # 문장 정규화 (공백 제거, 소문자 변환) normalized = ' '.join(sentence.lower().split()) if normalized not in seen: seen.add(normalized) unique_sentences.append(sentence) # 정제된 문장 결합 cleaned_text = '. '.join(unique_sentences) if cleaned_text and not cleaned_text.endswith('.'): cleaned_text += '.' return cleaned_text def remove_duplicates(text: str) -> str: """중복 문장 제거 함수""" sentences = text.split('.') unique_sentences = [] seen = set() for sentence in sentences: sentence = sentence.strip() if sentence and sentence not in seen: seen.add(sentence) unique_sentences.append(sentence) return '. '.join(unique_sentences) def upload_csv(file_path: str) -> Tuple[str, str]: try: # CSV 파일 읽기 df = pd.read_csv(file_path, sep=',') # 필수 컬럼 확인 required_columns = {'id', 'text', 'label', 'metadata'} available_columns = set(df.columns) missing_columns = required_columns - available_columns if missing_columns: return f"CSV 파일에 다음 필수 컬럼이 누락되었습니다: {', '.join(missing_columns)}", "" # 데이터 클렌징 df.drop_duplicates(inplace=True) df.fillna('', inplace=True) # 데이터 유형 최적화 df = df.astype({'id': 'int32', 'text': 'string', 'label': 'category', 'metadata': 'string'}) # Parquet 파일로 변환 parquet_filename = os.path.splitext(os.path.basename(file_path))[0] + '.parquet' df.to_parquet(parquet_filename, engine='pyarrow', compression='snappy') return f"{parquet_filename} 파일이 성공적으로 업로드되고 변환되었습니다.", parquet_filename except Exception as e: return f"CSV 파일 업로드 및 변환 중 오류가 발생했습니다: {str(e)}", "" def upload_parquet(file_path: str) -> Tuple[str, str, str]: try: # Parquet 파일 읽기 df = pd.read_parquet(file_path, engine='pyarrow') # 데이터 기본 정보 수집 data_info = { "총 레코드 수": len(df), "컬럼 목록": list(df.columns), "데이터 타입": df.dtypes.to_dict(), "결측치 정보": df.isnull().sum().to_dict() } # 데이터 요약 정보 생성 summary = [] summary.append(f"### 데이터셋 기본 정보:") summary.append(f"- 총 레코드 수: {data_info['총 레코드 수']}") summary.append(f"- 컬럼 목록: {', '.join(data_info['컬럼 목록'])}") # 각 컬럼별 통계 정보 생성 summary.append("\n### 컬럼별 정보:") for col in df.columns: if df[col].dtype in ['int64', 'float64']: # 수치형 데이터 stats = df[col].describe() summary.append(f"\n{col} (수치형):") summary.append(f"- 평균: {stats['mean']:.2f}") summary.append(f"- 최소: {stats['min']}") summary.append(f"- 최대: {stats['max']}") elif df[col].dtype == 'object' or df[col].dtype == 'string': # 문자열 데이터 unique_count = df[col].nunique() summary.append(f"\n{col} (텍스트):") summary.append(f"- 고유값 수: {unique_count}") if unique_count < 10: # 고유값이 적은 경우만 표시 value_counts = df[col].value_counts().head(5) summary.append("- 상위 5개 값:") for val, count in value_counts.items(): summary.append(f" • {val}: {count}개") # 미리보기 생성 preview = df.head(10).to_markdown(index=False) summary.append("\n### 데이터 미리보기:") summary.append(preview) parquet_content = "\n".join(summary) # DataFrame을 JSON 문자열로 변환 (Q&A에서 사용) parquet_json = df.to_json(orient='records', force_ascii=False) return "Parquet 파일이 성공적으로 업로드되었습니다.", parquet_content, parquet_json except Exception as e: return f"Parquet 파일 업로드 중 오류가 발생했습니다: {str(e)}", "", "" def respond(message: str, history: List[Dict[str, str]], system_message: str = "", max_tokens: int = 4000, temperature: float = 0.5, top_p: float = 0.9, parquet_data: str = None) -> str: try: if parquet_data: # JSON 문자열을 DataFrame으로 변환 df = pd.read_json(io.StringIO(parquet_data)) # 데이터셋 컨텍스트 생성 columns_info = [] for col in df.columns: if df[col].dtype in ['int64', 'float64']: col_type = "수치형" stats = df[col].describe() col_info = f"- {col} ({col_type}): 평균={stats['mean']:.2f}, 최소={stats['min']}, 최대={stats['max']}" else: col_type = "텍스트" unique_count = df[col].nunique() col_info = f"- {col} ({col_type}): 고유값 {unique_count}개" columns_info.append(col_info) data_context = f""" 현재 업로드된 데이터셋 정보: - 총 {len(df)} 개의 레코드 - 컬럼 정보: {chr(10).join(columns_info)} 샘플 데이터: {df.head(20).to_string()} """ system_prompt = f"""당신은 업로드된 데이터셋을 분석하고 질문에 답변하는 AI 어시스턴트입니다. 주요 지침: 1. 반드시 한글로 답변할 것 2. 데이터셋의 실제 내용을 기반으로 정확하게 답변할 것 3. 데이터에 없는 내용은 추측하지 말 것 4. 답변은 간단명료하게 할 것 5. 데이터 프라이버시를 고려하여 답변할 것 데이터셋 구조 설명: {chr(10).join(columns_info)} 참고할 데이터 샘플: {data_context} """ else: system_prompt = system_message or "너는 AI 조언자 역할이다." # OpenAI API 호출 messages = [{"role": "system", "content": system_prompt}] # 최근 대화 기록 추가 recent_history = history[-3:] if history else [] for chat in recent_history: messages.append({"role": chat["role"], "content": chat["content"]}) messages.append({"role": "user", "content": message}) response = client.chat.completions.create( model="gpt-4-0125-preview", messages=messages, max_tokens=max_tokens, temperature=temperature, top_p=top_p, stream=True ) full_response = "" for chunk in response: if chunk.choices[0].delta.content: full_response += chunk.choices[0].delta.content yield clean_response(full_response) except Exception as e: error_message = f"응답 생성 중 오류 발생: {str(e)}" print(f"{error_message}\n{traceback.format_exc()}") yield error_message def text_to_parquet(text: str) -> Tuple[str, str, str]: try: # 입력 텍스트를 줄 단위로 분리 lines = [line.strip() for line in text.split('\n') if line.strip()] # 데이터를 저장할 리스트 data = [] for line in lines: try: # 정규식을 사용하여 CSV 형식 파싱 import re pattern = r'(\d+),([^,]+),([^,]+),(.+)' match = re.match(pattern, line) if match: id_val, text_val, label_val, metadata_val = match.groups() # 쌍따옴표 제거 및 정제 text_val = text_val.strip().strip('"') label_val = label_val.strip().strip('"') metadata_val = metadata_val.strip().strip('"') data.append({ 'id': int(id_val), 'text': text_val, 'label': label_val, 'metadata': metadata_val }) except Exception as e: print(f"라인 파싱 오류: {line}\n{str(e)}") continue if not data: return "변환할 데이터가 없습니다.", "", "" # DataFrame 생성 df = pd.DataFrame(data) # 데이터 타입 설정 df = df.astype({ 'id': 'int32', 'text': 'string', 'label': 'string', 'metadata': 'string' }) # Parquet 파일로 변환 parquet_filename = 'text_to_parquet.parquet' df.to_parquet(parquet_filename, engine='pyarrow', compression='snappy') # 미리보기 생성 preview = df.to_markdown(index=False) return ( f"{parquet_filename} 파일이 성공적으로 변환되었습니다. 총 {len(df)}개의 레코드가 처리되었습니다.", preview, parquet_filename ) except Exception as e: error_message = f"텍스트 변환 중 오류가 발생했습니다: {str(e)}" print(f"{error_message}\n{traceback.format_exc()}") return error_message, "", "" # preprocess_text_with_llm 함수도 수정 def preprocess_text_with_llm(input_text: str) -> str: if not input_text.strip(): return "입력 텍스트가 비어있습니다." system_prompt = """반드시 한글(한국어)로 답변하시오. 당신은 데이터 전처리 전문가입니다. 입력된 텍스트를 CSV 데이터셋 형식으로 변환하세요. 규칙: 1. 출력 형식: id,text,label,metadata 2. id: 1부터 시작하는 순차적 번호 3. text: 의미 있는 단위로 분리된 텍스트 4. label: 텍스트의 주제나 카테고리를 아래 기준으로 정확하게 한 개만 선택 - Historical_Figure (역사적 인물) - Military_History (군사 역사) - Technology (기술) - Politics (정치) - Culture (문화) 5. metadata: 날짜, 출처 등 추가 정보""" try: response = client.chat.completions.create( model="gpt-4-0125-preview", messages=[ {"role": "system", "content": system_prompt}, {"role": "user", "content": input_text} ], max_tokens=4000, temperature=0.1, stream=True ) full_response = "" for chunk in response: if chunk.choices[0].delta.content: full_response += chunk.choices[0].delta.content # 응답 정제 processed_text = clean_response(full_response) # CSV 형식 검증 try: from io import StringIO import csv csv.reader(StringIO(processed_text)) return processed_text except csv.Error: return "LLM이 올바른 CSV 형식을 생성하지 못했습니다. 다시 시도해주세요." except Exception as e: error_message = f"전처리 중 오류가 발생했습니다: {str(e)}" print(error_message) return error_message# preprocess_text_with_llm 함수도 수정 def preprocess_text_with_llm(input_text: str) -> str: if not input_text.strip(): return "입력 텍스트가 비어있습니다." system_prompt = """반드시 한글(한국어)로 답변하시오. 당신은 데이터 전처리 전문가입니다. 입력된 텍스트를 CSV 데이터셋 형식으로 변환하세요. 규칙: 1. 출력 형식: id,text,label,metadata 2. id: 1부터 시작하는 순차적 번호 3. text: 의미 있는 단위로 분리된 텍스트 4. label: 텍스트의 주제나 카테고리를 아래 기준으로 정확하게 한 개만 선택 - Historical_Figure (역사적 인물) - Military_History (군사 역사) - Technology (기술) - Politics (정치) - Culture (문화) 5. metadata: 날짜, 출처 등 추가 정보""" try: response = client.chat.completions.create( model="gpt-4o-mini", messages=[ {"role": "system", "content": system_prompt}, {"role": "user", "content": input_text} ], max_tokens=4000, temperature=0.1, stream=True ) full_response = "" for chunk in response: if chunk.choices[0].delta.content: full_response += chunk.choices[0].delta.content # 응답 정제 processed_text = clean_response(full_response) # CSV 형식 검증 try: from io import StringIO import csv csv.reader(StringIO(processed_text)) return processed_text except csv.Error: return "LLM이 올바른 CSV 형식을 생성하지 못했습니다. 다시 시도해주세요." except Exception as e: error_message = f"전처리 중 오류가 발생했습니다: {str(e)}" print(error_message) return error_message # CSS 설정 css = """ footer { visibility: hidden; } #chatbot-container, #chatbot-data-upload { height: 700px; overflow-y: scroll; } #chatbot-container .message, #chatbot-data-upload .message { font-size: 14px; } /* 입력창 배경색 및 글자색 변경 */ textarea, input[type="text"] { background-color: #ffffff; /* 흰색 배경 */ color: #000000; /* 검정색 글자 */ } /* 파일 업로드 영역 높이 조절 */ #parquet-upload-area { max-height: 150px; overflow-y: auto; } /* 초기 설명 글씨 크기 조절 */ #initial-description { font-size: 14px; } """ # Gradio Blocks 인터페이스 설정 with gr.Blocks(css=css) as demo: gr.Markdown("# MyEzRAG: LLM이 나만의 데이터로 학습한 콘텐츠 생성/답변", elem_id="initial-description") gr.Markdown( "### '사용 방법' 탭을 통해 자세한 이용 방법을 참고하세요.\n" "### Tip) '예제'를 통해 다양한 활용 방법을 체험하고 응용해 보세요, 데이터셋 업로드시 미리보기는 10건만 출력", elem_id="initial-description" ) # 첫 번째 탭: 챗봇 데이터 업로드 (탭 이름 변경: "My 데이터셋+LLM") with gr.Tab("My 데이터셋+LLM"): gr.Markdown("### LLM과 대화하기") chatbot_data_upload = gr.Chatbot(label="챗봇", type="messages", elem_id="chatbot-data-upload") msg_data_upload = gr.Textbox(label="메시지 입력", placeholder="여기에 메시지를 입력하세요...") send_data_upload = gr.Button("전송") with gr.Accordion("시스템 프롬프트 및 옵션 설정", open=False): system_message = gr.Textbox(label="System Message", value="너는 AI 조언자 역할이다.") max_tokens = gr.Slider(minimum=1, maximum=8000, value=1000, label="Max Tokens") temperature = gr.Slider(minimum=0, maximum=1, value=0.7, label="Temperature") top_p = gr.Slider(minimum=0, maximum=1, value=0.9, label="Top P") parquet_data_state = gr.State() def handle_message_data_upload(message: str, history: List[Dict[str, str]], system_message: str, max_tokens: int, temperature: float, top_p: float, parquet_data: str): history = history or [] # 중복 질문 검사 recent_questions = [chat['content'].strip().lower() for chat in history[-3:] if chat['role'] == 'user'] if message.strip().lower() in recent_questions: yield history + [{"role": "assistant", "content": "동일한 질문이 최근에 있었습니다. 다른 질문을 해주세요."}], "" return try: history.append({"role": "user", "content": message}) response_gen = respond( message, history, system_message, max_tokens, temperature=0.3, # 낮은 temperature 사용 top_p=top_p, parquet_data=parquet_data ) partial_response = "" for partial in response_gen: partial_response = partial display_history = history + [{"role": "assistant", "content": partial_response}] yield display_history, "" history.append({"role": "assistant", "content": partial_response}) except Exception as e: response = f"오류 발생: {str(e)}" history.append({"role": "assistant", "content": response}) yield history, "" send_data_upload.click( handle_message_data_upload, inputs=[ msg_data_upload, chatbot_data_upload, system_message, max_tokens, temperature, top_p, parquet_data_state, # parquet_data_state를 사용하여 업로드된 데이터를 전달 ], outputs=[chatbot_data_upload, msg_data_upload], queue=True ) # 예제 추가 with gr.Accordion("예제", open=False): gr.Examples( examples=[ ["업로드된 데이터셋에 대해 요약 설명하라."], ["업로드된 데이터셋 파일을 학습 데이터로 활용하여, 본 서비스를 SEO 최적화하여 블로그 포스트(개요, 배경 및 필요성, 기존 유사 제품/서비스와 비교하여 특장점, 활용처, 가치, 기대효과, 결론을 포함)로 4000 토큰 이상 작성하라"], ["업로드된 데이터셋 파일을 학습 데이터로 활용하여, 사용 방법과 차별점, 특징, 강점을 중심으로 4000 토큰 이상 유튜브 영상 스크립트 형태로 작성하라"], ["업로드된 데이터셋 파일을 학습 데이터로 활용하여, 제품 상세 페이지 형식의 내용을 4000 토큰 이상 자세히 설명하라"], ["업로드된 데이터셋 파일을 학습 데이터로 활용하여, FAQ 20건을 상세하게 작성하라. 4000토큰 이상 사용하라."], ["업로드된 데이터셋 파일을 학습 데이터로 활용하여, 특허 출원에 활용할 기술 및 비즈니스 모델 측면을 포함하여 특허 출원서 구성에 맞게 혁신적인 창의 발명 내용을 중심으로 4000 토큰 이상 작성하라."], ], inputs=msg_data_upload, label="예제 선택", ) # Parquet 파일 업로드를 화면 하단으로 이동 gr.Markdown("### Parquet 파일 업로드") with gr.Row(): with gr.Column(): parquet_upload = gr.File( label="Parquet 파일 업로드", type="filepath", elem_id="parquet-upload-area" ) parquet_upload_button = gr.Button("업로드") parquet_upload_status = gr.Textbox(label="업로드 상태", interactive=False) parquet_preview_chat = gr.Markdown(label="Parquet 파일 미리보기") def handle_parquet_upload(file_path: str): message, parquet_content, parquet_json = upload_parquet(file_path) if parquet_json: return message, parquet_content, parquet_json else: return message, "", "" parquet_upload_button.click( handle_parquet_upload, inputs=parquet_upload, outputs=[parquet_upload_status, parquet_preview_chat, parquet_data_state] ) # 두 번째 탭: 데이터 변환 (탭 이름 변경: "CSV to My 데이터셋") with gr.Tab("CSV to My 데이터셋"): gr.Markdown("### CSV 파일 업로드 및 Parquet 변환") with gr.Row(): with gr.Column(): csv_file = gr.File(label="CSV 파일 업로드", type="filepath") upload_button = gr.Button("업로드 및 변환") upload_status = gr.Textbox(label="업로드 상태", interactive=False) parquet_preview = gr.Markdown(label="Parquet 파일 미리보기") download_button = gr.File(label="Parquet 파일 다운로드", interactive=False) def handle_csv_upload(file_path: str): message, parquet_filename = upload_csv(file_path) if parquet_filename: parquet_content = load_parquet(parquet_filename) return message, parquet_content, parquet_filename else: return message, "", None upload_button.click( handle_csv_upload, inputs=csv_file, outputs=[upload_status, parquet_preview, download_button] ) # 세 번째 탭: 텍스트 to csv to parquet 변환 (탭 이름 변경: "Text to My 데이터셋") with gr.Tab("Text to My 데이터셋"): gr.Markdown("### 텍스트를 입력하면 CSV로 변환 후 Parquet으로 자동 전환됩니다.") with gr.Row(): with gr.Column(): text_input = gr.Textbox( label="텍스트 입력 (각 행은 `id,text,label,metadata` 형식으로 입력)", lines=10, placeholder='예: 1,"이순신","장군","거북선"\n2,"원균","장군","모함"\n3,"선조","왕","시기"\n4,"도요토미 히데요시","왕","침략"' ) convert_button = gr.Button("변환 및 다운로드") convert_status = gr.Textbox(label="변환 상태", interactive=False) parquet_preview_convert = gr.Markdown(label="Parquet 파일 미리보기") download_parquet_convert = gr.File(label="Parquet 파일 다운로드", interactive=False) def handle_text_to_parquet(text: str): message, parquet_content, parquet_filename = text_to_parquet(text) if parquet_filename: return message, parquet_content, parquet_filename else: return message, "", None convert_button.click( handle_text_to_parquet, inputs=text_input, outputs=[convert_status, parquet_preview_convert, download_parquet_convert] ) # 네번째 탭의 UI 부분 수정 with gr.Tab("Text Preprocessing with LLM"): gr.Markdown("### 텍스트를 입력하면 LLM이 데이터셋 형식에 맞게 전처리하여 출력합니다.") with gr.Row(): with gr.Column(): raw_text_input = gr.Textbox( label="텍스트 입력", lines=15, placeholder="여기에 전처리할 텍스트를 입력하세요..." ) with gr.Row(): preprocess_button = gr.Button("전처리 실행", variant="primary") clear_button = gr.Button("초기화") preprocess_status = gr.Textbox( label="전처리 상태", interactive=False, value="대기 중..." ) processed_text_output = gr.Textbox( label="전처리된 데이터셋 출력", lines=15, interactive=False ) # Parquet 변환 및 다운로드 섹션 convert_to_parquet_button = gr.Button("Parquet으로 변환") download_parquet = gr.File(label="변환된 Parquet 파일 다운로드") def handle_text_preprocessing(input_text: str): if not input_text.strip(): return "입력 텍스트가 없습니다.", "" try: preprocess_status_msg = "전처리를 시작합니다..." yield preprocess_status_msg, "" processed_text = preprocess_text_with_llm(input_text) if processed_text: preprocess_status_msg = "전처리가 완료되었습니다." yield preprocess_status_msg, processed_text else: preprocess_status_msg = "전처리 결과가 없습니다." yield preprocess_status_msg, "" except Exception as e: error_msg = f"처리 중 오류가 발생했습니다: {str(e)}" yield error_msg, "" def clear_inputs(): return "", "대기 중...", "" def convert_to_parquet_file(processed_text: str): if not processed_text.strip(): return "변환할 텍스트가 없습니다.", None try: message, parquet_content, parquet_filename = text_to_parquet(processed_text) if parquet_filename: return message, parquet_filename return message, None except Exception as e: return f"Parquet 변환 중 오류 발생: {str(e)}", None # 이벤트 핸들러 연결 preprocess_button.click( handle_text_preprocessing, inputs=[raw_text_input], outputs=[preprocess_status, processed_text_output], queue=True ) clear_button.click( clear_inputs, outputs=[raw_text_input, preprocess_status, processed_text_output] ) convert_to_parquet_button.click( convert_to_parquet_file, inputs=[processed_text_output], outputs=[preprocess_status, download_parquet] ) # 예제 텍스트 추가 with gr.Accordion("예제 텍스트", open=False): gr.Examples( examples=[ ["이순신은 조선 중기의 무신이다. 그는 임진왜란 당시 해군을 이끌었다. 거북선을 만들어 왜군과 싸웠다."], ["인공지능은 컴퓨터 과학의 한 분야이다. 기계학습은 인공지능의 하위 분야이다. 딥러닝은 기계학습의 한 방법이다."] ], inputs=raw_text_input, label="예제 선택" ) with gr.Tab("📚 사용 방법"): gr.Markdown(""" # MyEzRAG 사용 가이드 ## 1️⃣ My 데이터셋+LLM 탭 ![Tab1](https://your-image-url.com/tab1.png) ### 기능 - 업로드된 Parquet 데이터셋을 기반으로 LLM과 대화 - 데이터셋의 내용을 활용한 콘텐츠 생성 ### 사용 방법 1. Parquet 파일 업로드 섹션에서 데이터셋 파일을 업로드 2. 채팅창에 원하는 질문이나 요청사항 입력 3. 예제 버튼을 활용하여 다양한 활용 사례 체험 ### 팁 - 시스템 프롬프트 설정으로 응답 스타일 조정 가능 - 상세한 질문일수록 더 정확한 답변 제공 --- ## 2️⃣ CSV to My 데이터셋 탭 ![Tab2](https://your-image-url.com/tab2.png) ### 기능 - CSV 파일을 Parquet 형식으로 변환 - 데이터 최적화 및 정제 ### 사용 방법 1. CSV 파일 준비 (필수 컬럼: id, text, label, metadata) 2. 파일 업로드 후 '업로드 및 변환' 버튼 클릭 3. 변환된 Parquet 파일 다운로드 ### 주의사항 - CSV 파일은 반드시 필수 컬럼을 포함해야 함 - 인코딩은 UTF-8 권장 --- ## 3️⃣ Text to My 데이터셋 탭 ![Tab3](https://your-image-url.com/tab3.png) ### 기능 - 텍스트 형식의 데이터를 Parquet으로 변환 - 수동 데이터 입력 지원 ### 사용 방법 1. 지정된 형식으로 텍스트 입력 ``` 1,"이순신","장군","거북선" 2,"원균","장군","모함" ``` 2. '변환 및 다운로드' 버튼 클릭 3. 변환된 파일 확인 및 다운로드 ### 입력 형식 - id: 순차적 번호 - text: 실제 텍스트 내용 - label: 분류 라벨 - metadata: 부가 정보 --- ## 4️⃣ Text Preprocessing with LLM 탭 ![Tab4](https://your-image-url.com/tab4.png) ### 기능 - LLM을 활용한 자동 텍스트 전처리 - 구조화된 데이터셋 생성 ### 사용 방법 1. 원문 텍스트 입력 2. '전처리 실행' 버튼 클릭 3. 결과 확인 후 필요시 Parquet 변환 ### 특징 - 자동 레이블링 - 문장 단위 분리 - 중복 제거 - 데이터 정규화 ## 💡 일반적인 팁 - 각 탭의 예제를 참고하여 사용법 익히기 - 데이터 품질이 좋을수록 더 나은 결과 제공 - 오류 발생 시 입력 데이터 형식 확인 - 대용량 처리 시 적절한 청크 크기로 분할 처리 ## ⚠️ 주의사항 - 민감한 개인정보 포함하지 않기 - 데이터 백업 권장 - 네트워크 상태 확인 - 브라우저 캐시 주기적 정리 ## 🔍 문제 해결 - 오류 발생 시 입력 데이터 형식 확인 - 파일 업로드 실패 시 파일 크기 및 형식 확인 - 변환 실패 시 데이터 인코딩 확인 - 응답이 느릴 경우 데이터 크기 조정 """) gr.Markdown("### Arxivgpt@gmail.com", elem_id="initial-description") if __name__ == "__main__": demo.launch(share=True)