kryman27 commited on
Commit
061d5cb
·
verified ·
1 Parent(s): ec5299c

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +10 -2
app.py CHANGED
@@ -1,5 +1,6 @@
1
  import gradio as gr
2
  import pdfplumber
 
3
  from transformers import pipeline
4
 
5
  # Model NER do rozpoznawania nazw organizacji
@@ -10,7 +11,7 @@ def extract_seller(pdf_file):
10
  # Pobranie tekstu z PDF
11
  full_text = "\n".join(page.extract_text() for page in pdf.pages if page.extract_text())
12
 
13
- # Podział tekstu na krótkie fragmenty (maks. 512 znaków)
14
  chunks = [full_text[i:i+512] for i in range(0, len(full_text), 512)]
15
 
16
  seller_tokens = []
@@ -20,7 +21,11 @@ def extract_seller(pdf_file):
20
 
21
  for entity in entities:
22
  if "ORG" in entity["entity_group"]: # Szukamy nazw organizacji
23
- seller_tokens.append(entity["word"])
 
 
 
 
24
 
25
  if seller_tokens: # Jeśli znaleziono organizację, przerywamy pętlę
26
  break
@@ -28,6 +33,9 @@ def extract_seller(pdf_file):
28
  # Łączymy tokeny w pełną nazwę organizacji
29
  seller_name = " ".join(seller_tokens)
30
 
 
 
 
31
  return {"Sprzedawca": seller_name if seller_name else "Nie znaleziono"}
32
 
33
  # Interfejs użytkownika w Hugging Face Spaces
 
1
  import gradio as gr
2
  import pdfplumber
3
+ import re
4
  from transformers import pipeline
5
 
6
  # Model NER do rozpoznawania nazw organizacji
 
11
  # Pobranie tekstu z PDF
12
  full_text = "\n".join(page.extract_text() for page in pdf.pages if page.extract_text())
13
 
14
+ # Podział tekstu na krótkie fragmenty (maks. 512 znaków, aby model działał szybciej)
15
  chunks = [full_text[i:i+512] for i in range(0, len(full_text), 512)]
16
 
17
  seller_tokens = []
 
21
 
22
  for entity in entities:
23
  if "ORG" in entity["entity_group"]: # Szukamy nazw organizacji
24
+ word = entity["word"]
25
+
26
+ # Usuwamy błędne tokeny (np. "Faktura", "Z", itp.)
27
+ if not re.match(r"^(Faktura|Z|##|I|KRZYSZTOF|ŻARNOWIECKA)$", word, re.IGNORECASE):
28
+ seller_tokens.append(word)
29
 
30
  if seller_tokens: # Jeśli znaleziono organizację, przerywamy pętlę
31
  break
 
33
  # Łączymy tokeny w pełną nazwę organizacji
34
  seller_name = " ".join(seller_tokens)
35
 
36
+ # Usuwamy ewentualne powtórzone litery lub spacje między literami np. "S A" → "S.A."
37
+ seller_name = re.sub(r"\bS A\b", "S.A.", seller_name)
38
+
39
  return {"Sprzedawca": seller_name if seller_name else "Nie znaleziono"}
40
 
41
  # Interfejs użytkownika w Hugging Face Spaces