Spaces:
Runtime error
Runtime error
Update stri.py
Browse files
stri.py
CHANGED
@@ -19,23 +19,6 @@ model = AutoModel.from_pretrained(model_name, output_hidden_states=True)
|
|
19 |
# Загрузка датасета и аннотаций к книгам
|
20 |
books = pd.read_csv('all+++.csv')
|
21 |
books['author'].fillna('other', inplace=True)
|
22 |
-
#books.dropna(inplace=True)
|
23 |
-
|
24 |
-
#books = books[books['annotation'].apply(lambda x: len(x.split()) >= 40)]
|
25 |
-
#books.drop_duplicates(subset='title', keep='first', inplace=True)
|
26 |
-
#books = books.reset_index(drop=True)
|
27 |
-
|
28 |
-
|
29 |
-
#def data_preprocessing(text: str) -> str:
|
30 |
-
#text = re.sub(r'http\S+', " ", text) # удаляем ссылки
|
31 |
-
#text = re.sub(r'@\w+', ' ', text) # удаляем упоминания пользователей
|
32 |
-
#text = re.sub(r'#\w+', ' ', text) # удаляем хэштеги
|
33 |
-
#text = re.sub(r'<.*?>', ' ', text) # html tags
|
34 |
-
# return text
|
35 |
-
|
36 |
-
|
37 |
-
#for i in ['author', 'title', 'annotation']:
|
38 |
-
#books[i] = books[i].apply(data_preprocessing)
|
39 |
|
40 |
annot = books['annotation']
|
41 |
|
@@ -49,29 +32,19 @@ if st.button('Сгенерировать'):
|
|
49 |
with open("book_embeddings256xxx.pkl", "rb") as f:
|
50 |
book_embeddings = pickle.load(f)
|
51 |
|
52 |
-
#book_embeddings = torch.tensor(book_embeddings, device=torch.device('cpu'))
|
53 |
-
|
54 |
-
|
55 |
-
#if st.button('Сгенерировать'):
|
56 |
-
#with open("book_embeddingsN.pkl", "rb") as f:
|
57 |
-
#book_embeddings = torch.load("book_embeddingsN.pkl", map_location=torch.device('cpu'))
|
58 |
-
#
|
59 |
-
#book_embeddings = pickle.load(f)
|
60 |
-
|
61 |
query_tokens = tokenizer.encode_plus(
|
62 |
-
|
63 |
-
|
64 |
-
|
65 |
-
|
66 |
-
|
67 |
-
|
68 |
|
69 |
with torch.no_grad():
|
70 |
-
|
71 |
-
|
72 |
-
|
73 |
|
74 |
-
|
75 |
# Вычисление косинусного расстояния между эмбеддингом запроса и каждой аннотацией
|
76 |
cosine_similarities = torch.nn.functional.cosine_similarity(
|
77 |
query_hidden_states.squeeze(0),
|
@@ -82,7 +55,7 @@ if st.button('Сгенерировать'):
|
|
82 |
|
83 |
indices = np.argsort(cosine_similarities)[::-1] # Сортировка по убыванию
|
84 |
|
85 |
-
num_books_per_page = st.selectbox("Количество книг на странице:", [3, 5, 10], index=0)
|
86 |
|
87 |
for i in indices[:num_books_per_page]:
|
88 |
cols = st.columns(2) # Создание двух столбцов для размещения информации и изображения
|
@@ -94,4 +67,4 @@ if st.button('Сгенерировать'):
|
|
94 |
image = Image.open(BytesIO(response.content))
|
95 |
cols[0].image(image)
|
96 |
cols[0].write(cosine_similarities[i])
|
97 |
-
cols[1].write("---")
|
|
|
19 |
# Загрузка датасета и аннотаций к книгам
|
20 |
books = pd.read_csv('all+++.csv')
|
21 |
books['author'].fillna('other', inplace=True)
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
22 |
|
23 |
annot = books['annotation']
|
24 |
|
|
|
32 |
with open("book_embeddings256xxx.pkl", "rb") as f:
|
33 |
book_embeddings = pickle.load(f)
|
34 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
35 |
query_tokens = tokenizer.encode_plus(
|
36 |
+
query,
|
37 |
+
add_special_tokens=True,
|
38 |
+
max_length=length, # Ограничение на максимальную длину входной последовательности
|
39 |
+
pad_to_max_length=True, # Дополним последовательность нулями до максимальной длины
|
40 |
+
return_tensors='pt' # Вернём тензоры PyTorch
|
41 |
+
)
|
42 |
|
43 |
with torch.no_grad():
|
44 |
+
query_outputs = model(**query_tokens)
|
45 |
+
query_hidden_states = query_outputs.hidden_states[-1][:, 0, :]
|
46 |
+
query_hidden_states = torch.nn.functional.normalize(query_hidden_states)
|
47 |
|
|
|
48 |
# Вычисление косинусного расстояния между эмбеддингом запроса и каждой аннотацией
|
49 |
cosine_similarities = torch.nn.functional.cosine_similarity(
|
50 |
query_hidden_states.squeeze(0),
|
|
|
55 |
|
56 |
indices = np.argsort(cosine_similarities)[::-1] # Сортировка по убыванию
|
57 |
|
58 |
+
num_books_per_page = st.sidebar.selectbox("Количество книг на странице:", [3, 5, 10], index=0)
|
59 |
|
60 |
for i in indices[:num_books_per_page]:
|
61 |
cols = st.columns(2) # Создание двух столбцов для размещения информации и изображения
|
|
|
67 |
image = Image.open(BytesIO(response.content))
|
68 |
cols[0].image(image)
|
69 |
cols[0].write(cosine_similarities[i])
|
70 |
+
cols[1].write("---")
|