File size: 726 Bytes
b87de8f
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
from llama_index import download_loader

BeautifulSoupWebReader = download_loader("BeautifulSoupWebReader")


def load_documents():
    loader = BeautifulSoupWebReader()
    return loader.load_data(urls=[
        'http://campuslife.innopolis.ru/main',
        'http://campuslife.innopolis.ru/handbook2023',
        'http://campuslife.innopolis.ru/clubs',
        'http://campuslife.innopolis.ru/tech_clubs',
        'http://campuslife.innopolis.ru/sport_clubs',
        'http://campuslife.innopolis.ru/hobby_clubs',
        'http://campuslife.innopolis.ru/art_clubs'
        'http://campuslife.innopolis.ru/opportunities',
        'http://campuslife.innopolis.ru/faq',
        'http://campuslife.innopolis.ru/contacts'
    ])