This model classifies a pair of passages as continuing or not. In other words, the model classifies if the linebreak between the pair of input is correct or not. # Usage with SentenceTransformers The usage becomes easier when you have SentenceTransformers installed (trained with SetenceTransformers). Then, you can use the pre-trained models like this: ```python from sentence_transformers import CrossEncoder model = CrossEncoder('model_name') scores = model.predict([(Paragraph1a, Paragraph1b), (Paragraph2a, Paragraph2b) , (Paragraph3a, Paragraph3b)]) ``` # Usage with Huggingface Transformers ```python from transformers import AutoTokenizer, AutoModelForSequenceClassification model = AutoModelForSequenceClassification.from_pretrained('name_model') tokenizer = AutoTokenizer.from_pretrained('name_model') with torch.no_grad(): encoded_input = tokenizer('[SEP]'.join([Paragraph1a, Paragraph1b]), return_tensors='pt') output = model(**encoded_input).logits[0] ``` # Example results ```python paragraph1 = '이러한 국제 정세 속에서 우리나라도 ‘제4차 산업혁명을 선도할 지식재산 경쟁력 확보’를 목표로 제2차 국가지식재산기본계획(2017~2021)을 수립하였다. 신기술 도입, 콘텐츠의 디지털화, 나고야 의정서 발효 등의 글로벌 환경 변화를 반영한 본 계획의 시행을 통해 지식재산 제도' paragraph2 = '선진화와 7조 7,251억 원의 생산, 3조 6,017억 원의 부가가치, 79,076명의 취업, 63,389명의 취업 유발 등의 경제적 파급효과가 예상된다.' ``` (Where the two paragraphs incorrectly separated) - Output from ST: [ 2.9367106, -2.7748516] - Output from HF: [ 2.9245, -2.7643] ```python paragraph1 = '1) 주요 정책의 흐름' paragraph2 = '2020년은 미국의 지식재산 정책에 있어서 중요한 시기라고 할 수 있다. 미국의 도날드 트럼프 행정부의 마지막 임기로서 지식재산권과 관련한 무역전쟁도 한창진행 중이었기 때문이다. 2018년부터 지속된 미·중 무역전쟁에 대해 트럼프 미국 대통령과 류허 중국 중앙정치국 위원 겸 부총리는 2020년 1월 15일 1단계 무역합의에 서명하였고 2월 14일부터 발효되었다. 미·중의 1단계 무역합의문에는 중국의 지식재산권 침해에 대한 입증책임' ``` (Where the two paragraphs correctly separated) - Output from ST: [-4.113529 , 4.1533113] - Output from HF: [-4.1086, 4.1488] # Training details Datasets: - KorQuAD2.1 and AIHub Goverment Documents cleaned from HTML (randomly sampled 20k samples for each) - Positive samples: context is randomly break into a pair with '\n' (line breakers between list items, paragraphs, header and paragraphs, ...) - Negative samples: context is randomly break into a pair (separate in the middle of a sentence)