Alignment Learning์ ์ํ ๊ณต๊ฐ ๋ฐ์ดํฐ์
์ค, ์ข์ ๋ฐ์ดํฐ๋ฅผ ์ ๋ฆฌํด์ฃผ์ธ์! (english or multi-lingual) (ultrafeedback-binarized ํฌ๋งท)
Model Understanding Neural Observatory Lab
community
AI & ML interests
None defined yet.
Recent Activity
Organization Card
๋ฐ์ดํฐ๋ฅผ ์ฌ๋ฆด๋์๋ ๊ฐ๊ธ์ Chat-Template์ ์ ์ฉํ์ฌ ์ฌ๋ ค์ฃผ์๊ธฐ ๋ฐ๋๋๋ค.
๊ทธ๋ฆฌ๊ณ REAMME์ ์ต์ํ์ ์ ๋ณด๋ผ๋ ๊ผญ ๊ฐ์ด ์ฌ๋ ค์ฃผ์ธ์!
README์ ์ถ๊ฐํด์ผํ ์ํ ์ฝ๋
# Sample code
print(json.dumps(ds['train'][42], indent=4, ensure_ascii=False))
SFT sample
{
"messages": [
{
"content": "ํํ๊ณตํ์ด ๋ค๋ฅธ ๊ณตํ ๋ถ์ผ์ ์ด๋ป๊ฒ ๋ค๋ฅธ๊ฐ์?",
"role": "user"
},
{
"content": "ํํ๊ณตํ์ ํํ๊ณผ ๊ณตํ์ ํฉ์ฑ์ผ๋ก ์ด๋ฃจ์ด์ง ํ๋ฌธ ๋ถ์ผ์
๋๋ค. ๋ค๋ฅธ ์ผ๋ฐ์ ์ธ ๊ณตํ ๋ถ์ผ์ ๋น๊ตํ์ฌ ํํ๊ณตํ์ ํํ์ ์ธ ์๋ฆฌ์ ๋ฐ์์ ํ ๋๋ก ๊ณตํ์ ์ธ ์ค๊ณ, ๊ฐ๋ฐ, ์์ฐ, ์ด์ ๋ฑ์ ์ํํฉ๋๋ค. ๋ค๋ฅธ ๊ณตํ ๋ถ์ผ์์ ์ฐจ์ด์ ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค:\n\n1. ์ ๊ณต ๊ณผ๋ชฉ: ํํ๊ณตํ์ ํํ, ์ด์ญํ, ๋ฐ์๊ณตํ ๋ฑ ํํ์ ์๋ฆฌ์ ๊ณตํ์ ์ธ ๊ณ์ฐ, ๋ชจ๋ธ๋ง์ ๋ํ ๊ต์ก์ ๋ฐ์ต๋๋ค. ๋ค๋ฅธ ๊ณตํ ๋ถ์ผ๋ ๊ธฐ๊ณ, ์ ๊ธฐ, ํ ๋ชฉ ๋ฑ๊ณผ ๊ฐ์ ๋ถ์ผ๋ณ ์ ๊ณต ๊ณผ๋ชฉ์ ๊ฐ์กฐํฉ๋๋ค.\n\n2. ์ฐ๊ตฌ ๋์: ํํ๊ณตํ์ ๋ค์ํ ์ข
๋ฅ์ ๋ฌผ์ง๊ณผ ํํ ๋ฐ์, ์๋ฆฌ์ ๋ํ ์ฐ๊ตฌ๋ฅผ ์ํํฉ๋๋ค. ๋ค๋ฅธ ๊ณตํ ๋ถ์ผ๋ ์ผ๋ฐ์ ์ผ๋ก ๋ฌผ๋ฆฌ์ ์ธ ์์คํ
, ๊ธฐ๊ณ, ๊ตฌ์กฐ ๋ฑ์ ๊ด๋ จ๋ ์ฐ๊ตฌ๋ฅผ ์ํํฉ๋๋ค.\n\n3. ์ฐ์
๋ถ์ผ: ํํ๊ณตํ์ ํํ ํ๋ก์ธ์ค, ์ ์ฝ, ์๋์ง, ํ๊ฒฝ, ์ํ ๋ฑ ๋ค์ํ ์ฐ์
๋ถ์ผ์์ ํ๋ํฉ๋๋ค. ๋ค๋ฅธ ๊ณตํ ๋ถ์ผ๋ ํด๋น ๋ถ์ผ์ ๊ธฐ์ ๊ณผ ์ง์์ ์ ์ฉํ์ฌ ์๋์ฐจ, ๊ฑด์ถ, ํต์ ๋ฑ ํน์ ํ ๋ถ์ผ์ ์ ๋ฌธํ๋ฉ๋๋ค.\n\n4. ์คํ ๋ฐ ์ฐ๊ตฌ ๋ฐฉ๋ฒ: ํํ๊ณตํ์ ์คํ์ค์์ ๋
๋ฆฝ์ ์ด๊ณ ์ ๋์ ์ธ ์ฐ๊ตฌ๋ฅผ ์ํํ๋ ๊ฒฝ์ฐ๊ฐ ๋ง์ต๋๋ค. ๋ค๋ฅธ ๊ณตํ ๋ถ์ผ๋ ์ค๊ณ, ๋ชจ๋ธ๋ง, ์๋ฎฌ๋ ์ด์
, ์์คํ
๊ฐ๋ฐ ๋ฐ ๊ตฌ์ถ๊ณผ ๊ฐ์ ๋ค์ํ ๋ฐฉ๋ฒ์ ํ์ฉํ์ฌ ์ฐ๊ตฌ๋ฅผ ์ํํฉ๋๋ค.\n\n5. ์์ ๋ฐ ํ๊ฒฝ ๊ณ ๋ ค: ํํ๊ณตํ์ ํํ ๋ฌผ์ง์ ํน์ฑ๊ณผ ์์ ์ ๋ํ ์ดํด๊ฐ ์๊ตฌ๋ฉ๋๋ค. ์์ ํ ํ๋ก์ธ์ค ์ค๊ณ์ ํ๊ฒฝ ๋ณดํธ์ ์ค์ ์ ๋ก๋๋ค. ๋ค๋ฅธ ๊ณตํ ๋ถ์ผ๋ ์์ ๋ฐ ํ๊ฒฝ ์๊ตฌ์ฌํญ์ ๊ณ ๋ คํ์ง๋ง, ํํ๋ฌผ์ง์ ๋ค์์ฑ๊ณผ ํน์ฑ์ ๋ํ ์ดํด๋ ํ์ํ์ง ์์ ์ ์์ต๋๋ค.\n\n์ด๋ฌํ ์ฐจ์ด์ ๋ค๋ก ์ธํด ํํ๊ณตํ์ ๋ค๋ฅธ ๊ณตํ ๋ถ์ผ์๋ ๋
์์ ์ธ ์ธก๋ฉด์ด ์์ผ๋ฉฐ, ํ์ฉ ๋ถ์ผ, ์ฐ์
, ์ฐ๊ตฌ ๋ฐฉ๋ฒ ๋ฑ์์ ๊ทธ ์ฐจ์ด๋ฅผ ๋ํ๋
๋๋ค.",
"role": "assistant"
}
]
}
DPO sample
- HuggingFaceH4/ultrafeedback_binarized
{
"prompt": "ํ๋ฆฌ๋์๋ก ์ผํ ๋ ์ด๋ป๊ฒ ์ฌ์
๊ณํ์ ์๋ฆฝํ๊ณ ์คํํ๋์?",
"chosen": [
{
"content": "ํ๋ฆฌ๋์๋ก ์ผํ ๋ ์ด๋ป๊ฒ ์ฌ์
๊ณํ์ ์๋ฆฝํ๊ณ ์คํํ๋์?",
"role": "user"
},
{
"content": "ํ๋ฆฌ๋์๋ก ์ผํ ๋ ์ฌ์
๊ณํ์ ์๋ฆฝํ๊ณ ์คํํ๋ ๊ฒ์ ์ฑ๊ณต์ ์ธ ํ๋ก์ ํธ ์ํ๊ณผ ์ฅ๊ธฐ์ ์ธ ์ฑ์ฅ์ ์ํด ๋งค์ฐ ์ค์ํฉ๋๋ค. ์๋๋ ํ๋ฆฌ๋์๋ก ์ผํ ๋ ์ฌ์
๊ณํ์ ์๋ฆฝํ๊ณ ์คํํ๋ ๋จ๊ณ๋ฅผ ์๋ดํ๋ ๋ช ๊ฐ์ง ์ง์นจ์
๋๋ค:\n\n1. ๋ชฉํ ์ค์ : ๋จผ์ , ๋ชฉํ๋ฅผ ์ค์ ํ์ธ์. ๋น์ ์ด ๋ฌ์ฑํ๊ณ ์ ํ๋ ์ฅ๊ธฐ์ ์ธ ๋ชฉํ์ ๋จ๊ธฐ์ ์ธ ๋ชฉํ๋ฅผ ์ ์ ํด์ผ ํฉ๋๋ค. ์๋ฅผ ๋ค์ด, ์์
๋ชฉํ, ํด๋ผ์ด์ธํธ ์, ํ๋ก์ ํธ ํ๋ฆฌํฐ ๋ฑ์ ๋ช
ํํ ์ ์ํด์ผ ํฉ๋๋ค.\n\n2. ์์ฅ ์กฐ์ฌ: ์์ฅ ์กฐ์ฌ๋ฅผ ์ค์ํ์ฌ ๋น์ ์ ๊ธฐ์ , ๊ฒฝ์์ฌ, ํด๋ผ์ด์ธํธ ์๊ตฌ์ฌํญ ๋ฑ์ ํ์
ํ์ธ์. ์ด ์ ๋ณด๋ฅผ ๋ฐํ์ผ๋ก ๋น์ ์ ๊ฒฝ์ ์ฐ์๋ฅผ ์ฐพ๊ณ , ์์ฅ์์์ ์์น๋ฅผ ํ์
ํ ์ ์์ต๋๋ค.\n\n3. ํ๊น ๊ณ ๊ฐ ์ ์: ๋น์ ์ด ํ๊น์ผ๋ก ์ผ๊ณ ์ ํ๋ ๊ณ ๊ฐ์ ์ ์ํ์ธ์. ๊ทธ๋ค์ ์๊ตฌ์ฌํญ, ์ ํธํ๋ ์๋น์ค ์ข
๋ฅ, ์์ฐ ๋ฑ์ ๊ณ ๋ คํ์ฌ ํ๊น ๊ณ ๊ฐ ํ๋กํ์ ์์ฑํ์ธ์. ์ด๋ฅผ ํตํด ๋น์ ์ ๋ง์ผํ
์ ๋ต์ ๊ฐ๋ฐํ ์ ์์ต๋๋ค.\n\n4. ์๋น์ค ์ ๊ณต: ๋น์ ์ด ์ ๊ณตํ๋ ์๋น์ค๋ฅผ ๋ช
ํํ ์ ์ํ์ธ์. ๋น์ ์ ๊ธฐ์ , ๊ฒฝํ, ๊ด์ฌ์ฌ ๋ฑ์ ๊ณ ๋ คํ์ฌ ์ด๋ค ์๋น์ค๋ฅผ ์ ๊ณตํ ๊ฒ์ธ์ง ๊ฒฐ์ ํด์ผ ํฉ๋๋ค. ์ด๋ฅผ ํตํด ๋น์ ์ ํ๊น ๊ณ ๊ฐ์ ์๊ตฌ๋ฅผ ์ถฉ์กฑ์ํฌ ์ ์๋ ์๋น์ค๋ฅผ ์ ๊ณตํ ์ ์์ต๋๋ค.\n\n5. ๊ฐ๊ฒฉ ์ ์ฑ
: ๋น์ ์ ์๋น์ค์ ๋ํ ๊ฐ๊ฒฉ ์ ์ฑ
์ ์๋ฆฝํ์ธ์. ๊ฒฝ์์ฌ์ ๊ฐ๊ฒฉ์ ์กฐ์ฌํ๊ณ , ๋น์ ์ ๊ธฐ์ ๊ณผ ๊ฒฝํ, ์์ฅ ์์น ๋ฑ์ ๊ณ ๋ คํ์ฌ ์ ์ ํ ๊ฐ๊ฒฉ์ ์ฑ
์ ํ์ธ์.\n\n6. ๋ง์ผํ
์ ๋ต: ๋น์ ์ ์๋น์ค๋ฅผ ํ๋ณดํ๊ณ ๊ณ ๊ฐ์ ํ๋ณดํ๊ธฐ ์ํ ๋ง์ผํ
์ ๋ต์ ๊ฐ๋ฐํ์ธ์. ์ด๋ฅผ ์ํด ์จ๋ผ์ธ ๋ง์ผํ
, ๋คํธ์ํน, ์์
๋ฏธ๋์ด, ๋ธ๋ก๊ทธ ๋ฑ ๋ค์ํ ๋ง์ผํ
๋๊ตฌ์ ์ฑ๋์ ํ์ฉํ ์ ์์ต๋๋ค.\n\n7. ํ๋ก์ ํธ ๊ด๋ฆฌ: ํ๋ก์ ํธ ์ํ์ ์ํ ํจ๊ณผ์ ์ธ ํ๋ก์ ํธ ๊ด๋ฆฌ ๋ฐฉ๋ฒ์ ์ฌ์ฉํ์ธ์. ์ผ์ ๊ด๋ฆฌ, ์
๋ฌด ๋ถ๋ฐฐ, ๋ฆฌ์คํฌ ๊ด๋ฆฌ ๋ฑ์ ๊ณ ๋ คํ์ฌ ํ๋ก์ ํธ๋ฅผ ๊ณํํ๊ณ ์ํํ์ธ์.\n\n8. ๊ณ์์ ์ธ ๊ฐ์ : ์ฌ์
๊ณํ์ ์๋ฆฝํ๊ณ ์คํํ ํ์๋ ํญ์ ๊ฐ์ ๊ณผ ์ฑ๊ณผ ํ๊ฐ๋ฅผ ์งํํ์ธ์. ๋น์ ์ ์ฑ๊ณผ๋ฅผ ์ฒด๊ณ์ ์ผ๋ก ๋ถ์ํ๊ณ , ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ณ , ์ฑ์ฅ ๋ฐฉํฅ์ ์กฐ์ ํ๋ฉด์ ์ง์์ ์ธ ๊ฐ์ ์ ์ถ๊ตฌํ์ธ์.\n\n์์ ๋จ๊ณ๋ฅผ ๋ฐ๋ผ ์ฌ์
๊ณํ์ ์๋ฆฝํ๊ณ ์คํํ๋ฉด ํ๋ฆฌ๋์๋ก ์ผํ๋ ๋์ ์ฑ๊ณต์ ์ธ ๊ฒฝํ์ ์ป์ ์ ์์ต๋๋ค.",
"role": "assistant"
}
],
"rejected": [
{
"content": "ํ๋ฆฌ๋์๋ก ์ผํ ๋ ์ด๋ป๊ฒ ์ฌ์
๊ณํ์ ์๋ฆฝํ๊ณ ์คํํ๋์?",
"role": "user"
},
{
"content": "ํ๋ฆฌ๋์๋ก ์ผํ ๋ ์ฌ์
๊ณํ์ ์๋ฆฝํ๊ณ ์คํํ๋ ๊ฒ์ ์ค์ํฉ๋๋ค. ์๋๋ ์ฌ์
๊ณํ์ ์๋ฆฝํ๊ณ ์คํํ๋ ๋ช ๊ฐ์ง ๋จ๊ณ์
๋๋ค.\n\n1. ๋ชฉํ ์ค์ : ์ฌ์
์ ์์ํ๊ธฐ ์ ์ ๋ชฉํ๋ฅผ ์ค์ ํด์ผ ํฉ๋๋ค. ์ด๋ค ์ข
๋ฅ์ ํ๋ก์ ํธ๋ฅผ ์ํํ๊ณ ์ถ์์ง, ์ํ๋ ์์
์ ์ผ๋ง์ธ์ง ๋ฑ์ ๊ณ ๋ คํด์ผ ํฉ๋๋ค.\n\n2. ์์ฅ ์กฐ์ฌ: ๋ชฉํ๋ฅผ ์ค์ ํ ํ, ์์ฅ ์กฐ์ฌ๋ฅผ ์ค์ํ์ฌ ์ํํ๊ณ ์ ํ๋ ๋ถ์ผ์ ๋ํ ๊ฒฝ์ ์ํฉ๊ณผ ์์๋ฅผ ํ์ธํด์ผ ํฉ๋๋ค. ์ด๋ฅผ ํตํด ์์ ์ ๊ฒฝ์๋ ฅ์ ํ๊ฐํ๊ณ ํ๊น ๊ณ ๊ฐ์ ์๋ณํ ์ ์์ต๋๋ค.\n\n3. ์๋น์ค/์ ํ ๊ฐ๋ฐ: ํ๋ฆฌ๋์๋ก ์ผํ ๋ ์ ๊ณตํ ์๋น์ค๋ ์ ํ์ ๊ฐ๋ฐํด์ผ ํฉ๋๋ค. ์ด๋, ์์ฅ ์กฐ์ฌ ๊ฒฐ๊ณผ์ ํ๊น ๊ณ ๊ฐ์ Bed needs๋ฅผ ๊ณ ๋ คํ์ฌ ์ ํ/์๋น์ค๋ฅผ ๋์์ธํ๊ณ ๊ตฌ์ฒดํํด์ผ ํฉ๋๋ค.\n\n4. ๋ง์ผํ
์ ๋ต ์๋ฆฝ: ์ฌ์
์ ํ๋ณดํ๊ณ ๊ณ ๊ฐ์ ํ๋ณดํ๊ธฐ ์ํด ๋ง์ผํ
์ ๋ต์ ์๋ฆฝํด์ผ ํฉ๋๋ค. ์จ๋ผ์ธ ๋ง์ผํ
, ์์
๋ฏธ๋์ด, ๋คํธ์ํน ๋ฑ์ ๊ณ ๋ คํ์ฌ ํ๋ณด ๋ฐ ๋ง์ผํ
ํ๋์ ๊ณํํด์ผ ํฉ๋๋ค.\n\n5. ์ฌ๋ฌด ๊ณํ: ์ฌ๋ฌด ๊ณํ์ ์์
๊ณผ ์ง์ถ์ ๊ด๋ฆฌํ๋ ๋ฐฉ๋ฒ์ ๊ฒฐ์ ํ๋ ๊ฒ์
๋๋ค. ์์ฐ์ ์ค์ ํ๊ณ ์์
๊ณผ ์ง์ถ์ ์ถ์ ํ ์ ์๋ ๋๊ตฌ๋ฅผ ์ฌ์ฉํ์ฌ ์ฌ๋ฌด ์ํ๋ฅผ ๋ชจ๋ํฐ๋งํด์ผ ํฉ๋๋ค.\n\n6. ์คํ๊ณผ ์ถ์ : ๊ณํ์ ์คํํ๊ณ ์ถ์ ํ๋ ๊ฒ์ด ์ค์ํฉ๋๋ค. ํ๋ก์ ํธ์ ์งํ ์ํฉ์ ๋ชจ๋ํฐ๋งํ๊ณ , ๋ชฉํ์ ์ฑ๊ณผ๋ฅผ ๋น๊ตํ์ฌ ํ์ํ ์กฐ์ ์ ์ํํด์ผ ํฉ๋๋ค.\n\n7. ๊ณ ๊ฐ ๊ด๋ฆฌ: ํ๋ฆฌ๋์๋ก ์ผํ ๋๋ ๊ณ ๊ฐ ๊ด๋ฆฌ๊ฐ ๋งค์ฐ ์ค์ํฉ๋๋ค. ๊ณ ๊ฐ๊ณผ์ ์ํต์ ์ํํ ํ๊ณ , ๊ณ ๊ฐ์ ์๊ตฌ๋ฅผ ์ดํดํ๊ณ ์ถฉ์กฑ์ํค๋ ๊ฒ์ด ํ์ํฉ๋๋ค.\n\n8. ๊ณ์์ ์ธ ๋ฐ์ : ์ฌ์
์ด ์ฑ๊ณต์ ์ผ๋ก ์งํ๋์๋ค๋ฉด, ๊ณ์ํด์ ๋ฐ์ ์ํค๋ ๊ฒ์ด ์ค์ํฉ๋๋ค. ๊ณ ๊ฐ์ ํผ๋๋ฐฑ์ ์์ฉํ๊ณ ๊ฐ์ ์ฌํญ์ ๋์ถํ์ฌ ์ง์์ ์ผ๋ก ํฅ์์์ผ์ผ ํฉ๋๋ค.\n\nํ๋ฆฌ๋์๋ก ์ผํ ๋ ์ฌ์
๊ณํ์ ์๋ฆฝํ๊ณ ์คํํ๋ ๊ฒ์ ์ง์์ ์ธ ๋
ธ๋ ฅ๊ณผ ๊ด๋ฆฌ๊ฐ ํ์ํฉ๋๋ค. ์ด๋ฌํ ๋จ๊ณ๋ค์ ๋ฐ๋ฅด๋ฉด ๋ ํฐ ์ฑ๊ณต์ ์ด๋ฃฐ ์ ์์ต๋๋ค.",
"role": "assistant"
}
]
}
Collections
1
models
None public yet
datasets
None public yet