공개 데이터

언급한 조건에 부합하는 공개 데이터가 존재하는지 확인해보았고, 다음과 같은 데이터셋을 찾을 수 있었습니다.

수집한 공개 데이터의 개수가 LLM을 훈련하기에는 충분하지 않고, easylaw_kr 데이터의 경우 답변 내용이 법률 조항이나 판례보다는 보편적인 상식을 바탕으로 작성된 경우가 많았기 때문에 추가적인 데이터가 필요하다고 판단하였습니다.

# easylaw_kr example
"""
교통법규 위반으로 벌점을 받았습니다. 이 벌점은 소멸되지 않고 계속 누적되나요?,
교통법규 위반, 교통사고 유발, 교통사고 후 구호조치 등 불이행의 경우에는 벌점이 부과됩니다.
"""

# LegalQA example
"""
부모의 동의 없이도 혼인을 할 수 있는 연령,
"저는 24세 된 남자로서 대학에 재학 중인 학생입니다. 3년 전부터 같은 학과 여학생과 교제해오던 중 혼인할 것을 합의하고 부모님께 말씀드렸습니다. 그러나 부모님께서는 혼인을 반대하시는데, 제 나이에도 부모님의 동의가 있어야 혼인할 수 있는지요?",
"(1) [혼인적령] 만 18세가 된 사람은 혼인할 수 있습니다(민법 제807조).
 (2) [동의를 요하는 혼인] 1. 만 20세가 되지 아니한 미성년자가 혼인을 할 때에는 부모의 동의를 얻어야 하며, 부모 중 일방이 동의권을 행사할 수 없는 때에는 다른 일방의 동의를 얻어야 하고, 부모가 모두 동의권을 행사할 수 없는 때에는 후견인의 동의를 얻어야 합니다. 2. 금치산자는 부모 또는 후견인의 동의를 얻어 혼인할 수 있습니다. 3. 제1항 및 제2항의 경우에 부모 또는 후견인이 없거나 또는 동의할 수 없는 때에는 친족회의 동의를 얻어 혼인할 수 있습니다(민법 제808조).
 (3) [결론] 남녀 모두 만 20세를 넘어 성년자라면 그 부모의 동의 없이도 혼인할 수 있습니다. 따라서 귀하는 24세로서 성년자이기 때문에 부모님의 동의 없이 혼인할 수 있습니다."
"""

크롤링 데이터

따라서 직접 데이터셋을 구축하기로 결정하였고, 먼저 웹 크롤링을 활용하여 데이터를 수집하였습니다. 데이터 수집 시에는 다음 사항을 준수하여, 저작권 등 법적인 문제가 발생하지 않는 선에서 크롤링을 수행하였습니다.

<aside> 💡 데이터 수집 시 준수한 사항,

공개된 데이터만 수집하며, 보호된 영역에 무단으로 접근하지 않았습니다. 영리적인 목적으로 사용하지 않으며, 학습 및 연구 용도로만 사용하였습니다. 수집한 원천 및 전처리한 데이터셋을 재배포하지 않았습니다. 개인이나 단체가 특정될 수 있는 부분은 다른 표현으로 대체하였습니다.

</aside>

처음 크롤링 후보로 선정한 웹사이트는 대한법률구조공단과 법률메카입니다. 법률메카의 경우 사기업이며, 법률 QA 데이터를 API의 형태로 판매하고 있다는 점을 고려하여 크롤링 대상에서 제외하여 최종적으로는 비영리 단체로 운영되고 있는 대한법률구조공단에서만 크롤링을 수행하였습니다.

대한법률구조공단의 법률상담사례 데이터 9,994건과 국내 사이버상담 데이터 2,463건을 크롤링하여 총 12,457개의 법률 QA 데이터를 확보하였습니다.

크롤링 모듈

데이터 크롤링은 정적 selenium 을 사용한 동적 크롤링과 requests, BeautifulSoup 를 활용한 정적 크롤링을 함께 사용하였습니다. 대한법률구조공단 게시판 페이지의 경우, 페이지를 이동하여도 url이 바뀌지 않아서 동적 크롤링 방식을 사용하여 페이지를 이동하며 게시판에 존재하는 개별 상담 페이지의 id를 수집하였습니다.