Document Processing
PDF에서 읽기 순서·정규화·메타데이터·품질 점검을 거쳐 검색 가능한 텍스트를 만든다.
PDF Extraction
보이는 페이지와 추출 문자열
Overview 개요#
PDF는 본래 화면 배치를 위한 형식이므로 보이는 순서와 추출되는 텍스트 순서가 다를 수 있다. 페이지별 원시 추출값과 정리한 텍스트를 직접 비교한다.
Concept 핵심 개념#
텍스트 레이어가 있는 PDF는 OCR 없이 글자를 추출할 수 있지만, 다단 구성·머리글·쪽수·표의 열 순서는 별도 문제다. 추출한 문자열에 줄바꿈이 있다는 사실만으로 문단 경계가 확정되는 것은 아니다.
이 자료는 Poppler의 layout 추출을 사용하고 반복 머리글·쪽수를 정리했다. PyMuPDF로 페이지 크기, 텍스트 블록 수와 이미지 객체 수를 함께 기록했다. 이미지 객체가 0이어도 벡터 도형이나 추출되지 않은 수식이 있을 수 있다. 원본 PDF를 같은 쪽에서 열어 대조하는 과정이 필요하다.
page → { text, blocks, page_id, dimensions in pt }Hands-on 직접 살펴보기#
2쪽, 78쪽, 156쪽, 168쪽처럼 형태가 다른 쪽을 선택하고 원시/정리 텍스트를 비교한다. 숫자나 표의 연결이 불명확하면 원본 링크를 연다.
기본 입력으로 계산한 결과
| 항목 | 값 |
|---|---|
| PDF width | 595 pt |
| PDF height | 842 pt |
| Page anchor | #page=78 |
계산 내용
② 제1항에도 불구하고 유기화합물의 발생이 혼합물질인 경우에는 각각의 환기량을 모두 합한 값을 필요환기량으
로 적용한다. 다만, 상가작용(相加作用)이 없을 경우에는 필요환기량이 가장 큰 물질의 값을 적용한다.
③ 사업주는 전체환기장치를 설치하려는 경우에 전체환기장치의 배풍기(덕트를 사용하는 전체환기장치의 경우에는
해당 덕트의 개구부를 말한다)를 관리대상 유해물질의 발산원에 가장 가까운 위치에 설치하여야 한다.
제431조(작업장의 바닥) 사업주는 관리대상 유해물질을 취급하는 실내작업장의 바닥에 불침투성의 재료를 사용하고
청소하기 쉬운 구조로 하여야 한다.
제432조(부식의 방지조치) 사업주는 관리대상 유해물질의 접촉설비를 녹슬지 않는 재료로 만드는 등 부식을 방지하기
위하여 필요한 조치를 하여야 한다.
제433조(누출의 방지조치) 사업주는 관리대상 유해물질 취급설비의 뚜껑ㆍ플랜지(flange)ㆍ밸브 및 콕(cock) 등의 접합
부에 대하여 관리대상 유해물질이 새지 않도록 개스킷(gasket)을 사용하는 등 누출을 방지하기 위하여 필요한 조치
를 하여야 한다.
제434조(경보설비 등) ① 사업주는 관리대상 유해물질 중 금속류, 산ㆍ알칼리류, 가스상태 물질류를 1일 평균 합계
100리터(기체인 경우에는 해당 기체의 용적 1세제곱미터를 2리터로 환산한다) 이상 취급하는 사업장에서 해당 물질
이 샐 우려가 있는 경우에 경보설비를 설치하거나 경보용 기구를 갖추어 두어야 한다.
② 사업주는 제1항에 따른 사업장에 관리대상 유해물질 등이 새는 경우에 대비하여 그 물질을 제거하기 위한 약제
ㆍ기구 또는 설비를 갖추거나 설치하여야 한다.
제435조(긴급 차단장치의 설치 등) ① 사업주는 관리대상 유해물질 취급설비 중 발열반응 등 이상화학반응에 의하여
관리대상 유해물질이 샐 우려가 있는 설비에 대하여 원재료의 공급을 막거나 불활성가스와 냉각용수 등을 공급하기
위한 장치를 설치하는 등 필요한 조치를 하여야 한다.
② 사업주는 제1항에 따른 장치에 설치한 밸브나 콕을 정상적인 기능을 발휘할 수 있는 상태로 유지하여야 하며, 관
계 근로자가 이를 안전하고 정확하게 조작할 수 있도록 색깔로 구분하는 등 필요한 조치를 하여야 한다.
③ 사업주는 관리대상 유해물질을 내보내기 위한 장치는 밀폐식 구조로 하거나 내보내지는 관리대상 유해물질을
안전하게 처리할 수 있는 구조로 하여야 한다.
제4절 작업방법 등
제436조(작업수칙) 사업주는 관리대상 유해물질 취급설비나 그 부속설비를 사용하는 작업을 하는 경우에 관리대상 유
해물질이 새지 않도록 다음 각 호의 사항에 관한 작업수칙을 정하여 이에 따라 작업하도록 하여야 한다.
1. 밸브ㆍ콕 등의 조작(관리대상 유해물질을 내보내는 경우에만 해당한다)
2. 냉각장치, 가열장치, 교반장치 및 압축장치의 조작
3. 계측장치와 제어장치의 감시ㆍ조정
4. 안전밸브, 긴급 차단장치, 자동경보장치 및 그 밖의 안전장치의 조정
5. 뚜껑ㆍ플랜지ㆍ밸브 및 콕 등 접합부가 새는지 점검
6. 시료(試料)의 채취
7. 관리대상 유해물질 취급설비의 재가동 시 작업방법
8. 이상사태가 발생한 경우의 응급조치
9. 그 밖에 관리대상 유해물질이 새지 않도록 하는 조치
제437조(탱크 내 작업) ① 사업주는 근로자가 관리대상 유해물질이 들어 있던 탱크 등을 개조ㆍ수리 또는 청소를 하거
나 해당 설비나 탱크 등의 내부에 들어가서 작업하는 경우에 다음 각 호의 조치를 하여야 한다.PDF 78
② 제1항에도 불구하고 유기화합물의 발생이 혼합물질인 경우에는 각각의 환기량을 모두 합한 값을 필요환기량으
로 적용한다. 다만, 상가작용(相加作用)이 없을 경우에는 필요환기량이 가장 큰 물질의 값을 적용한다.
③ 사업주는 전체환기장치를 설치하려는 경우에 전체환기장치의 배풍기(덕트를 사용하는 전체환기장치의 경우에는
해당 덕트의 개구부를 말한다)를 관리대상 유해물질의 발산원에 가장 가까운 위치에 설치하여야 한다.
제431조(작업원문 발췌와 검색 질의는 한국어를 유지합니다. 문서 ID와 PDF 페이지로 계산에 쓰인 출처를 확인할 수 있습니다.
Text Normalization
같은 문자와 같은 바이트
Overview 개요#
Normalization(정규화)은 글자·공백·줄바꿈 표현을 일관되게 만드는 단계다. 검색의 재현성을 높이지만 의미 있는 구분을 지울 수도 있다.
Concept 핵심 개념#
NFC는 정준적으로 동등한 문자를 합성형으로 정리한다. NFKC는 호환 문자까지 변환하므로 전각 문자, 원문자 숫자, 단위 기호가 바뀔 수 있다. 법령의 항 번호나 단위가 변하면 후속 파서가 다른 구조를 만들 수 있다.
공백을 하나로 합치면 검색에는 유리할 수 있지만 표의 행·열과 문단 구분 정보가 줄어든다. 원문을 덮어쓰는 대신 raw_text와 normalized_text를 함께 두고 정규화 버전을 기록하는 편이 재현에 유리하다.
t_norm = NFC(t) or NFKC(t)
Hands-on 직접 살펴보기#
NFC와 NFKC, 공백 합치기를 비교한다. 합성 호환 문자 예시를 켜고 ①·㎏·전각 문자가 어떻게 달라지는지 확인한다.
기본 입력으로 계산한 결과
추가한 전각 문자·호환 문자 예시는 합성 입력이다. NFKC는 원문 기호의 모양과 구별을 바꿀 수 있다.
계산 내용
산업안전보건기준에 관한 규칙
③ 근로자는 제2항에 따라 지급된 개인보호구를 사업주의 지시에 따라 착용하여야 한다.
제7조(채광 및 조명) 사업주는 근로자가 작업하는 장소에 채광 및 조명을 하는 경우 명암의 차이가 심하지 않고 눈이
부시지 않은 방법으로 하여야 한다.
제8조(조도) 사업주는 근로자가 상시 작업하는 장소의 작업면 조도(照度)를 다음 각 호의 기준에 맞도록 하여야 한다.
다만, 갱내(坑內) 작업장과 감광재료(感光材料)를 취급하는 작업장은 그러하지 아니하다.
1. 초정밀작업: 750럭스(lux) 이상
2. 정밀작업: 300럭스 이상
3. 보통작업: 150럭스 이상
4. 그 밖의 작업: 75럭스 이상
제9조(작업발판 등) 사업주는 선반ㆍ롤러기 등 기계ㆍ설비의 작업 또는 조작 부분이 그 작업에 종사하는 근로자의 키
등 신체조건에 비하여 지나치게 높거나 낮은 경우 안전하고 적당한 높이의 작업발판을 설치하거나 그 기계ㆍ설비를
적정 작업높이로 조절하여야 한다.
제10조(작업장의 창문) ① 작업장의 창문은 열었을 때 근로자가 작업하거나 통행하는 데에 방해가 되지 않도록 하여야
한다.
② 사업주는 근로자가 안전한 방법으로 창문을 여닫거나 청소할 수 있도록 보조도구를 사용하게 하는 등 필요한 조
치를 하여야 한다.
제11조(작업장의 출입구) 사업주는 작업장에 출입구(비상구는 제외한다. 이하 같다)를 설치하는 경우 다음 각 호의 사항
을 준수하여야 한다.
1. 출입구의 위치, 수 및 크기가 작업장의 용도와 특성에 맞도록 할 것
2. 출입구에 문을 설치하는 경우에는 근로자가 쉽게 열고 닫을 수 있도록 할 것
3. 주된 목적이 하역운반기계용인 출입구에는 인접하여 보행자용 출입구를 따로 설치할 것
4. 하역운반기계의 통로와 인접하여 있는 출입구에서 접촉에 의하여 근로자에게 위험을 미칠 우려가 있는 경우에는
비상등ㆍ비상벨 등 경보장치를 할 것
5. 계단이 출입구와 바로 연결된 경우에는 작업자의 안전한 통행을 위하여 그 사이에 1.2미터 이상 거리를 두거나
안내표지 또는 비상벨 등을 설치할 것. 다만, 출입구에 문을 설치하지 아니한 경우에는 그러하지 아니하다.
제12조(동력으로 작동되는 문의 설치 조건) 사업주는 동력으로 작동되는 문을 설치하는 경우 다음 각 호의 기준에 맞는
구조로 설치하여야 한다. <개정 2014. 9. 30.>
1. 동력으로 작동되는 문에 근로자가 끼일 위험이 있는 2.5미터 높이까지는 위급하거나 위험한 사태가 발생한 경우
에 문의 작동을 정지시킬 수 있도록 비상정지장치 설치 등 필요한 조치를 할 것. 다만, 위험구역에 사람이 없어야
만 문이 작동되도록 안전장치가 설치되어 있거나 운전자가 특별히 지정되어 상시 조작하는 경우에는 그러하지
아니하다.
2. 동력으로 작동되는 문의 비상정지장치는 근로자가 잘 알아볼 수 있고 쉽게 조작할 수 있을 것
3. 동력으로 작동되는 문의 동력이 끊어진 경우에는 즉시 정지되도록 할 것. 다만, 방화문의 경우에는 그러하지 아니
하다.
4. 수동으로 열고 닫을 수 있도록 할 것. 다만, 동력으로 작동되는 문에 수동으로 열고 닫을 수 있는 문을 별도로 설
치하여 근로자가 통행할 수 있도록 한 경우에는 그러하지 아니하다.
5. 동력으로 작동되는 문을 수동으로 조작하는 경우에는 제어장치에 의하여 즉시 정지시킬 수 있는 구조일 것
제13조(안전난간의 구조 및 설치요건) 사업주는 근로자의 추락 등의 위험을 방지하기 위하여 안전난간을 설치하는 경
우 다음 각 호의 기준에 맞는 구조로 설치해야 한다. <개정 2015. 12. 31., 2023. 11. 14.>
법제처 2 국가법령정보센터
ABC ① ㎏원문 발췌와 검색 질의는 한국어를 유지합니다. 문서 ID와 PDF 페이지로 계산에 쓰인 출처를 확인할 수 있습니다.
Metadata
검색 조건으로 사용할 문서 속성
Overview 개요#
Metadata(메타데이터)는 본문의 내용과 별도로 검색 범위와 출처를 설명한다. 문서 종류와 법령의 편 정보를 사용해 실제 레코드 집합을 줄여 본다.
Concept 핵심 개념#
문서 종류·시행일·언어·출처·권한·페이지는 서로 다른 필드다. 본문 검색 점수로 최신 버전이나 권한을 대신 판단하면 안 된다. 필터가 필요한 조건인지 검색어의 일부인지 구분해야 검색 의도가 안정적으로 유지된다.
정해진 필드가 없는 레코드를 어떻게 처리할지도 스키마의 일부다. 별표에는 본문과 동일한 편·장 정보가 없으므로 편 필터가 적용되면 결과에서 제외될 수 있다. 0개 결과는 검색 실패뿐 아니라 필터의 조합 때문에 생길 수 있다.
D_eligible = { d ∈ D : kind(d) = k ∧ part(d) = p }Hands-on 직접 살펴보기#
편과 문서 종류를 조합하고 결과 개수를 비교한다. 전체를 선택했을 때와 조문 또는 별표만 선택했을 때 검색 대상이 어떻게 달라지는지 살펴본다.
기본 입력으로 계산한 결과
삭제 조문은 기본 검색 대상에서 제외한다. 필터 결과와 검색 순위는 다른 단계다.
| 문서 | 종류 | 편 | |
|---|---|---|---|
| 원본 문서 머리말 | header | 기타 | 1 |
| 제1조 · 목적 | article | 제1편 총칙 | 1 |
| 제2조 · 정의 | article | 제1편 총칙 | 1 |
| 제3조 · 전도의 방지 | article | 제1편 총칙 | 1 |
| 제4조 · 작업장의 청결 | article | 제1편 총칙 | 1 |
| 제4조의2 · 분진의 흩날림 방지 | article | 제1편 총칙 | 1 |
| 제5조 · 오염된 바닥의 세척 등 | article | 제1편 총칙 | 1 |
| 제6조 · 오물의 처리 등 | article | 제1편 총칙 | 1 |
| 제7조 · 채광 및 조명 | article | 제1편 총칙 | 2 |
| 제8조 · 조도 | article | 제1편 총칙 | 2 |
| 제9조 · 작업발판 등 | article | 제1편 총칙 | 2 |
| 제10조 · 작업장의 창문 | article | 제1편 총칙 | 2 |
| 제11조 · 작업장의 출입구 | article | 제1편 총칙 | 2 |
| 제12조 · 동력으로 작동되는 문의 설치 조건 | article | 제1편 총칙 | 2 |
| 제13조 · 안전난간의 구조 및 설치요건 | article | 제1편 총칙 | 2 |
| 제14조 · 낙하물에 의한 위험의 방지 | article | 제1편 총칙 | 3 |
| 제15조 · 투하설비 등 | article | 제1편 총칙 | 3 |
| 제16조 · 위험물 등의 보관 | article | 제1편 총칙 | 3 |
| 제17조 · 비상구의 설치 | article | 제1편 총칙 | 3 |
| 제18조 · 비상구 등의 유지 | article | 제1편 총칙 | 3 |
원문 발췌와 검색 질의는 한국어를 유지합니다. 문서 ID와 PDF 페이지로 계산에 쓰인 출처를 확인할 수 있습니다.
Extraction Quality
OCR과 표 파싱을 결정하기 전의 점검
Overview 개요#
Extraction quality(추출 품질)는 글자가 얼마나 많이 나왔는지 하나로 평가할 수 없다. 문자 수와 이미지 객체 수를 품질 검토 후보를 찾는 신호로 사용한다.
Concept 핵심 개념#
텍스트가 적은 쪽은 스캔 이미지일 수도 있지만 표지·삭제 서식·빈 페이지일 수도 있다. 이미지가 많은 쪽에 텍스트 레이어가 이미 있으면 OCR을 다시 수행하면서 오류를 추가할 수도 있다. 따라서 OCR 적용 조건은 페이지 유형과 원본 확인을 함께 사용해야 한다.
표는 셀 경계와 행·열 관계가 핵심이다. 텍스트를 읽었다고 열 연결이 복원된 것은 아니다. 이 체험은 OCR이나 표 구조 추론을 실행하지 않으며, 실제 추출 메타데이터를 정한 임계값과 비교한다. 정확도 평가는 사람의 확인값이나 별도 정답 데이터가 있어야 가능하다.
flag(p) = [chars(p) < τ] ∨ [images(p) > 0]
Hands-on 직접 살펴보기#
문자 수 임계값을 바꿔 검토 후보가 얼마나 늘어나는지 본다. 같은 페이지를 원본 PDF로 확인하고 신호와 실제 문제를 구분한다.
기본 입력으로 계산한 결과
OCR은 실행하지 않았다. 문자 수와 이미지 객체 수는 검토 후보를 찾는 신호이며 추출 정확도나 OCR 필요성의 정답이 아니다.
| 문자 수 | 이미지 객체 | 검토 후보 | |
|---|---|---|---|
| 1 | 1870 | 1 | ✓ |
| 59 | 1563 | 1 | ✓ |
| 77 | 1415 | 1 | ✓ |
| 83 | 1215 | 1 | ✓ |
| 90 | 1284 | 1 | ✓ |
| 95 | 1467 | 1 | ✓ |
| 145 | 41 | 0 | ✓ |
| 146 | 44 | 0 | ✓ |
| 164 | 102 | 0 | ✓ |
| 165 | 24 | 0 | ✓ |
| 166 | 24 | 0 | ✓ |
| 167 | 295 | 2 | ✓ |
| 168 | 216 | 1 | ✓ |
PDF 156
■ 산업안전보건기준에 관한 규칙 [별표 13의2] <신설 2025. 7. 17.>
체감온도의 측정(제559조제4항 관련)
1. 사업주는 근로자가 작업하는 작업장소의 바닥 면으로부터 약 1.2미터부터 1.5
미터까지의 높이에서 체감온도를 측정해야 한다.
2. 옥외 이동작업 등의 사유로 제1호에 따른 체감온도의 측정이 곤란한 경우에는
「기상법」 제11조에 따라 기상청장이 발표하는 체감온도로 정할 수 있다.원문 발췌와 검색 질의는 한국어를 유지합니다. 문서 ID와 PDF 페이지로 계산에 쓰인 출처를 확인할 수 있습니다.