보이지 않는 문자(invisible character) 완벽 가이드
웹·메신저·PDF에서 텍스트를 복사하다 보면 눈에 보이지 않지만 컴퓨터에는 존재하는 특수 문자가 함께 따라옵니다. 대표적으로 ZWSP(U+200B, Zero Width Space), ZWNJ(U+200C), ZWJ(U+200D), BOM(U+FEFF), NBSP(U+00A0, Non-Breaking Space), 그리고 다양한 폭의 공백(U+2000~U+200A)과 제어문자(U+0000~U+001F, U+007F~U+009F) 등이 있습니다.
이런 문자들은 화면에서는 보이지 않지만 데이터베이스 INSERT, 정규식 매칭, URL 인코딩, JSON 파싱 등에서 예상치 못한 오류를 일으킵니다. 예를 들어 메일 본문에서 복사한 단어를 검색해도 찾지 못하거나, 엑셀 셀에 붙여 넣은 숫자가 SUM 함수에서 무시되는 현상이 대표 사례입니다. 본 도구는 텍스트를 한 글자씩 스캔해 30종 이상의 invisible character를 검출하고 통계와 함께 일괄 제거합니다.
검출 대상 30종
- 제로폭: U+200B(ZWSP), U+200C(ZWNJ), U+200D(ZWJ), U+2060(WORD JOINER), U+FEFF(BOM)
- 방향 제어: U+200E(LRM), U+200F(RLM), U+202A~U+202E(LRE/RLE/PDF/LRO/RLO), U+2066~U+2069
- 특수 공백: U+00A0(NBSP), U+1680(OGHAM SPACE), U+2000~U+200A(EN/EM/THIN/HAIR SPACE), U+202F(NNBSP), U+205F(MMSP), U+3000(IDEOGRAPHIC SPACE)
- 제어문자: U+0000~U+0008, U+000B, U+000C, U+000E~U+001F, U+007F~U+009F
- 변형 셀렉터: U+FE00~U+FE0F (이모지 변형 셀렉터)
자주 묻는 질문 (FAQ)
Q. ZWSP는 왜 생기나요?
A. 인디자인, 워드, 일부 블로그 에디터는 줄바꿈을 부드럽게 하기 위해 자동으로 ZWSP를 삽입합니다. 또한 멘션·해시태그 자동완성, 일부 다국어 입력기에서도 발생합니다. 사람 눈에는 안 보여도 SEO·검색·DB 처리에서 문제를 일으킵니다.
Q. NBSP를 그대로 두는 게 좋은 경우도 있나요?
A. 네. HTML에서 단어를 강제로 같은 줄에 묶고 싶을 때(예: "₩1,000 원"), 또는 신문 조판에서 인명·고유명사 사이 띄어쓰기 유지에 일부러 NBSP를 쓰기도 합니다. 일반 텍스트 정리 시에는 보통 일반 공백으로 치환합니다.
Q. 줄바꿈(\n)도 제거되나요?
A. 아니요. 일반 줄바꿈(LF, CR)은 사용자가 의도한 서식이므로 보존합니다. 단, 비표준 줄바꿈 문자(U+0085, U+2028, U+2029)는 일반 줄바꿈으로 치환합니다.