ADR-0032: 구문 강조는 블록 글자의 종류마다 토크나이저 하나로 한다
이후 변경
- 2026-11-03: 처음의 언어를 일반 텍스트 · C · C++ · Java · JavaScript · TypeScript · Python · Bash로 정하고 구현했다. 렉서는
src/packages/core/src/text/syntax.ts이고, 문자열과 숫자는 한 색(syntax.literal)이다 → ADR-0042, 3.1 구문 강조- 2026-10-22: 용어를 SW 엔지니어의 말로 고쳤다(뜻은 그대로). → 01-architecture
배경
블록 글자의 종류(문장 / C / Java / Python / Bash 등)는 문서마다 하나 고르고(R-LAY-06), 그 종류에 맞춰 구문 강조를 한다(R-LAY-07). 블록 하나의 글자는 코드 한 조각이라 문법상 완전하지 않다. While 블록의 i < n이 그런 예다. 01-architecture의 초안(2026-10-13)에 Claude가 “종류마다 토크나이저 하나”라고 적었고, 2026-10-17에 시안 M20의 A7로 물었다.
결정 기준
- 불완전한 코드 조각에도 늘 강조가 적용된다
- 편집기 번들 크기가 작다(글꼴과 wasm이 이미 크다 → 8. 위험과 검증이 필요한 사항)
- 종류를 더하기 쉽다
검토한 대안
그림은 시안 M20의 A7에 있다: https://claude.ai/artifact/R8RJxg8V1qweiMfusMKk87
대안 A: 낱말만 가른다 (lexer)
- 장점: 예약어 · 문자열 리터럴 · 주석 · 숫자 넷만 분류하므로 불완전한 조각에도 늘 동작한다. 종류 하나에 짧은 함수 하나라 작고 빠르다
- 단점: 변수 이름과 함수 이름은 구별하지 않는다(같은 색)
대안 B: 언어의 문법을 모두 읽는다 (parser, 예: tree-sitter)
- 장점: 함수 이름 · 타입 이름까지 색을 나눌 수 있다
- 단점: 언어마다 수백 KB의 문법 파일이 번들에 실린다. 조각은 완전한 구문이 아니라서 파싱이 자주 실패하거나 틀린다
결정
대안 A. 메인테이너가 시안 M20의 A7에서 1번(추천)을 골랐다 (2026-10-18).
- 종류마다 “문자열 → 토큰 목록(토큰마다 예약어 · 문자열 리터럴 · 주석 · 숫자 · 그 밖)“인 토크나이저를 하나씩 둔다.
core에 둔다(저장되는 SVG에도 같은 색이 들어가므로). - 종류가 “문장”이면 토큰화하지 않는다.
- 토큰 종류마다의 색은 테마의 디자인 토큰으로 정한다.
- 편집기는 글자의 의미를 검사하지 않는다.