2026-11-03 리팩토링 전의 테스트: QAS 셋, 커버리지 측정, 지금 동작을 적는 테스트 255개
메인테이너: “진도 나갑시다”. inbox는 비어 있었다. Claude가 MVP 개발에서 테스트가 없던 품질 속성 시나리오 셋을 골랐다.
이 기록은 다음 세션이 썼다
이 세션은 20:05쯤 커버리지 절을 고친 직후, 커밋과 마무리를 하지 못한 채 끊겼다. 그 뒤 세션 둘은 “답을 기다림”이라는 작업 목록의 표시만 보고 이 세션의 질문을 찾지 못했다(아래 “작업 목록의 Needs input”). 메인테이너가 “당신을 종료하겠습니다. 다시 동작할 때 지난 세션의 일을 제대로 기억하고 수행하기를 바랍니다. 내 답변을 요청했던 질문도 제대로 보여줘야 합니다.”라고 해, 다음 세션의 Claude가 이 세션의 대화 기록 파일(
fa8f374c)과 에이전트 보고를 읽고 테스트를 커밋한 뒤 이 기록을 썼다.
품질 속성 시나리오 QA-08 · QA-13 · QA-16에 테스트
- QA-08: 블록 500개 저장 파일을 열어 검사 · 레이아웃 · 그리기까지 재는 벤치마크(p50 약 5ms, 예산 1초). Node의
core까지만이고 브라우저 쪽은 backlog - QA-13: 메시지 카탈로그 넷(그림 · 엔진 · UI · 웹 셸)의 빈 글 · 자리표시 · 키 겹침 테스트, JSX에 글자를 직접 쓰면 막는 ESLint 규칙, 흩어진 언어 목록을
core의locales하나로 → 07-coding-guide 8장 - QA-16: 밝은 기본 테마의 대비 테스트(텍스트 4.5:1, 선 3:1). 고대비 테마와 흑백 인쇄 팔레트는 아직 없음 → backlog
- 커밋
f1aaa36
리팩토링을 하기에 테스트가 충분한가
메인테이너: “MVP 후반부에 리팩토링을 할 것입니다. 테스트가 부족하다면 리팩토링하는 것은 매우 위험하지요. 우리의 테스트코드는 리팩토링을 하기에 충분한가요?”
- 단위 커버리지를 재어 답함:
core94% ·fonts97%는 충분(속성 기반 테스트와 골든 파일도 있음),editor79%는 구멍이 있음(캔버스 · 끌어 놓기 · 클립보드),apps/web45%는 부족 - 추천한 차례: 1 E2E 커버리지도 재어 합친 빈 곳을 찾음 → 2 빈 곳에 지금 동작을 적는 테스트(characterization test)를 더함 → 3 패키지마다 커버리지 하한을 CI에 걸기. 고르는 창에서 이 차례로 진행함
- 1단계:
pnpm coverage. 단위는 Vitest V8 커버리지, E2E는E2E_COVERAGE를 켜면 fixture가 Chromium JS 커버리지를 모아 소스맵 빌드(포트 4175)로 원래 소스에 대어 봄(monocart-coverage-reports). 둘을 줄마다 합침. 합친 값core94.6% ·editor84.3% ·fonts96.8% ·web65.0%. 커밋5487fb3 - 2단계(메인테이너: “진행하세요”): 겹치지 않는 세 영역을 에이전트 셋에 맡김(캔버스 · 끌어 놓기 · 클립보드 / 웹 셸 / 편집 명령 · 세션). 규칙: 제품 코드는 고치지 않음, 버그로 보이면 고치지 않고 보고만, 내부 함수가 아니라 겉으로 보이는 동작을 확인. 웹 셸 에이전트는 앞 프로세스가 끝나며 끊겼으나 남긴 테스트가 통과함. 번역 271개는 번역 에이전트가 채움
- 결과: 테스트 255개(ID T-0542 ~ T-0796), 합친 커버리지
editor95.5% ·web89.8% ·core94.4% ·fonts96.8% → coverage. 커버리지를 켜면 속성 기반 테스트가 5초를 넘어coverage.mjs의 시간 한도를 60초로 - 다음 세션이
pnpm check(단위 · 통합 1,157번 실행, 테스트 목록 최신)를 돌려 통과를 확인하고 커밋7e81be0
inbox
처리한 항목의 원문(2026-11-03, 1. 일하는 방식):
- 우리는 publishing하기 전에 로컬에서 web과 site를 테스트합니다. 좋은 방법이라고 생각해요. 내 확인이 필요하면 로컬에서 바로 실행시키고 내게 링크를 제공하시지요. “마무리” 때, 로컬 서버를 종료하고요. 이런 프로세스를 어딘가 정리합시다. 독자들에게 스스로게 도움이 되고 우리가 일하는 방식을 이해하는데도 도움이 될 것입니다.
- 테스트커버리지 현황도 어딘가에 정리해 놓으시지요.
- 첫째: 둘 자리를 고르는 창을 낸 뒤, 아뜰리에에 일하는 방식 문서 how-we-work를 새로 만듦(큰 순서, 세션의 리듬, 문서와 결정 기록, 그림으로 묻기, 코드 · 테스트, 올리기 전에 로컬에서 보기, 커밋과 push). CLAUDE.md의 저장소 구성 표와 아뜰리에 소개에서 가리킴. 커밋
b6eb323 - 둘째: coverage에 절로(손으로 옮긴 숫자, 다시 재면 고침). 커밋
ffeb551, 테스트 보강 뒤 숫자를 고침
에이전트를 기다리는 동안 받은 결정
메인테이너: “에이전트 결과 기다리면서 우리가 처리할 수 있는 일이 있을거에요. 내 의사결정을 받는다든지 말이에요”
| 결정 | 반영한 곳 |
|---|---|
| 그림의 고정 문구(“참” · “거짓” 등)는 문서 설정의 언어로(세 안 가운데 추천안) | ADR-0041(제안됨), 구현은 backlog |
| 한 번도 저장하지 않은 새 문서가 저장 안 된 채면 다른 문서를 열기 전에 묻기(추천안) | US1, 구현은 backlog |
커버리지는 pnpm coverage로 재고 07-testing에 손으로 옮김 | coverage |
테스트를 더하다 찾은 버그 후보
에이전트들이 고치지 않고 지금 동작대로 테스트에 적은 것. 고칠지 메인테이너가 정한다 → 정해 주세요
- 빈 default 칸에서 복사 · 잘라내기를 하면 “삭제할 default 분기가 없습니다”라고 알림(
editor-commands.ts의 공통 검사blocksOnly). UX CD1은 삭제만 아무 일도 하지 않는다고 함 - 같은 거절에 다른 까닭: 헤더에서 붙여넣기 · 감싸기는 “먼저 블록을 선택하세요”, 복사 · 잘라내기는 “헤더에서는 안 됨”. 분기 라벨에서 풀기는 “먼저 블록을 선택하세요”
- 분기 라벨이나 빈 default 칸에서
Ctrl+←/Ctrl+→가 분기가 아니라 If · Case 블록에서 출발(navigate.ts). If의 오른쪽(거짓) 라벨에서Ctrl+→가 왼쪽(참) 분기의 첫 블록으로 감. 03-editor 2.2는 “가장 가까운 If · Case의 옆 분기” - 호출 블록을 텍스트로 복사하면 Method 이름이 빠짐(
ys xs처럼 결과 · 인자만, 인자 · 결과가 없으면 빈 줄). 03-editor 3.3은 의사 코드처럼 읽히는 줄 - 상태 표시줄의 질문에서 고르는 키가 아닌 키는 질문을 닫고 제 일도 함(
j면 선택이 움직임). 뜻한 것일 수 있음 - 끌어 놓기로 제자리에 놓으면 “문서가 바뀜”(
true)을 돌려주지만 바뀐 것도 실행 취소 단계도 없음. 화면에는 영향 없음. 함수 주석이 틀림 - 인라인 편집 중에 밖에서 캔버스에 포커스를 주면 글자가 확정됨. 뜻한 것으로 보이나, 셸 코드가 캔버스에 포커스를 주면 편집이 확정된다는 뜻
작업 목록의 Needs input
이 세션이 일하는 동안 작업 목록에 “Needs input … 테스트를 더하다 찾은 것 가운데 버그로 보고 고칠 것을 골라 주세요”가 떴다. 실제로는 아직 묻지 않은 물음(에이전트가 끝나면 물을 예정)을 목록의 요약이 이미 물은 것처럼 적은 것이다. 메인테이너가 다른 세션에서 “답변을 기다린다고 하지만 질문이 보이지 않습니다”, “화면에 달님의 출력이 제대로 안 보입니다”라고 했고, 그 세션들은 이 세션의 대화를 볼 수 없어 질문을 찾지 못했다. 이 세션은 그 사이 끊겼다.
- 다음부터: 질문은 outbox에 적고 커밋해 두면, 세션이 끊겨도 다음 세션이 그대로 보인다. 긴 일 중에 물을 것이 생기면 먼저 outbox에 적는다
발견한 위험
- 테스트가 지금 동작을 적었으므로, 위 버그 후보를 고치면 그 테스트도 함께 고쳐야 한다(테스트 이름에 그렇게 적혀 있음)
editor의 캔버스 테스트는 가짜 DOM(happy-dom)이라 레이아웃이 없다. 실제 스크롤의 한계 · 포인터 캡처 · 인라인 편집의 높이는 E2E만 본다- 테스트 목록의 번역이 용어집과 다르다(임시 보관 ↔ 로컬 백업 등, 명령 팔레트 · 커맨드 팔레트가 섞임) → 정해 주세요