robots 규칙 시뮬레이터

아닙니다. teck-tani-rep-core-v1은 범위를 제한한 로컬 규칙 시뮬레이터입니다. 봇 이름은 비교할 입력 토큰이며 실제 봇 인증이 아닙니다. robots.txt 가져오기·리다이렉트·HTTP 실패·캐시·엔진별 별칭·crawl-delay·메타 robots·실제 수집과 색인은 다루지 않습니다. 지원하지 않는 지시문은 알림에 남기고 무시합니다.

봇 토큰은 영문자·하이픈·밑줄로 입력합니다. 대소문자를 무시한 정확한 이름으로 그룹을 모으며, 일치 그룹이 없을 때만 와일드카드 그룹을 사용합니다. 경로와 쿼리는 대소문자를 구분해 처음부터 비교합니다. 정규화된 ASCII 패턴 길이가 긴 규칙이 우선이며 별표와 마지막 달러 연산자도 길이에 포함합니다. 동률 충돌은 Allow가 우선이고 같은 최장 길이의 행을 모두 남깁니다.

브라우저 URL 파서가 호스트·포트·점 경로를 정규화합니다. 입력 origin만 평가합니다. 쿼리와 빈 물음표는 비교 대상에 들어가고 프래그먼트는 빠집니다. 이스케이프된 비예약 문자는 풀지만 예약 구분자는 구분합니다. 유니코드는 UTF-8 퍼센트 표기로 비교하고 인코딩된 별표·달러는 문자 그대로입니다. 쿼리 없는 정확한 정규화 /robots.txt는 암시적으로 허용합니다.

읽을 수 있는 규칙은 적용하고 무시한 행은 나열합니다. 이 엄격한 규약은 잘못된 경로를 임의로 보정하지 않습니다. 자체 상한은 UTF-8 512 KiB·20,000행·규칙과 그룹 각각 2,000개·URL 200개·입력 및 정규화 경로 4,096자입니다. 비교 2천만 단계 또는 펼친 우선 규칙 근거 1 Mi 문자 예산을 넘으면 실행을 중단합니다. 이 앱 상한은 RFC의 크롤러 파서 최소 500 KiB 요건과 별개이며 전체 표준 준수를 주장하지 않습니다.

아닙니다. 취소나 실행 전체 한도 초과는 해당 보고서 전체를 폐기합니다. 다른 origin은 범위 밖, 잘못된 URL은 미평가로 구분합니다. 해석 알림은 계속 표시하므로 결과가 받아들인 행만 반영한다는 것을 확인할 수 있습니다. 빈 정책에 적용 그룹이 없다는 결과도 실제 사이트 상태를 확인했다는 뜻은 아닙니다.

필터와 페이지에 상관없이 모든 URL 행을 내보냅니다. JSON은 원래 입력·선택 그룹·모든 해석 알림도 보존합니다. CSV는 UTF-8 BOM·CRLF·따옴표 이스케이프를 사용하고 수식처럼 시작하는 셀에 작은따옴표를 붙입니다. 화면은 페이지당 25행·행당 최장 규칙 20개·그룹 40개와 그룹당 봇 라벨 20개·알림 100개까지 미리 보여주며 내보내기는 수집한 전체 근거를 유지합니다.