채널로 문의하기
48시간 이내 답변
프라이버시, 보안, 그리고 우리가 지니고 다니는 기기에 대한 현장 기록.
뉴욕타임스는 인터넷 아카이브의 크롤러를 이름 그대로 robots.txt에 올려 막아 두었지만, 웨이백머신은 2026년 8월 27일 이 사이트를 그대로 저장했습니다. 같은 파일에서 똑같이 막힌 커먼 크롤은 이번 달 색인에 robots.txt 파일 한 건만 남겼습니다. robots.txt가 실제로 무엇을 의무 지우는지, 그리고 내가 건 차단이 어디까지 확인되는지 정리했습니다.
최신 보안 동향을 가장 먼저 받아보세요
스팸 없음. 언제든 구독 취소.
©2026 Panke IT Solutions LLC
Austin, TX