구글 robots.txt Parser 오픈소스로 공개 [C++ 라이브러리]

(opensource.googleblog.com)

1P by xguru 2019-07-10 | ★ favorite | 댓글과 토론

구글이 90년대부터 내부적으로 사용하는 코드 포함. 룰 테스트 도구도 같이 공개