グーグル、「robots.txt」プロトコルの仕様標準化を推進

グーグルは米国時間7月1日、Robots Exclusion Protocol（REP）が将来安定したインターネット標準になることを願って、「Google Robots.txt Parser and Matcher Library」をオープンソースコミュニティに向けて公開した。
Source: DZジャパン

リンク元