懂robots.txt的朋友請進

在網站根目錄裏發現一個文件名為robots.txt的文件, 這是幹什麽的? 文件就兩行內容:

User-agent: *
Disallow: /

可以刪處嗎? 多謝.

所有跟帖： 

• please google robots.txt disallowed -用戶名被占用了- ♂ (0 bytes) () 07/13/2013 postreply 16:55:39

• 就是不歡迎搜索引擎造訪 -橫流滄海- ♂ (0 bytes) () 07/22/2013 postreply 09:03:42

• 可刪 -橫流滄海- ♂ (0 bytes) () 07/22/2013 postreply 09:04:18