我robots這樣寫是不是就能避免蜘蛛爬這個“index.htm”這個首頁？
User-agent: * Disallow: /index.htm
我的index.htm是現在默認的首頁，想屏蔽蜘蛛抓取。讓蜘蛛爬另一個文檔，主要是規避備案巡查
我的網站和我備案的不一樣，服務器那邊要求改，我就整了個htm文檔來規避下。
寫法沒有問題。但正常的不建議屏蔽首頁地址，，“index.htm”這個后綴地址是需要處理掉的。
當然，如果只是應付備案短暫需求，，就只能這樣處理。
后續備案處理后，盡快處理后綴“index.htm”。同時robots修改回去。
本文由夫唯SEO特訓營編輯整理。
搜外專注SEO培訓和SEO周邊Saas服務解決方案，10年來超過五萬學員在此獲得技術提升和人脈圈子。
SEO課程包含移動搜索、零基礎建站、群站SEO思維、搜外6系統、SEM入門等。
181期A班報名時間8月01日-8月15日，請添加招生客服小沫微信：seowhy2021。
微信掃碼添加客服人員
我們的目標是：讓非技術人員輕松學會互聯網技術。
微信掃碼添加客服人員
微信掃碼添加客服人員
微信掃碼添加客服人員
微信掃碼添加客服人員
微信掃碼添加客服人員
SEO技術實戰微信群
微信掃碼添加客服人員
大站流量總監群(審核身份）
微信掃碼添加客服人員
Google獨立站英文SEO群
微信掃碼添加客服人員
SEO團隊KPI管理表格
微信掃碼添加客服人員
工業品網站友情鏈接群
微信掃碼添加客服人員
本地生活服務業友鏈群
微信掃碼添加客服人員
