robots，白，黑，灰帽

robots.txt

• robots協議（也稱爲爬蟲協議，爬蟲規則，機器人協議等）也就是robots.txt,網站通過robots協議告訴搜索引擎哪些頁面可以抓取，那些頁面不希望抓取。
• Robots協議是網站國際互聯網界通行的道德規範，其目的是保護網站數據和敏感信息，確保用戶個人信息和隱私不被侵犯。
  因其不是命令，故需要搜索引擎自覺遵守
  
  robots.txt放置位置
• roboats.txt文件應該放在網站的根目錄下

• 例如：當spider訪問一個網站（比如：http://www.taobao.com)時，首先會檢查該網站中是否存在http://www..taobao.com.robots.txt這個文件，如果這個Spider找不到這個文件，它就會根據這個文件的內容，來確定它訪問權限的範圍。
  
  robots.txt文件的寫法

• User-agent:這裏的代表的所有的搜索引擎種類，*是一個通配符

• Disallow:/admin/這裏定義是禁止爬尋admin目錄下面的目錄
• Disallow:/?禁止訪問網站中所有包含問號(?)的網址
• Disallow:/.jpg$禁止抓取網頁所有 的.jsp格式的圖片
• Disallow:/ab/abc.html禁止抓取ab文件夾下面的abc.html文件
• Allow:/cgi-bin/這裏定義是允許爬尋cgi-bin目錄下面的目錄
• Allow:.html$僅允許訪問以」.html」爲後綴的URL
• Allow:.gif$允許抓取網頁和gif格式圖片
• Sitemap:網站地圖，告訴爬蟲這個網頁是網站地圖
  注意嚴格區分大小寫
  
• 愛站下的工具包中就可以使用這個工具,robots檢測，
• 
  User-agent:*
• Disallow:/dede
• Disallow:/include核心文件目錄
• Disallow:/member 會員管理目錄
• Disallow:/plus插件及框助功能目錄
• Disallow:/templets默認模板存儲目錄
• Disallow:/data系統緩存或其他可寫入數據存儲目錄
• Disallow:/uploads上傳文件下載保管目次，不想索引得擎緩存圖片的話，禁阻
• Disallow:/images系統默認模板圖片存儲目錄
• Disallow:/index.php網站默認首頁，靜態化的話最好禁阻

• Disallow:/404.html
  安全聯盟：https://www.anquan.org/

• 百度站長平臺：http://zhanzhang.baidu.com
  

• 打開網頁檢測以後
  
  
  SEO白帽，黑帽，灰帽的定義

• 白帽：使用公平的，符合主流搜索引擎方針規定的SEO優化方法

• 黑帽：作弊的意思，操作手法不符合主流搜索引擎發行方針規定

• 灰帽：介於白帽和黑帽之間的中間地帶，相對於白帽而言，會採取一些取巧的方法來操作，這些行爲因爲不算違規，但同樣也是不算遵守規則，是爲灰色地帶。
  什麼是白帽SEO？

• 白帽SEO，光明磊落，一清二白，是一種嚴格遵守搜索引擎」遊戲規則「的SEO方法

• 相對於黑帽SEO，白帽SEO是一種沒有風險的一種搜索引擎優化方法，可以與搜索引擎友好的‘對話’。SEOer的最高職業道德標準。通過白帽SEO獲得的搜索引擎排名和流量都比較穩定，從長遠來 看，是一種」放長線釣大魚「的SEO戰略，也是符合網站生存之道的。
  

• 白帽seo是通過正常的手段對網站內部（包括網站標題，網站結構，網站代碼，網站內容，關鍵字密度等）的調整，網站外部的鏈接建設來提高網站關鍵字在搜索引擎排名的一種SEO技術，白帽seo優化的生效時間長，優點：排名穩定浮動不大，不用擔心因爲SEO操作而降權
  什麼是黑帽SEO？

黑帽SEO，顧名思義就是」黑「，見不得光，它死一種利用搜索引擎漏洞，通過作弊的手法，快速的達到搜索引擎的排名的SEO方法
黑帽SEO常被定義爲搜索引擎中的垃圾技術，屬於一張非主流的走做引擎優化方法，可能會因爲搜索引擎算法改變而面臨嚴重懲罰
輕則降權，重則被K

常見黑帽SEO手法

• 橋頁跳轉
• 關鍵詞堆砌
• 隱藏文本，關鍵詞
• 建立鏡像，重複或相似頁面過多
• 瘋狂的垃圾鏈接（Spam）
• 細微文字
• 障眼法
• 真的被」黑「了

關鍵詞疊加，關鍵詞堆砌
從網頁標題title到meta的keywords，再到文章內容，底部版權，關鍵次無孔不入，根本不講究一個合理分佈，這樣網頁對用戶來說沒有任何的意義和價值，首先，用戶的閱讀興趣就被你誇張的關鍵詞密謀」暗殺「了。過分重複的使用關鍵詞

隱藏文本，關鍵詞
實現原理就是利用CSS技術使文本的顏色和網頁背景一致，以達到隱藏文本，關鍵詞的目的。這是一種挺有爭議的做法，像是擦邊球，比如：搜索引擎營銷關於這種SEO手法褒貶不一。
建立鏡像 重複或相似頁面過多
簡單的修改網頁標題，然後複製內容，以CTRL+V方式的」拿來主義「，在搜索引擎面前是很不討人喜歡的，很多SEOer喜歡以量取勝，這些年，「採集僞原創」風氣盛行，可能花個兩三天時間就把別人辛苦好幾年的站完美，」搬家「了。不過也不是什麼長久之計，搜索引擎對這部分網站是不會給予很高的權重的
細微文字
一些搞SEO的朋友明白」隱藏文字「會遭到懲罰，所以將文字的字體在網頁中設置到不起眼的地方，甚至小的看不見，一般會放在網頁頂端或底部
障眼法
製作對用戶無用或是看不到網頁，裏面堆滿了關鍵詞，而搜索引擎對這種掩耳盜鈴的做法對策：就是一個字封
真的被黑了
這種黑帽SEO手法需要一定的」黑客：技術，一般人也幹不來。比如，一般網絡公司的服務器都了N個往站，只要你能順利地進入服務器，加一些」隱藏鏈接「
降權
什麼是網絡被降權？
是指搜索引擎給網站評定的級別下降了，也就是搜索引擎對網站進行的一種處罰方式
表現特徵

• 網站部分收錄內容減少
• 網站排名大幅度下降
• 搜索引擎快照跟新速度降低
• 網站首頁被屏蔽
• 網站全部頁面刪除

一般你看很正常的頁面，很正常，你一滑動就會出現很多隱藏的東西，還有些是，它會判斷是不是蜘蛛來了，如果是就會顯示正常的頁面，如果不是就會顯示另外一個
網站被百度降權怎麼辦？

• 檢查重複關鍵詞，ALT，內容
• 檢查有沒有不良友情來鏈接
• 檢查網站源文件是否有黑客進入
• 檢查網站title修改

• 新站穩定性不高，如果有以上幾點儘早除掉
  網站被百度谷歌降權咋辦？

• site:域名，判斷沙盒效應

• 檢查關鍵 詞的密度，Title,keywords關鍵詞是不是合理

• site不存在（被K），重新被K的頁面，合理佈置關鍵詞，增加一部分外鏈
  網站優化精髓

• 內容爲」王「

• 用心經營內容
• 最好不要作弊
  百度搜索引擎 搜索習慣
• 較重視第一次收錄印象
• 對網頁的更新較爲敏感
• 較重視首頁
• 較重視收錄日期