我們知道,只有你網站的內容被搜索引擎收錄了,我們才能夠去優化排名,競爭排名,如果你的網站被搜索引擎收錄都很困難,網站排名也就自然而然的沒有或者很少。那么是什么原因導致網站不被搜索引擎收錄呢?網站不被搜索引擎收錄其實就是因為一些很容易被忽略的小問題引起的,也可以說是可能你根本想不到的原因導致的,下面幫你分析一下哪一點是你所符合的。
一:robots.txt文件寫法錯誤
網站的robots.txt文件寫法也是我們需要注意的一個點,如果我們確實不會寫,那么我們就不要去輕易去動它,因為往往就是robots.txt文件書寫錯誤而導致網站內容不被搜索引擎收錄,所以我們如果不會寫的話就不要去動它。書寫robots.txt文件之前一定要先熟悉robots.txt文件的書寫規則,寫完后需要再去對照一篇,以防出現錯誤,這些都是很必要的。
Robots.txt文件書寫錯誤主要有那幾個方面:
1.網站的robots.txt文件已經損壞或者在書寫的時候出現錯誤。
2.Robots.txt文件書寫不規范。
3.寫錯了或者拒絕搜索引擎蜘蛛的抓取。
4.Robots.txt文件書寫時沒有注意大小寫,這點也很重要,許多網站往往就是忽略了這個問題。
Robots.txt文件書寫錯誤有什么害處?
如果你的robots.txt文件書寫錯誤了,搜索引擎機器人錯誤的理解了您的robots.txt文件,它們可能會完全無視你的網頁,從而導致網站不被搜索引擎給收錄。
如何檢查Robots.txt文件是否書寫錯誤?
對于這個問題,解決的辦法是仔細檢查您的robots.txt 文件,并確保您網頁上的的參數是正確的,你可以使用谷歌網站管理員工具來創建一個robots.txt文件,它會時時提醒你網站robots.txt 文件出現錯誤。
二:使用動態網址建站
至今為止,搜索引擎(除了谷歌)還不能完全讀取動態網頁,因為動態網頁的變數太多,一下是這個地址,等下打開又換另外個地址了,另外動態網址中還包含一些問號、等號及參數,所以搜索引擎抓取動態網址很困難,雖然說谷歌在前段時間宣稱能完全抓取動態網址,但在我們中國還是以百度、搜狗、360等搜索引擎為主,我們不能因少失大。再說了,動態網址的網址是不固定的,一個內容頁存在幾個網址,必然導致內容權重分散,所以選擇動態網址應當謹慎,如果你的URL變數太多,造成搜索引擎搜索困難,那么搜索引擎漫游器可能會忽視你的網頁,從而導致網站內容不被搜索引擎收錄。
三:在你的網址中使用了會話ID
許多搜索引擎不去收錄那么包含會話ID的網頁,因為它們可導致內容的重復,如果可能的話,避免會話ID出現在你的網址,而使用cookies存儲會話ID。
四:網頁中存在太多JS代碼
前面我說過了,當今搜索引擎能完全識別的只有HTML語言,對于JavaScript代碼、CSS代碼以及其他的腳本代碼還不能完全識別,如果一個網頁中包含了JavaScript代碼、CSS代碼以及其他的腳本代碼,那么搜索引擎抓取起來就會很困難,要是這些代碼在網頁中存在太多的話,可能就導致網站不被搜索引擎收錄了,因為你給搜索引擎蜘蛛制造了太多的困難,搜索引擎蜘蛛自然而然的就放棄你了。
五:使用Ajax、FLash做網站導航
對于大多數搜索引擎機器人而言,使用JavaScript或DHTML、Flash、Ajax等制作網站導航是解析不了的,其中使用Flash、Ajax制作的網站導航效果最差,搜索引擎機器人完全不能解析,站長朋友們不要因小失大,不能因為光圖美觀而忽視搜索引擎機器人是否能解析的了,這些做法是不可取的,朋友們應盡量避免使用這些對搜索引擎不友好的方式,一旦網站定型,被搜索引擎判為網站友好度低,再想恢復過來就很麻煩了。
搜索引擎機器人是很簡單的程序,它們遵循HTML鏈接,一旦鏈接出現錯誤對收錄也會帶來困難,這些問題最好是在建站的時候就考慮到,以免再次進行二次開發,并且還影響網站的正常收錄。
導致網站不被搜索引擎收錄的幾個因素到這就寫完了,這五點大家都可以去參考下,看看自己的網站里面是否有違反這五條規則了,“有則改之,無則加勉。”