網頁長度也會影響網站收錄嗎?百度站長學院前幾天公布了一個案例,里面提到一些細節,特別值得站長重視。它這個頁面對爬蟲爬取做的優化,直接將圖片二進制內容放到了html中導致頁面長度過長,大小164K,導致內容不被百度收錄。
網站如果針爬蟲做優化,那么網頁的長度最要在128K以內,不要過長。不然爬蟲抓取內容后,頁面內容過長被截斷,已抓取部分無法識別到主體內容,最終導致頁面被認定為空短而不收錄。
言下之意,這可能是百度技術缺陷導致,如果網頁在128K以上,爬蟲無法抓取就無法收錄。如果各位站長的網站內容過長,盡量刪除一部分不太重要的信息,以保證內容收錄。
百度工程師建議:
1、不建議站點使用js生成主體內容,如js渲染出錯,很可能導致頁面內容讀取錯誤,頁面無法抓取
2、 如站點針對爬蟲爬取做優化,建議頁面長度在128k之內,不要過長
3、針對爬蟲爬取做優化,請將主題內容放于前方,避免抓取截斷造成的內容抓取不全