南順網絡

【官方說法】頁面長(cháng)度過長(cháng)，也會導緻不收錄？

站點反饋：

網站主體內(nèi)容都是js生成，針對用戶訪問，沒有做(zuò)優化；但是網站特針對爬蟲抓取做(zuò)了優化，且将圖片也直接做(zuò)了base64轉化；然而優化後發現內(nèi)容卻不被百度收錄。

頁面質量很好，還特意針對爬蟲做(zuò)了優化，為(wèi)什麽內(nèi)容反而不收錄了呢(ne)？

工程師分析：

1、網站針對爬蟲爬取做(zuò)的(de)優化，直接将圖片二進制內(nèi)容放到了html中導緻頁面長(cháng)度過長(cháng)，網站頁面長(cháng)度達164k;

2、 站點優化後将主體內(nèi)容放于最後，圖片卻放于前面;

3、爬蟲抓取內(nèi)容後，頁面內(nèi)容過長(cháng)被截斷，已抓取部分無法識别到主體內(nèi)容，最終導緻頁面被認定為(wèi)空短(duǎn)而不收錄。

工程師建議：

1、不建議站點使用js生成主體內(nèi)容，如(rú)js渲染出錯，很可(kě)能導緻頁面內(nèi)容讀取錯誤，頁面無法抓取

2、 如(rú)站點針對爬蟲爬取做(zuò)優化，建議頁面長(cháng)度在128k之內(nèi)，不要過長(cháng)

3、針對爬蟲爬取做(zuò)優化，請将主題內(nèi)容放于前方，避免抓取截斷造成的(de)內(nèi)容抓取不全

編輯:--ns868