Google給托管服務(wù)商和網(wǎng)站管理員的9點(diǎn)建議

1.攔截Googlebot 抓取功能。

這是一個(gè)非常普遍的問(wèn)題，通常因防火墻配置錯(cuò)誤或DoS保護(hù)系統(tǒng)所致，有時(shí)也因站點(diǎn)運(yùn)行的內(nèi)容管理系統(tǒng)所致。保護(hù)系統(tǒng)是形成好的托管服務(wù)的重要組成部分， 通過(guò)配置來(lái)攔截異常的服務(wù)器頻繁的請(qǐng)求，但有時(shí)也可自動(dòng)完成。然而Googlebot通常會(huì)執(zhí)行比個(gè)人用戶更多的請(qǐng)求，所以這些保護(hù)系統(tǒng)也會(huì)決定攔截 Googlebot，并阻止其抓取您的網(wǎng)站。如需查驗(yàn)此類問(wèn)題，您可以使用網(wǎng)站管理員工具中的Googlebot抓取方式功能，并查看網(wǎng)站管理員工具顯示的其它抓取錯(cuò)誤。

我們向那些希望更有效地控制Googlebot抓取功能并提高抓取效率的網(wǎng)站管理員和托管服務(wù)商提供了幾個(gè)工具：

①：我們就如何使用拒絕googlebot協(xié)議和配置 URL 參數(shù)來(lái)控制“Googlebot抓取方式”功能提供了詳細(xì)的幫助。

②：如果您擔(dān)心使用Googlebot的代理程序，我們提供了一個(gè)方法來(lái)驗(yàn)證該抓取工具是否為Googlebot。

③：如果您想改變Googlebot抓取您的站點(diǎn)的頻率，您可在網(wǎng)站管理員工具中驗(yàn)證您的網(wǎng)站，并且改變Googlebot的抓取速度。托管服務(wù)商也可驗(yàn)證他們IP地址的所有權(quán)。

2.可用性問(wèn)題

我們常見(jiàn)的另一類問(wèn)題是當(dāng)Googlebot (及用戶)試圖訪問(wèn)站點(diǎn)時(shí)，網(wǎng)站無(wú)法瀏覽。這通常是由DNS問(wèn)題、服務(wù)器過(guò)載引起的超時(shí)和拒絕鏈接問(wèn)題、錯(cuò)誤的內(nèi)容分發(fā)網(wǎng)絡(luò)配置(CDNs)、以及很多其它類型的錯(cuò)誤造成的。當(dāng)Googlebot遇到這些問(wèn)題時(shí)，我們將之視為網(wǎng)址無(wú)法訪問(wèn)錯(cuò)誤或抓取錯(cuò)誤并在網(wǎng)站管理員工具中報(bào)告該錯(cuò)誤。

3.無(wú)效SSL證書(shū)。

要想SSL證書(shū)對(duì)您的網(wǎng)站生效，必須將它們與站點(diǎn)名稱相匹配。常見(jiàn)問(wèn)題包括過(guò)期的SSL證書(shū)，以及因服務(wù)器上所有網(wǎng)站使用同一個(gè)證書(shū)而導(dǎo)致的服務(wù)器錯(cuò)誤配 置。在這些情況下，大部分瀏覽器會(huì)試圖警告用戶，Google則通過(guò)網(wǎng)站管理員工具發(fā)送一條信息來(lái)警告網(wǎng)站管理員。要解決這些問(wèn)題，就要確保您所使用的 SSL證書(shū)對(duì)所有網(wǎng)站的域名以及您用戶訪問(wèn)的子域名都有效。

4. 通配符DNS。

網(wǎng)站可通過(guò)配置來(lái)響應(yīng)所有子域名的請(qǐng)求。例如，example.com的網(wǎng)站可以通過(guò)配置用來(lái)響應(yīng)來(lái)自foo.example.com，made-up-name.example.com以及所有其它子域名的請(qǐng)求。

在某些情況下，這是網(wǎng)站管理員所希望發(fā)生的，例如一個(gè)用戶生成內(nèi)容的網(wǎng)站可自行選擇給予每個(gè)賬戶各自的子域名。但在某些情況下，網(wǎng)站管理員可能不希望發(fā)生這種行為，因?yàn)檫@也許會(huì)引起不同的主機(jī)名將內(nèi)容進(jìn)行不必要的復(fù)制，還可能影響Googlebot抓取功能。

5. 虛擬主機(jī)錯(cuò)誤配置。

這種問(wèn)題的特征是同一個(gè)服務(wù)器上托管的多主機(jī)和/或域名總是只返回一個(gè)站點(diǎn)的內(nèi)容。換言之，盡管服務(wù)器托管多個(gè)站點(diǎn)，但它不管請(qǐng)求內(nèi)容是什么卻只返回一個(gè)站點(diǎn)。要診斷此問(wèn)題，您需要驗(yàn)證服務(wù)器是否正確地響應(yīng)了HTTP 主頁(yè)面。

6. 通過(guò)特定的URL托管復(fù)制內(nèi)容。

很多主機(jī)基于測(cè)試/開(kāi)發(fā)的目的，為您的網(wǎng)站提供URL。例如，如果您在托管網(wǎng)站example.com上托管http://a.com/，托管提供商可能 會(huì)提供如 http://a.example.com/ 或 http://example.com/~a/這樣的URL地址來(lái)作為您網(wǎng)站的入口。我們建議不要將這些特定的URL托管設(shè)置成可被公開(kāi)訪問(wèn)的狀態(tài)（通過(guò) 密碼保護(hù)它們）；即便這些URL可被訪問(wèn)，我們的算法通常選擇網(wǎng)站管理員所想要的URL地址。

7. 軟錯(cuò)誤頁(yè)面。

某些托管服務(wù)商用HTTP 200狀態(tài)碼（表示“成功”）而不是HTTP錯(cuò)誤狀態(tài)碼來(lái)顯示錯(cuò)誤頁(yè)面。例如，一個(gè)出現(xiàn)“頁(yè)面無(wú)法訪問(wèn)”字樣的錯(cuò)誤頁(yè)面可能會(huì)返回HTTP 200而不是404，從而造成軟404頁(yè)面；一條“網(wǎng)站暫時(shí)無(wú)法訪問(wèn)”信息返回的可能是HTTP 200，而不是正確地返回503HTTP狀態(tài)碼。我們努力檢測(cè)軟錯(cuò)誤頁(yè)面，但當(dāng)我們的算法無(wú)法檢測(cè)出主機(jī)軟錯(cuò)誤頁(yè)面時(shí)，這些頁(yè)面的錯(cuò)誤內(nèi)容可能被列入索引，導(dǎo)致分級(jí)或跨域選擇網(wǎng)址的問(wèn)題。

8. 內(nèi)容修改和框架（frames）。

網(wǎng)站管理員可能驚訝于看到頁(yè)面內(nèi)容被托管服務(wù)商修改，尤其是在頁(yè)面插入腳本或圖片。除此之外，主機(jī)還可能通過(guò)使用frames或iframe將內(nèi)容嵌入其 它頁(yè)面來(lái)托管內(nèi)容。如果想查看主機(jī)是否以您意料之外的方式修改您的內(nèi)容，只需查看主機(jī)托管頁(yè)面的源代碼，并將其與您上傳的代碼進(jìn)行比較。

9.垃圾信息和惡意軟件。

我們經(jīng)?？匆?jiàn)有部分主機(jī)和大量子域名服務(wù)成為惡意軟件和垃圾郵件的主要來(lái)源，鑒于此，我們進(jìn)行一些細(xì)微的操作來(lái)保護(hù)用戶和提高搜索質(zhì)量，但如果我們發(fā)現(xiàn)特 定的主機(jī)上絕大部分站點(diǎn)發(fā)送垃圾信息或傳播惡意軟件時(shí)，我們就不得不對(duì)整個(gè)主機(jī)采取行動(dòng)。為幫您控制惡意軟件，我們提供：

①：適用于托管服務(wù)商的網(wǎng)絡(luò)管理員安全瀏覽警報(bào)

②：適用于個(gè)人網(wǎng)站的管理員工具的惡意軟件通知

③：適用于開(kāi)發(fā)人員的安全瀏覽API

騰佑科技推薦：網(wǎng)通服務(wù)器托管