360有權抓取百度上的網民作品

百度與360公司爬蟲機器人不正當競爭糾紛案受到外界關注。日前，北京市第一中級法院駁回了百度有關不正當競爭的訴求，表明百度單方面利用歧視性Robots協議打擊競爭對手的行爲不會被公衆和法庭所支援，而360則可以繼續抓取百度的網站內容。

拋開爬蟲定義、Robots協議的晦澀專業，此案的實質是海量資訊的搜尋與隱私權保護的中間規則。形象的說，它如同門牌號碼，頁面所有者也即戶主可以蓋牌子選擇不準訪問，以保護隱私。而搜尋，實則就是透過門牌號碼，獲得網頁地址，從而幫助讀取。

糾紛案之爭，在於百度將其旗下百度知道、百度文庫、百度貼吧等網站內容修訂規則、蓋上牌子，只允許360以外的搜尋引擎訪問，而360的搜尋爬蟲則對這些內容進行了訪問。乍一看，似乎是360強闖民宅，亂翻了百度牌子。

然而，當我們對這些網站內容進行界定，就發現這些都是網民上傳、發表的內容，換言之著作權屬於網民，而非百度，其上傳和發表是一種默認的共享行爲，理應有被訪問的門牌號。這些內容猶如零散住戶，百度充其量只能算是多家“小區”的物業管理人員。物業管理員對郵遞員的區別對待，是不恰當的。

被翻與不被翻的Robots協議，在於尊重所有者的隱私權;然而可翻與不可翻的區別對待，顯然違反了開放、共享的互聯網精神。開放、分享的互聯網精神是互聯網核心基礎，更是其迅猛發展的驅動所在。無視這種開放與共享，就會形成大型網站綁架上傳資料者的局面，就會導致山頭林立，形成更多的資訊溝壑，這顯然無益於互聯網的健康發展。

不僅如此，互聯網精神所鼓勵的自由競爭和創新，更應建立在平等公平的競爭秩序基礎上，而絕不應以技術、先行壟斷行“叢林法則”之實。透過先入優勢構建技術壁壘，塑造恃強凌弱的競爭格局，這勢必加劇壟斷局面的形成，這顯然有違平等公平的競爭秩序。

進而言之，在絕對的壟斷和利益的驅使下，獨此一家的搜尋本身也可能異變成爲一種閱讀、推廣的綁架。若到這種情形下，你想看的或許都會異變成它想讓你看的，屆時被掩蓋的也許就不僅僅是資料分享者的門戶牌子了。

Robots協議不應成爲市場競爭維護壟斷的工具

奇虎360進軍搜尋市場之後，搜尋巨頭和360之間的關係似乎更加劍拔弩張。近日，360公司和搜尋巨頭公司關於搜尋引擎爬蟲行爲爭議再度引發業界關注。有分析人士認爲，Robots協議不是行業法規或標準，不存在違反與不違反的問題，更不應該成爲用於搜尋市場競爭的武器。

2012年8月16日，360正式推出搜尋引擎，並在上線6天后，佔據中國搜尋市場10%的份額，成爲僅次於搜尋引擎的第二大搜尋流量來源。但不久，360搜尋遭到反制措施，所有來自360搜尋的用戶請求強行跳轉，用戶需要二次點擊才能得到搜尋的結果。

技術專家指出，知道、百科、貼吧等產品在Robots檔案中禁止360搜尋抓取索引。然而，國內最大的搜尋引擎仍允許包括谷歌、必應、搜狗、搜搜在內的所有搜尋引擎抓取索引上述內容。透過Robots協議僅阻止360搜尋抓取索引，是把Robots協議當成不正當競爭的工具，目的是打擊和封堵360搜尋。

單方面強調Robots協議的作用，試圖作爲限制競爭對手的標準，而是否任何一家搜尋引擎也如他們所描述的那樣遵守Robots協議呢?

據悉，Robots協議由荷蘭籍網絡工程師於1994年首次提出，是一個被放置在網站中的檔案，爲搜尋引擎爬蟲做出提示，設定允許與不允許兩種語句，網絡爬蟲據此“自覺地”抓取或者不抓取該網頁內容。

但Robots並不是一個規範，而只是一個約定俗成的協議。Robots協議創始人明確提出Robots協議是一個未經標準組織備案的非官方標準，不屬於任何商業組織。如果該協議被當成市場競爭攻擊，所有現在和未來的機器人(搜尋引擎)不必遵從Robots協議。

業內人士在接受記者採訪時認爲，Robots協議本是爲了搜尋引擎更有效的的索引到內容結果頁、內容網站服務器等資源免受爬蟲頻繁打擾而設定的一種技術協議。濫用Robots協議，其結果必將造成行業競爭壁壘，導致互聯網行業內不公平競爭氾濫，進而導致搜尋引擎給網民展現不完整的搜尋結果，阻礙搜尋市場的自由競爭。