百度訴奇虎360違反「Robots協議」抓取、複製其網站內容侵權一案, 10月16日上午在北京市第一中級人民法院開庭審理。百度方面認為,360搜索在未獲得百度公司允許的情況下,違反業內公認的Robots協議,抓取百度旗下百度知道、百度百科、百度貼吧等網站的內容,已經構成了不正當競爭,並向奇虎索賠1億元。
百度公關部郭彪向媒體表示,Robots協議是網站信息和網民隱私保護的國際通行規範之一,理應得到全球網際網路公司的共同遵守。不尊重 Robots協議將可能導致網民隱私大規模泄露。此前,360伺服器抓取網民隱私存在自己的伺服器上,因自身網站的漏洞被谷歌搜索抓取,導致奇瑞汽車內部採購文件、三峽集團財務報表等商業秘密,以及140萬網民隱私被泄露和傳播。違反Robots協議再次暴露了360無視網站版權和網民隱私的一貫思維。奇虎360也因此遭到國家版權局、國家工商總局等權威部門嚴厲批評。
郭彪表示,奇虎360最為惡劣的,並非是其搜索爬蟲故意違反Robots協議的做法,而是它利用360瀏覽器等客戶端,強行抓取網民的瀏覽數據和信息到搜索伺服器,完全無視Robots協議。這一做法目前已經導致大量企業內網信息被泄露。去年底,百度工程師通過一個名為「鬼節捉鬼」的測試,證明了360瀏覽器存在私自上傳「孤島頁面」等隱私內容到360搜索的行為。
這類利用客戶端上傳信息並放到搜索上的行為,可能引發網民隱私大面積泄露。如果一位證券公司的工作人員,不慎用360瀏覽器查看了客戶的姓名、銀行帳號、密碼等信息,那麼客戶帳號和密碼可能就會被搜索到並公之於眾;如果一個公司高層,用360瀏覽器查看了公司內部機密數據,那麼這個公司的核心商業機密也可能就會被競爭對手直接搜索到。
國家版權局明確指出:360涉嫌侵權必須整改
Robots協議,又稱機器人協議或爬蟲協議,該協議就搜尋引擎抓取網站內容的範圍作了約定,包括網站是否希望被搜尋引擎抓取,哪些內容不允許被抓取,網絡爬蟲據此「自覺地」抓取或者不抓取該網頁內容。自推出以來Robots協議已成為網站保護自有敏感數據和網民隱私的國際慣例,包括百度、谷歌、雅虎在內的所有搜索服務提供商都自覺嚴格遵守。
2012年8月,360搜索悄然上線後不久即違反Robots協議,強行抓取百度旗下網站百度知道、百度百科、百度貼吧、百度旅遊等內容。 360搜索在百度Robots文本中還未將360爬蟲寫入的情況下,違反Robots協議內容,強制對「百度知道」、「百度百科」等百度網站內容進行了抓取。
百度公司認為,奇虎360的行為違背了國際通行的行業規則、不顧百度的權利聲明和技術措施,非法抓取、複製百度網站內容,直接以快照形式向網民提供,嚴重侵害了百度的合法權益,構成了不正當競爭。隨後,百度公司將奇虎360訴至北京市第一中級人民法院,該案於今年2月23日正式立案。
早在2012年12月28日,國家版權局在打擊網絡侵權盜版專項治理「劍網行動」新聞通氣會上就指出:360綜合搜索提供百度網頁快照不適用 「避風港原則」,對於百度擁有權利的作品,360要通過網頁快照抓取,必須要取得百度公司的授權,未經授權隨意抓取百度擁有版權的作品屬侵權行為。並要求 360綜合搜索進行整改,同時將視360的整改情況再採取進一步的管理措施。
不過,奇虎360公司無視國家版權局指示,依然繼續違反roborts協議,違規抓取百度百科、百度知道等版權內容。
奇虎360引發的系列不正當競爭也引起其他國家權威部門高度重視。今年1月,北京市工商局對奇虎360利用「360安全衛士」在瀏覽器領域實施不正當競爭行為予以行政告誡。今年7月,國家工商總局不點名指出,奇虎360自 2007年起就利用其在安全軟體方面所占有的優勢地位,採用多種方式,捏造虛假事實或扭曲、隱瞞競爭對手產品的真實情況,惡意打擊競爭對手,嚴重損害了競爭對手的商業信譽和商品聲譽。
百度:360違反Robots協議 可能導致網民隱私泄露
據中國之聲《央廣新聞》報導,由於360搜索並不遵守搜尋引擎通用的Robots協議,導致很多網站出於安全和隱私的考慮、不允許搜尋引擎抓取的一些內網信息,也被泄漏在了360搜索上,這些隱私甚至可能包括銀行帳號、密碼、內部郵件等一些信息。
百度公關部郭彪對此表示,此前媒體報導的寶鋼、 AMD、台灣長庚大學等知名機構內部要求卸載360全部產品,正是因為擔心內部商業信息和個人隱私可能被上傳泄露。Robots協議的目的,也是為保護網站數據和敏感信息以及用戶個人信息和隱私不被侵犯。作為隱私保護的國際通行規範,Robots協議應該得到業內的共同遵守,這也是最大程度保護網民隱私和利益的前提。
「如果百度都無法以Robots協議保護自己,那麼淘寶、京東等商業數據網站,國內大量中小網站,甚至企業內網,就更沒有保護自己的能力了。」百度公關部郭彪認為。
據百度介紹,早在2008年,淘寶通過Robots協議以保護商業信息為由不同程度禁止百度、谷歌等搜索爬蟲對其商品信息的抓取。儘管淘寶數據存在巨大商業利益,百度在技術上也完全具備抓取能力,但百度嚴格遵守了Robots協議,立即停止了抓取淘寶網內容。
2012年11月,中國《網際網路搜尋引擎服務自律公約》首次將遵守Robots協議(爬蟲協議)的規定納入實質性條款,確定了Robots協議作為行業規範的地位。《自律公約》第七條明確指出,搜尋引擎服務應當「遵循國際通行的行業慣例與商業規則,遵守機器人協議(Robots協議)」,第九條則規定了違反Robots協議抓取內容的企業,應在收到權利人符合法律規定的通知後,及時刪除、斷開侵權連結,努力維護健康有序的網絡環境。
據悉,百度、搜狗、360等12家搜尋引擎服務商現場簽署了公約,就Robots協議相關規定達成一致。但360搜索在自律公約簽署之後仍然繼續抓取百度相關內容網站內容和快照結果。
專家觀點:違反Robots協議可能導致行業大亂
百度公關部援引中國社會科學院信息化研究中心秘書長姜奇平的觀點指出,Robots協議作為一項行業普遍接受的規範,它對企業和個人隱私保護都有重要意義。「如果就這起紛爭打個比方,就類似客人在酒店住宿時在門上掛了一塊『請勿打擾』的牌子,但現在有服務員說要給客人提供貼心的服務,強行摘下牌子進入房間。」
搜狗CEO王小川此前也曾表示,歡迎360做搜索,但360搜索違反Robots協議,是不正當競爭,需要政府作為。知名IT評論人洪波更是直接指出,「(360無視Robots協議)這樣的行為不及時從法律和政府監管上制止,所有網站都可以像360一樣踐踏行業規則的底線,整個網際網路行業將大亂。」
知名智慧財產權律師趙占領認為, 360採用技術手段避開百度設置的版權保護措施,未經許可直接抓取並複製相關產品網頁,涉嫌著作權侵權。同時360通過隱蔽訪問來源等技術繞開了百度設置的保護措施,未經許可加以抓取,則涉及不正當競爭。北京市漢卓律師事務所首席律師趙虎也表示,根據《侵權行為法》和《民法通則》等一系列法律法規的規定,360搜索行為已經違法,由於360搜索的違法行為涉及面廣、涉及人多,已經侵犯了社會公共利益,政府部門不能坐視不管,必須進行調查和處理。
國內外判例:違規抓取相當於「對不動產的非法侵入」
事實上,關於Robot協議的法律紛爭此前在國內外都曾出現。對於Robots協議,早在12年前,美國加州北部的聯邦地方法院就在著名的 eBay VS. Bidder『s Edge案中引用Robots協議對案件進行裁定。針對專門提供拍賣信息的聚合網站Bidder’s Edge 違反Robots協議強制抓取ebay網站內容的行為,受理此案的美國聯邦法官在經過多方調查取證後做出裁定,認定BE侵權成立,禁止了BE的違規行為。在法官看來:「eBay 的網站內容屬於私有財產,eBay有權通過Robots協議對其進行限制。」違規抓取的行為無異於「對不動產的非法侵入。」
同樣在國內,垂直搜尋引擎愛幫網也因未經允許抓取大眾點評網的大量內容也被判敗訴。
2008年,大眾點評曾狀告愛幫網,以「垂直搜索」之名,無視Robots協議,將大眾點評花費心血組織用戶發布的點評內容抓到自己的平台上。最終,法院判決愛幫網敗訴,除了賠償最高限額外,也要立即停止這一侵權行為。法院認為,這些信息內容被愛幫網未付出勞動、未支出成本、未做出貢獻,卻直接利用技術手段在愛幫網上展示,並以此獲取商業利益,屬於反不正當競爭法理論中典型的「不勞而獲」和「搭便車」的行為。