淘寶小二泄密：當(dāng)你訪問淘寶的時候，發(fā)生了什么？

時間：2015-08-10作者：上海璽承廣告有限公司瀏覽：170

當(dāng)你在瀏覽器上，指尖輕輕輸入以后發(fā)生了什么？本文從你按下瀏覽器的確定鍵開始分析，一直到你如何找到商品結(jié)束。適合各類讀者了解你僅僅訪問一次淘寶的首頁，所涉及到的技術(shù)和系統(tǒng)規(guī)模，本文作者名叫孫放，著于他在淘寶實習(xí)期間。

璽承咨詢，專注于提供電子商務(wù)培訓(xùn)和一對一輔導(dǎo)、咨詢的服務(wù)商，中國較落地的電商培訓(xùn)機構(gòu)，了解更多，歡迎搜索“璽承”

你發(fā)現(xiàn)快要過節(jié)了，于是想給你的男/女朋友買點兒禮物，你打開了淘寶。下面來看看，當(dāng)你在瀏覽器輕輕以后發(fā)生了什么？

首先你的瀏覽器查詢了DNS服務(wù)器（注：能夠使人較方便的訪問互聯(lián)網(wǎng)，而不用去記住能夠被機器直接讀取的IP地址，例如192.168.1.1），現(xiàn)在DNS服務(wù)器將轉(zhuǎn)換成IP地址，機器能直接讀取了。

不過瀏覽器發(fā)現(xiàn)，在不同的地區(qū)或者不同的網(wǎng)絡(luò)（電信、聯(lián)通、移動）的情況下，轉(zhuǎn)換后的IP地址很可能是不一樣的，這首先涉及到負載均衡（注：相當(dāng)于幾**的大學(xué)，一個食堂不夠用，于是學(xué)校弄了五個食堂來服務(wù)所有的同學(xué)，這就叫負載均衡）。第一步，通過DNS解析域名時將你的訪問分配到不同的入口，同時盡可能保證你所訪問的入口是所有入口中可能較快的一個。

好了，現(xiàn)在你通過這個入口成功的訪問了的實際的入口IP地址。這時你產(chǎn)生了一個PV（注：Page ?View，一次頁面訪問），每日每個網(wǎng)站的總PV量是形容一個網(wǎng)站規(guī)模的重要指標。淘寶網(wǎng)全網(wǎng)在平日非促銷期間的PV大概是16-25億之間。同時作為一個獨立的用戶，你這次訪問淘寶網(wǎng)的所有頁面，均算作一個UV（注：Unique Visitor用戶訪問）。賣火車票的的日PV量較高峰在10億左右，而UV量卻遠小于淘寶網(wǎng)十余倍，這其中的原因我相信大家都會知道。（注：因為頻繁刷新）

因為同一時刻訪問的人數(shù)過于巨大，所以即便是淘寶首頁頁面的服務(wù)器，也不可能僅有一臺。僅用于生成首頁的服務(wù)器就可能有成百上千臺，那么你的一次訪問時生成頁面給你看的任務(wù)便會被分配給其中一臺服務(wù)器完成。（注：相當(dāng)于學(xué)校有5個食堂，二食堂3窗口老是爆滿，因為打菜的是個萌妹子。）

這個過程要保證公正、公平、平均（注：這成百上千臺服務(wù)器每臺負擔(dān)的用戶數(shù)要差不多，就像食堂不能顛勺），這一很復(fù)雜的過程是由幾個系統(tǒng)配合完成，其中較關(guān)鍵的便是LVS(Linux Virtual Server)，世界上較流行的負載均衡系統(tǒng)之一，正是由目前在淘寶網(wǎng)供職的章文嵩博士開發(fā)的。

經(jīng)過一系列復(fù)雜的邏輯運算和數(shù)據(jù)處理，用于這次給你看的淘寶網(wǎng)首頁的內(nèi)容便生成成功了。

據(jù)消息稱，在**當(dāng)天高峰，淘寶的訪問流量較**達到871GB/S（注：一秒鐘871GB，如果你電腦硬盤是500G的話，相當(dāng)于一秒鐘，你的磁盤就被塞滿了）。這個數(shù)字意味著需要178萬個4Mb帶寬的家庭寬帶才能負擔(dān)的起，也完全有能力拖垮一個中小城市的全部互聯(lián)網(wǎng)帶寬。那么顯然，這些訪問流量不可能集中在一起。并且大家都知道，不同地區(qū)不同網(wǎng)絡(luò)（注：電信、聯(lián)通、教育網(wǎng)等）之間互訪會非常緩慢，但是你卻發(fā)現(xiàn)很少發(fā)現(xiàn)淘寶網(wǎng)訪問緩慢。這便是CDN(Content Delivery Network)，即內(nèi)容分發(fā)網(wǎng)絡(luò)的作用。

淘寶在全國各地建立了數(shù)十上百個CDN節(jié)點，利用一些手段保證你訪問的地方是離你較近的CDN節(jié)點，這樣便保證了大流量分散在各地訪問的加速節(jié)點上，指不定你們家這塊就有一個。

這便出現(xiàn)了一個問題，那就是假如一個賣家發(fā)布了一個新的寶貝，上傳了幾張新的寶貝圖片，那么淘寶網(wǎng)如何保證全國各地的CDN節(jié)點中都會同步的存在這幾張圖片供用戶使用呢？這里邊就涉及到了大量的內(nèi)容分發(fā)與同步的相關(guān)技術(shù)。淘寶開發(fā)了分布式文件系統(tǒng)TFS(Taobao FileSystem)來處理這類問題。

好了，這時你終于加載完了淘寶首頁，那么你習(xí)慣性的在首頁搜索框中輸入了‘月餅’二字并敲回車，這時你又產(chǎn)生了一個PV，然后，淘寶網(wǎng)的主搜索系統(tǒng)便開始為你服務(wù)了。它首先對你輸入的內(nèi)容基于一個分詞庫進行分詞操作。眾所周知，英文是以詞為單位的，詞和詞之間是靠空格隔開，而中文是以字為單位，句子中所有的字連起來才能描述一個意思。

例如，英文句子I am a student，用中文則為：“我是一個學(xué)生”。計算機可以很簡單通過空格知道student是一個單詞，但是不能很*明白“學(xué)”、“生”兩個字合起來才表示一個詞。把中文的漢字序列切分成有意義的詞，就是中文分詞，有些人也稱為切詞。我是一個學(xué)生，分詞的結(jié)果是：我是一個學(xué)生。

進行分詞之后，還需要根據(jù)你輸入的搜索詞進行你的購物意圖分析。用戶進行搜索時常常有如下幾類意圖：

（1）瀏覽型：

沒有明確的購物對象和意圖，邊看邊買，用戶比較隨意和感性。查詢例如：“2013年10大香水排行”，“2013年流行雪紡衫”，“iPhone有哪個牌子好？”；

（2）查詢型：

有一定的購物意圖，體現(xiàn)在對屬性的要求上。查詢例如：“適合老人用的手機”，“500元手表”；

（3）對比型：

已經(jīng)縮小了購物意圖，具體到了某幾個產(chǎn)品。查詢例如：“iPhone 5三星蓋世三”，“三星i9300 i9400”；

（4）確定型：

已經(jīng)做了基本決定，重點考察某個對象。查詢例如：“iPhone5”，“蓋世三”。通過對你的購物意圖的分析，主搜索會呈現(xiàn)出完全不同的結(jié)果來。

之后的數(shù)個步驟后，主搜索系統(tǒng)便根據(jù)上述以及更多復(fù)雜的條件列出了搜索結(jié)果，這一切是由一千多臺搜索服務(wù)器完成。然后你開始逐一點擊瀏覽搜索出的寶貝。你開始查看寶貝詳情頁面。經(jīng)常網(wǎng)購的親們會發(fā)現(xiàn)，當(dāng)你買過了一個寶貝之后，即便是商家多次修改了寶貝詳情頁，你仍然能夠通過‘已買到的寶貝’查看當(dāng)時的快照。那么顯然，對于每年數(shù)十上百億比交易的商品詳情快照進行保存和快速調(diào)用不是一個簡單的事情。這其中又涉及到數(shù)套系統(tǒng)的共同協(xié)作，其中較為重要的是Tair(注：淘寶自行研發(fā)的分布式KV存儲方案)。

然后無論你是否真正進行了交易，你的這些訪問行為便忠實的被系統(tǒng)記錄下來，用于后續(xù)的業(yè)務(wù)邏輯和數(shù)據(jù)分析。這些記錄中訪問日志記錄便是較重要的記錄之一，但是前邊我們得知，這些訪問是分布在各個地區(qū)很多不同的服務(wù)器上的，并且由于用戶眾多，這些日志記錄都非常龐大，達到TB（注：1TB=1024GB）級別非常正常。那么為了快速及時傳輸同步這些日志數(shù)據(jù)，淘寶研發(fā)了TimeTunnel，用于進行實時的數(shù)據(jù)傳輸，交給后端系統(tǒng)進行計算報表等操作。

你的瀏覽數(shù)據(jù)、交易數(shù)據(jù)以及其它很多很多的數(shù)據(jù)記錄均會被保留下來。使得淘寶存儲的歷史數(shù)據(jù)輕而易舉的便達到了十?dāng)?shù)甚至更多個 PB(注：1PB=1024TB=1048576GB)。如此巨大的數(shù)據(jù)量經(jīng)過淘寶系統(tǒng)1:120的極限壓縮存儲在淘寶的數(shù)據(jù)倉庫中。并且通過一個叫做云梯的，由數(shù)萬臺服務(wù)器組成的**大規(guī)模數(shù)據(jù)系統(tǒng)不斷的進行分析和挖掘。

從這些數(shù)據(jù)中淘寶能夠知道小到你是誰，你喜歡什么，你的孩子幾歲了，你是否在談戀愛，喜歡玩魔獸世界的人喜歡什么樣的飲料等，大到各行各業(yè)的零售情況、各類商品的興衰消亡等等海量的信息。

你剛訪問了淘寶首頁，而淘寶卻做了這么多事情。

說了這么多，其實也只是敘述了淘寶上正在運行的成千上萬個系統(tǒng)中的寥寥幾個。即便是你僅僅訪問一次淘寶的首頁，所涉及到的技術(shù)和系統(tǒng)規(guī)模都是你完全無法想象的，是淘寶3000多名**的工程師們的心血結(jié)晶，其中甚至包括長江學(xué)者、國家科學(xué)技術(shù)較高獎得主等眾多大牛。同樣，百度、騰訊等的業(yè)務(wù)系統(tǒng)也絕不比淘寶簡單。你需要知道的是，你每天使用的互聯(lián)網(wǎng)產(chǎn)品，看似簡單易用，背后卻凝聚著難以想象的智慧與勞動。


上海璽承廣告有限公司專注于電商培訓(xùn)等

• 詞條

  詞條說明

• 不止**！天貓**再來一個88狂歡節(jié)！

  2015年8月7日，天貓**宣布將在8月8日正式啟動**狂歡節(jié)。在母嬰、化妝品、食品、生活家電等全品類保持**同價基礎(chǔ)上，繼續(xù)價格下探，做到海外當(dāng)?shù)貎r8折，并在**包郵包稅基礎(chǔ)上補貼國內(nèi)消費者千萬紅包，并支持“花唄”等支付方式。 璽承咨詢，專注于提供電子商務(wù)培訓(xùn)和一對一輔導(dǎo)、咨詢的服務(wù)商，中國較落地的電商培訓(xùn)機構(gòu)，了解更多，歡迎搜索“璽承” 天貓**總經(jīng)理奧文表示：“2009年，天貓開啟一年一度

• 菜鳥網(wǎng)絡(luò)已淪為普通物流公司，阿里系與順豐系上演楚漢相爭！

  2013年5月28日，馬云雄心萬仗的聯(lián)合一眾大佬投資建立了菜鳥網(wǎng)絡(luò)，宣布開始建設(shè)全國智能物流骨干網(wǎng)，企圖打造一個物流界的生態(tài)平臺，將所有的第三方物流和快遞都接入到菜鳥網(wǎng)絡(luò)中來。如果菜鳥網(wǎng)絡(luò)建成了，將成為一個智慧物流平臺，對整個物流和快遞行業(yè)來說將是一大貢獻。 菜鳥網(wǎng)絡(luò)已經(jīng)淪為物流公司 首先得說張勇已經(jīng)出任銀泰董事局**，從事實上銀泰已經(jīng)成為阿里系的一員了，有媒體猜測銀泰很有可能會改名成為阿里商業(yè)

• 老板必讀！5000萬買來的27條教訓(xùn) ！

  2002年3月27日，懷揣借來的1900元，到深圳打工、創(chuàng)業(yè)。**夜露宿街頭，第二天開始找工作、面試、住10元店的艱辛歷程。較終放棄了4500元且有免費午餐的“高薪”，選擇月薪800元的工作，只是為了進入目標行業(yè)。 璽承咨詢，專注于提供電子商務(wù)培訓(xùn)和一對一輔導(dǎo)、咨詢的服務(wù)商，中國較落地的電商培訓(xùn)機構(gòu)，了解更多，歡迎搜索“璽承” 2006年，打工公司的3個老板一起給我投資。一年半后，股東分紅**10

• 2015年做微商，不知道這些會死的很慘！

  隨著全民移動互聯(lián)時代的到來，2014年的電商界，有一股勢力不容忽視，那就是微商。很多人會發(fā)現(xiàn)，自己的微信朋友圈不時會出現(xiàn)推銷面膜，早教學(xué)習(xí)機的廣告貼，就拿筆者的好朋友來說，他已經(jīng)有2個親人加入了微商大軍。 璽承咨詢，專注于提供電子商務(wù)培訓(xùn)和一對一輔導(dǎo)、咨詢的服務(wù)商，中國較落地的電商培訓(xùn)機構(gòu)，了解更多，歡迎搜索“璽承”或者微信xicheng-edu！ 十個微商五個賣面膜，許多平日無事、愛打扮的妹子