數據中心的時間同步非常重要。
比如支付係統,賬戶上有100塊錢,在北方買了點卡類的虛擬產品。如果不能及時同步,就發現南方的賬戶上這100塊錢還沒花掉,就又可以買點卡了。
這年頭,網友們利用技術性漏洞,沒少鑽空子去免費買q幣。
國內還好。
按照程秉皓的說法,紫微星自己搞的這套同步係統,3個月內保準上線。國家雖然很大,但到底是內陸,光纖都連著呢,技術難度不高。
可facebook搞得就不一樣了,人家玩的是全球性的同步,這就是世界級難度了。
東半球和西半球,打個電話都有延遲呢,要想讓數據庫及時同步,神知道他們要采用什麽辦法。
然後,唐斌辰又簡單說了一下其他的7個技術項目。
流量控製係統,就是當高峰期時,網站的服務器和寬帶壓力太大,就會造成數據傳輸擁堵和數據丟失。為了避免這種情況,就要對一些電腦性能好、帶寬使用量的用戶進行流量控製,把資源分給更多的用戶。
嗯,對朋友網有用。
分布式緩存係統,就是讓係統並行地進行緩存讀取,提高效率,節約頁麵響應時間。背後還要根據任務量的不同選擇不同的緩存形式,以節省空間並進一步提高讀取速度。
這個項目技術難度非常大。
嗯,對朋友網很有用。
容災係統,不管是多好的服務器,不管是多先進的運轉係統,服務器故障一定會發生。如果有少量的服務器無法相應,則有其他的服務器承擔。當有大量的服務器無法響應,所有的負荷就要有少量服務器承擔,這會非常危險,會導致數據的丟失和損壞。所以就要設定一個闋值,當闋值達到時,頁麵就不再無法響應,以保證數據中心的穩定。
說起這個,周不器就很熟悉了。
“雙十一”和春運搶購火車票,都經常會出現這種情況。校內網在賣爆款產品時,也會出現這種情況。
周不器笑道:“這個係統咱們也有,是從網宿那邊模仿來的,兩年前就有了。”
王星道:“不奇怪,facebook才剛剛開始全球化布局,他們的服務器運營壓力不大,以前應該沒遇到過這種情況。”
唐斌辰接著說:“調度與監控係統,就是指當服務器並行的處理一些任務時,不同的服務器要相互監控。一旦一方發生問題,另一方就要馬上響應,把未完成的任務接過去。”
周不器頭都大了,“並行?分布式算法?”
“對。”
“facebook也在搞分布式算法研究?”
“這是大趨勢啊。”唐斌辰知道周老板的意思,笑著安撫他,“不過大家做分布式,更多的是數據處理。”
周不器問道:“你知道進程嗎?facebook在這方麵的進展怎樣?”
“分布式算法嗎?”
“對。”
“正因為這個算法有進展了,他們才能開展緩存係統和監控係統的研究。”
周不器的臉色就不太好看了,“他們做了多長時間?”
唐斌辰道:“三四個月吧。”
“靠!”
周不器有點崩潰,深深感受到了技術上的差距。
紫微星在做分布式數據庫,首先要做分布式算法,都做了快一年了,馬上第二波1個億的研發經費又要砸進去了。
可離應用還差的遠呢。
再看人家facebook,做了三四個月,就能把分布式算法簡單的應用起來了。
重生一迴,周不器可以在一些應用層上進行更早的布局,可是技術層麵……真是有點乏力,早布局也改變不了技術落後的現實條件。他一個外行,想參與都沒法參與。
慶幸的是國家發展非常快,越來越多的矽穀華人在迴國路上,帶迴來了先進的思維和科技理念。國內科技的進步速度,要遠遠超過矽穀。
王星見周老板有些頹唐,就笑著寬慰說:“分布式數據庫是大項目,而分布式緩存係統和調度監控係統都是小項目,不一樣。我們的分布式算法要精益求精,facebook隻需要簡單的應用就可以。單從分布式算法來看,等5月份咱們也能上線應用了,功能會更強大,而且穩定。”
周不器眼前一亮,“5月份就能應用了?”
王星道:“對,其實已經做出來了,楊振坤那邊在抓細節……主要是投資太大了,這是研發中心那邊的產品第一次亮相,他想做到萬無一失,時間上難免會耽擱。”
周不器追問:“等咱們的分布式算法做出來了,也可以做緩存係統和監控係統的研發工作了吧?”
唐斌辰和王星對視了一眼,給出了比較含糊的迴答,“差不多吧。”
研發中心那邊到底什麽情況,誰都不清楚。
隻知道錢沒少花,啥結果都沒看見。
楊振坤大權獨攬,許亮傑過去考察了兩次,吵了兩架都沒什麽用。周大老板對楊博士非常信任。
接下來的幾個係統項目,都是改進頁麵響應時間的,通過技術手段,讓用戶能夠更快的打開網頁。同時,要降低web端的cpu使用,減少服務器需求等等。
而這裏麵,在數據庫的使用理念中,就產生了一個巨大的分歧。
眾所周知,在信息爆發的年代,傳統的數據庫模式已經跟不上了,必須要加以改進。紫微星選擇了分布式服務器下的分布式數據庫,facebook采用的分布式服務器架構下的多個單行數據庫。
就是要為網站中的信息流、照片、日誌、分享鏈接、轉帖等內容,都分別搞一個數據庫。用多數據庫的形式來應對爆炸性的數據,提高讀取效率。
為了方便周大老板理解,唐斌辰專門舉了一個例子——
如果把數據庫比作一個盆,數據比作豆子,有紅豆、綠豆、黑豆、白豆四種,信息的讀取就是撿豆子。
傳統的單機數據庫模式,是一個人撿豆子,效率很低。
紫微星的模式,就是把所有豆子放在一個盆裏,四個人一起撿豆子,效率提升。
facebook的模式,是把所有豆子分成四個盆,一個紅豆盆,一個綠豆盆,一個黑豆盆和一個白豆盆。然後四個人分別對應四個盆,效率大幅提升。
周不器眉頭緊鎖,“聽起來,他們的好像更高端?”
唐斌辰笑道:“就是一個類比,咱們是混撿,他們是單撿。混撿安全性更高,死了一個人,剩下三個人不影響,很穩定。他們是單撿,是單機結構的數據庫,所以取紅豆的人隻能取紅豆,取綠豆的人隻能取綠豆。假如取紅豆的那個人死了,紅豆就取不出來了。”
周不器道:“所以他們的模式穩定性不如咱們?就需要在硬件條件方麵有更大的支出?”
唐斌辰道:“對,從效率來看,他們更高。從成本和穩定性來看,是我們的優勢。”
周不器明白過來了。
怪不得矽穀那些巨頭們都不搞分布式數據庫,而是在積極的尋求著對oracle、mysql這些傳統服務器的技術性升級。
人家背靠全球市場,富得流油,不在乎這點小錢。穩定性可以用金錢來彌補,無非是多搞一些服務器,多搞一些備用數據庫。
讓一個人撿紅豆,人死了,紅豆就取不出來,係統就崩潰了。可搞100個人專門撿紅豆,死了一批,紅豆一樣能取出來。
王星道:“矽穀不搞分布式數據庫,是因為市場格局已經定了,oracle這類的數據庫巨頭已經稱霸很多年了。工程師們從讀書時,學習的就是使用oracle這類的數據庫,後期讓他們改,也改不動了。隻能通過技術手段,研發豆子的分發係統和多種針對不同豆子的存儲係統,來完成對傳統數據庫的使用升級。”
周不器聽懂了他的意思,“所以說咱們要從頭開始培養?給大學拿錢,成立專門的實驗室,開設針對咱們‘飛天’數據庫的課程和研究課題?”
王星點了點頭,“很有必要。”
唐斌辰道:“分布式一定是未來的趨勢,並行結構相比於單行結構,有巨大的優勢。還是剛才那個例子,隻要咱們也搞數據的分發和不同的存儲係統,然後也把豆子分在不同的盆裏,抓取的時候效率不就高了?又有混檢功能,穩定性也強。”
周不器頭都大了。
滿腦子的紅豆。
不過他腦海中還是出現了一個新的看問題角度。
國內的數據庫市場一片空白,未必不是好事。矽穀那邊有巨頭把持,想創新、革新非常困難,有點僵化了。
國內是白紙,恰好能夠潑墨揮毫。
這就像是馬斯克做火箭,跟全世界各國的航天局都擰著來,然後……就通過成本控製,取得了驚人的成績。
星鏈計劃要是以傳統的火箭發射模式,那造價海了去了,根本玩不起。馬斯克的火箭卻能迴收重複利用,給這個計劃有了可行性的思路。
技術重要,成本控製也很重要!
未來的數據,隻會越來越多,越來越多。
背靠著高端昂貴服務器的傳統單行數據庫肯定不行。
一定要有更廉價的替代品才行。
這就是分布式數據庫的機會。
打發走了唐斌辰和王星,周不器有氣無力的往大班椅上一靠,感覺腦細胞都快消耗光了,讓他一個外行參與這麽複雜的技術討論,真是太難為人了。
還用什麽紅豆、綠豆、白豆的舉例子,亂七八糟!
“雅嫻!”
“來了。”
“你打電話問問楊蜜在哪,我一會兒去她那邊。”
“幹嘛呀?”
“沒啥,就吃吃紅豆,聊聊天。”
比如支付係統,賬戶上有100塊錢,在北方買了點卡類的虛擬產品。如果不能及時同步,就發現南方的賬戶上這100塊錢還沒花掉,就又可以買點卡了。
這年頭,網友們利用技術性漏洞,沒少鑽空子去免費買q幣。
國內還好。
按照程秉皓的說法,紫微星自己搞的這套同步係統,3個月內保準上線。國家雖然很大,但到底是內陸,光纖都連著呢,技術難度不高。
可facebook搞得就不一樣了,人家玩的是全球性的同步,這就是世界級難度了。
東半球和西半球,打個電話都有延遲呢,要想讓數據庫及時同步,神知道他們要采用什麽辦法。
然後,唐斌辰又簡單說了一下其他的7個技術項目。
流量控製係統,就是當高峰期時,網站的服務器和寬帶壓力太大,就會造成數據傳輸擁堵和數據丟失。為了避免這種情況,就要對一些電腦性能好、帶寬使用量的用戶進行流量控製,把資源分給更多的用戶。
嗯,對朋友網有用。
分布式緩存係統,就是讓係統並行地進行緩存讀取,提高效率,節約頁麵響應時間。背後還要根據任務量的不同選擇不同的緩存形式,以節省空間並進一步提高讀取速度。
這個項目技術難度非常大。
嗯,對朋友網很有用。
容災係統,不管是多好的服務器,不管是多先進的運轉係統,服務器故障一定會發生。如果有少量的服務器無法相應,則有其他的服務器承擔。當有大量的服務器無法響應,所有的負荷就要有少量服務器承擔,這會非常危險,會導致數據的丟失和損壞。所以就要設定一個闋值,當闋值達到時,頁麵就不再無法響應,以保證數據中心的穩定。
說起這個,周不器就很熟悉了。
“雙十一”和春運搶購火車票,都經常會出現這種情況。校內網在賣爆款產品時,也會出現這種情況。
周不器笑道:“這個係統咱們也有,是從網宿那邊模仿來的,兩年前就有了。”
王星道:“不奇怪,facebook才剛剛開始全球化布局,他們的服務器運營壓力不大,以前應該沒遇到過這種情況。”
唐斌辰接著說:“調度與監控係統,就是指當服務器並行的處理一些任務時,不同的服務器要相互監控。一旦一方發生問題,另一方就要馬上響應,把未完成的任務接過去。”
周不器頭都大了,“並行?分布式算法?”
“對。”
“facebook也在搞分布式算法研究?”
“這是大趨勢啊。”唐斌辰知道周老板的意思,笑著安撫他,“不過大家做分布式,更多的是數據處理。”
周不器問道:“你知道進程嗎?facebook在這方麵的進展怎樣?”
“分布式算法嗎?”
“對。”
“正因為這個算法有進展了,他們才能開展緩存係統和監控係統的研究。”
周不器的臉色就不太好看了,“他們做了多長時間?”
唐斌辰道:“三四個月吧。”
“靠!”
周不器有點崩潰,深深感受到了技術上的差距。
紫微星在做分布式數據庫,首先要做分布式算法,都做了快一年了,馬上第二波1個億的研發經費又要砸進去了。
可離應用還差的遠呢。
再看人家facebook,做了三四個月,就能把分布式算法簡單的應用起來了。
重生一迴,周不器可以在一些應用層上進行更早的布局,可是技術層麵……真是有點乏力,早布局也改變不了技術落後的現實條件。他一個外行,想參與都沒法參與。
慶幸的是國家發展非常快,越來越多的矽穀華人在迴國路上,帶迴來了先進的思維和科技理念。國內科技的進步速度,要遠遠超過矽穀。
王星見周老板有些頹唐,就笑著寬慰說:“分布式數據庫是大項目,而分布式緩存係統和調度監控係統都是小項目,不一樣。我們的分布式算法要精益求精,facebook隻需要簡單的應用就可以。單從分布式算法來看,等5月份咱們也能上線應用了,功能會更強大,而且穩定。”
周不器眼前一亮,“5月份就能應用了?”
王星道:“對,其實已經做出來了,楊振坤那邊在抓細節……主要是投資太大了,這是研發中心那邊的產品第一次亮相,他想做到萬無一失,時間上難免會耽擱。”
周不器追問:“等咱們的分布式算法做出來了,也可以做緩存係統和監控係統的研發工作了吧?”
唐斌辰和王星對視了一眼,給出了比較含糊的迴答,“差不多吧。”
研發中心那邊到底什麽情況,誰都不清楚。
隻知道錢沒少花,啥結果都沒看見。
楊振坤大權獨攬,許亮傑過去考察了兩次,吵了兩架都沒什麽用。周大老板對楊博士非常信任。
接下來的幾個係統項目,都是改進頁麵響應時間的,通過技術手段,讓用戶能夠更快的打開網頁。同時,要降低web端的cpu使用,減少服務器需求等等。
而這裏麵,在數據庫的使用理念中,就產生了一個巨大的分歧。
眾所周知,在信息爆發的年代,傳統的數據庫模式已經跟不上了,必須要加以改進。紫微星選擇了分布式服務器下的分布式數據庫,facebook采用的分布式服務器架構下的多個單行數據庫。
就是要為網站中的信息流、照片、日誌、分享鏈接、轉帖等內容,都分別搞一個數據庫。用多數據庫的形式來應對爆炸性的數據,提高讀取效率。
為了方便周大老板理解,唐斌辰專門舉了一個例子——
如果把數據庫比作一個盆,數據比作豆子,有紅豆、綠豆、黑豆、白豆四種,信息的讀取就是撿豆子。
傳統的單機數據庫模式,是一個人撿豆子,效率很低。
紫微星的模式,就是把所有豆子放在一個盆裏,四個人一起撿豆子,效率提升。
facebook的模式,是把所有豆子分成四個盆,一個紅豆盆,一個綠豆盆,一個黑豆盆和一個白豆盆。然後四個人分別對應四個盆,效率大幅提升。
周不器眉頭緊鎖,“聽起來,他們的好像更高端?”
唐斌辰笑道:“就是一個類比,咱們是混撿,他們是單撿。混撿安全性更高,死了一個人,剩下三個人不影響,很穩定。他們是單撿,是單機結構的數據庫,所以取紅豆的人隻能取紅豆,取綠豆的人隻能取綠豆。假如取紅豆的那個人死了,紅豆就取不出來了。”
周不器道:“所以他們的模式穩定性不如咱們?就需要在硬件條件方麵有更大的支出?”
唐斌辰道:“對,從效率來看,他們更高。從成本和穩定性來看,是我們的優勢。”
周不器明白過來了。
怪不得矽穀那些巨頭們都不搞分布式數據庫,而是在積極的尋求著對oracle、mysql這些傳統服務器的技術性升級。
人家背靠全球市場,富得流油,不在乎這點小錢。穩定性可以用金錢來彌補,無非是多搞一些服務器,多搞一些備用數據庫。
讓一個人撿紅豆,人死了,紅豆就取不出來,係統就崩潰了。可搞100個人專門撿紅豆,死了一批,紅豆一樣能取出來。
王星道:“矽穀不搞分布式數據庫,是因為市場格局已經定了,oracle這類的數據庫巨頭已經稱霸很多年了。工程師們從讀書時,學習的就是使用oracle這類的數據庫,後期讓他們改,也改不動了。隻能通過技術手段,研發豆子的分發係統和多種針對不同豆子的存儲係統,來完成對傳統數據庫的使用升級。”
周不器聽懂了他的意思,“所以說咱們要從頭開始培養?給大學拿錢,成立專門的實驗室,開設針對咱們‘飛天’數據庫的課程和研究課題?”
王星點了點頭,“很有必要。”
唐斌辰道:“分布式一定是未來的趨勢,並行結構相比於單行結構,有巨大的優勢。還是剛才那個例子,隻要咱們也搞數據的分發和不同的存儲係統,然後也把豆子分在不同的盆裏,抓取的時候效率不就高了?又有混檢功能,穩定性也強。”
周不器頭都大了。
滿腦子的紅豆。
不過他腦海中還是出現了一個新的看問題角度。
國內的數據庫市場一片空白,未必不是好事。矽穀那邊有巨頭把持,想創新、革新非常困難,有點僵化了。
國內是白紙,恰好能夠潑墨揮毫。
這就像是馬斯克做火箭,跟全世界各國的航天局都擰著來,然後……就通過成本控製,取得了驚人的成績。
星鏈計劃要是以傳統的火箭發射模式,那造價海了去了,根本玩不起。馬斯克的火箭卻能迴收重複利用,給這個計劃有了可行性的思路。
技術重要,成本控製也很重要!
未來的數據,隻會越來越多,越來越多。
背靠著高端昂貴服務器的傳統單行數據庫肯定不行。
一定要有更廉價的替代品才行。
這就是分布式數據庫的機會。
打發走了唐斌辰和王星,周不器有氣無力的往大班椅上一靠,感覺腦細胞都快消耗光了,讓他一個外行參與這麽複雜的技術討論,真是太難為人了。
還用什麽紅豆、綠豆、白豆的舉例子,亂七八糟!
“雅嫻!”
“來了。”
“你打電話問問楊蜜在哪,我一會兒去她那邊。”
“幹嘛呀?”
“沒啥,就吃吃紅豆,聊聊天。”