微盟癱瘓:一個(gè)程序員引發(fā)的20億血案
原創(chuàng) 東半球第二正經(jīng)の 牛頓頓頓 昨天
2月23日,大批商家發(fā)現(xiàn)微盟服務(wù)器崩掉了,一時(shí)間,相關(guān)商城、小程序都無法登陸。
問題突發(fā)之后微盟官方一開始還甩鍋,遲遲沒有修復(fù),這讓300W+使用微盟的商家停擺兩天,損失慘重。
01
一直到了25號(hào),微盟才露面,暗戳戳的發(fā)了一個(gè)“自愿公告”:
仔細(xì)研究一下這些公告,我們能發(fā)現(xiàn)很多“反常”的地方:
首先這個(gè)程序員的行為就很反常。
根據(jù)公告的信息,這個(gè)DBA是用自己的賬號(hào),在晚上七點(diǎn),通過個(gè)人VPN進(jìn)跳板機(jī)刪的庫(kù),事發(fā)之后很快被定位,第二天就被抓起來了。
用自己的賬號(hào),沒用多重跳板偽裝,而且你看這個(gè)作案時(shí)間,對(duì)于整天加班熬夜的程序員們來說,下午七點(diǎn)等于剛上班啊,大家都在干活,你去刪庫(kù)砸鍋,這跟把身份證貼臉上去搶銀行有啥區(qū)別?
同歸于盡啊,還是咋滴?
然后就是撲朔迷離的刪庫(kù)動(dòng)機(jī),一開始微盟發(fā)公告說是:因個(gè)人精神、生活等原因。
后來27號(hào),微盟的老板孫濤勇又解釋是因?yàn)檫@個(gè)程序員深陷網(wǎng)貸,在家里悶了30多天,然后就把數(shù)據(jù)庫(kù)刪了。
這個(gè)就有點(diǎn)欺負(fù)大家的邏輯了,程序員借網(wǎng)貸他刪你數(shù)據(jù)庫(kù)干什么呢?
給平淡的生活找點(diǎn)刺兒?jiǎn)幔繘]有因果關(guān)系啊。
如果是缺錢的話,老哥這么高的權(quán)限,在后臺(tái)隨便搞點(diǎn)什么數(shù)據(jù)拿下來賣一賣,投入產(chǎn)出不比刪庫(kù)高嗎?為什么去做這種損人不利己的事情呢?
難道刪庫(kù)只是為了找刺激?
再一個(gè)就是恢復(fù)的時(shí)間,23號(hào)出問題,預(yù)計(jì)到28號(hào)才“可能解決”,這意味著什么?
懂點(diǎn)行的都知道,該類問題只要備份機(jī)制還奏效,有完整備份,直接回滾就可以,最多一兩個(gè)小時(shí)就能完事兒,如果需要這么久,往往意味著破壞的非常嚴(yán)重。
整個(gè)事件梳理下來看一看:
這個(gè)老哥用自己的賬號(hào),明目張膽刪庫(kù),而且一出手就是下狠手,擊穿所有的應(yīng)急預(yù)案和備份,直接把系統(tǒng)刪崩,回滾都沒得滾,擺明了是想要玉石俱焚。
一時(shí)間行業(yè)里也是各種猜測(cè),流傳著不少八卦,目前靴子還沒有落地,大家還是謹(jǐn)慎吃瓜比較好,靜觀事情發(fā)展:
一個(gè)員工,獨(dú)立操作,就能把一家上市公司的數(shù)據(jù)破壞到這種程度,甚至可以連備份一塊搞掉,權(quán)限隔離怎么做的?無論他是一個(gè)什么角色,都意味著微盟在后端管理的極度混亂。
這等于是把公司,還有幾百萬客戶的命都交到了這少數(shù)幾個(gè)人手上。
我堅(jiān)持一個(gè)原則:人,永遠(yuǎn)是商業(yè)活動(dòng)中最大的變數(shù)
不管什么時(shí)候,都不能把命讓別人攥在手里,我見過太多人吃過這方面的虧了。
02
我早些年調(diào)查過技術(shù)服務(wù)這個(gè)行業(yè),這里面有些技術(shù)外包公司,路子非常野,“騷操作”特別多。
很多人根本無法想象,一個(gè)不穩(wěn)定的程序員會(huì)給一個(gè)公司帶來這么大的沖擊。少數(shù)幾個(gè)人,只要掌握了關(guān)鍵環(huán)節(jié)和關(guān)鍵技術(shù),就能擁有巨大的破壞力和談判籌碼。
當(dāng)時(shí)我調(diào)查的是一些中小規(guī)模的外包服務(wù)公司,當(dāng)時(shí)他們賴以生存的整個(gè)商業(yè)生態(tài)是非常惡劣的。
一般來說項(xiàng)目合作初期,甲方會(huì)先付一部分定金,然后乙方就開始根據(jù)甲方需求,投入人力物力推項(xiàng)目。
到了項(xiàng)目中后期,往往需要自己掏腰包墊資,才能完成項(xiàng)目。
如果順利的話,最后成功拿到尾款,還能賺點(diǎn)辛苦費(fèi),但是很多時(shí)候,事情不會(huì)這么簡(jiǎn)單,東西是做出來了,服務(wù)也到位了,爸爸們往往拿了東西,把嘴一抹,立馬就變臉拖賬期,乙方還得繼續(xù)當(dāng)舔狗,想盡一切辦法要尾款。
尤其是廣告公司,他們一般體量比較小,話語權(quán)又低。
財(cái)大氣粗的甲方爸爸們也不是直接說不給,就是賬期特別長(zhǎng),這兩年我見過的被賬期拖死的廣告公司,已經(jīng)有幾十家了。
技術(shù)外包類公司也一樣。
但是,技術(shù)外包和廣告公司扮演的角色還不一樣,對(duì)于很多互聯(lián)網(wǎng)公司來說,數(shù)據(jù)是核心資產(chǎn),系統(tǒng)是運(yùn)行的命脈,技術(shù)扮演的角色非常關(guān)鍵。
根據(jù)牛頓第十二定律,我們可以得知:破壞永遠(yuǎn)比建設(shè)更容易。
基于此,一些路子比較野的技術(shù)外包公司就玩起了“黑吃黑”。
這些公司會(huì)在開發(fā)初期的時(shí)候,直接就埋好后門,哪怕是項(xiàng)目交付了,正式投入使用了,要確保自己手里仍舊掌握著主動(dòng)權(quán)。
爸爸們要是不按照合同,按時(shí)打款,拖延賬期什么的,那就等著系統(tǒng)三天兩頭出問題吧。
很多地方底層的商業(yè)生態(tài)就是這樣,一手交錢一手交貨最好。
這種周期比較長(zhǎng)的項(xiàng)目,先給錢的往往拿不到貨,先給貨的就拿不到錢,這話,很多做服務(wù)類乙方的一定感同身受,他們總是扮演一個(gè)被“拿捏”的角色。
如果說為了要尾款,留后門是出于無奈,那么路子更野的那些人,留定時(shí)BUG,邏輯炸彈,偷偷下載倒賣數(shù)據(jù)給競(jìng)爭(zhēng)對(duì)手,那就是赤裸裸的壞了。
一魚八吃,在他們那里,從來就不是夢(mèng)。
03
一般來說,外包公司把項(xiàng)目做好之后,進(jìn)入交付使用階段,還會(huì)簽一個(gè)長(zhǎng)期維護(hù)的合同,費(fèi)用通常在幾十萬。
常規(guī)的維護(hù)一年也能有個(gè)幾萬塊,主要是服務(wù)器運(yùn)維、域名、常見的bug修復(fù),應(yīng)急事件處理等等。
一般來說,甲方開發(fā)系統(tǒng),后期的維護(hù)會(huì)直接給負(fù)責(zé)開發(fā)的公司。
因?yàn)檫@個(gè)錢是easy money,能拴住客戶,榨到更多剩余價(jià)值,于是為了拿到這個(gè)長(zhǎng)期維護(hù)的合同,很多外包公司就會(huì)故意把程序?qū)懙梅浅;逎,或者是隱藏一部分關(guān)鍵內(nèi)容,放一些只有自己內(nèi)部知道的BUG。
這樣,來確保只有自己能吃到這塊肥肉。
因此自己人去做維護(hù)沒有一點(diǎn)問題,但只要甲方敢換人,一定三天兩頭出問題。
程序?qū)懙睦@過來,繞過去,對(duì)方刪也不敢刪,改也不敢改,很難定位到真正的問題所在。
這個(gè)時(shí)候,甲方就被吃定了。
主要是因?yàn)?ldquo;沉沒成本”,開發(fā)系統(tǒng)的大頭都花了,客戶基本就已經(jīng)被牢牢綁定了,根本沒法再找別人插手這個(gè)東西。
常規(guī)被吃點(diǎn)運(yùn)維費(fèi)用還能接受,但是,騷中自有騷上人。
04
有些外包公司,簡(jiǎn)直是天天在違法的邊緣瘋狂試探,他們不光想要吃維護(hù)費(fèi),還會(huì)搞“釣魚修復(fù)”。
頭幾年一般比較老實(shí),過個(gè)三四年,甲方就會(huì)發(fā)現(xiàn),系統(tǒng)開始頻繁出問題了,外包公司就會(huì)借著電腦系統(tǒng)老化,兼容性問題,數(shù)據(jù)庫(kù)需要優(yōu)化,數(shù)據(jù)規(guī)模大了需要擴(kuò)容等理由。
然后假模假樣搞優(yōu)化和修復(fù),趁機(jī)再大賺一筆?瓷先ッ畲蟀雮(gè)月,其實(shí)可能只是注釋掉自己當(dāng)年留下的一個(gè)定時(shí)Bug而已。
有自己技術(shù)團(tuán)隊(duì)的大公司,可能還好點(diǎn),但是完全技術(shù)外包的中小公司,錢該花的都花了,這個(gè)時(shí)候真是一點(diǎn)辦法沒有.自己沒有懂行的人,根本察覺不到,察覺到了也沒法驗(yàn)證,就算驗(yàn)證了,打官司也很難贏。
而外包公司這樣一通操作下來,一年又能多掙個(gè)幾萬塊。
行業(yè)里面有很多這樣的外包公司,干個(gè)3年5年,手里攢著幾十個(gè)客戶,后面光吃維護(hù),一年純掙個(gè)幾十萬不成問題,抱著聚寶盆美滋滋的吃紅利,這是一些外包公司的生財(cái)之道。
05
這個(gè)操作其實(shí)是相當(dāng)普遍的,也不僅僅存在小公司,關(guān)注行業(yè)消息的可能知道,前幾年西門子也遇到過類似的事情。
不要以為西門子就是做冰箱的,家電業(yè)務(wù)只是西門子很小的一個(gè)板塊,真正牛逼的地方是軟件、信息系統(tǒng)和行業(yè)解決方案。
西門子之前有一個(gè)管理訂單用的電子表格需求,其實(shí)也不復(fù)雜,就是用自定義腳本更新庫(kù)存和訂單的信息,之前是外包給一個(gè)合同工設(shè)計(jì)的。
完成之后五六年的時(shí)間一直運(yùn)行挺正常的,后來表格開始頻繁崩潰,然后西門子只能重新找他做維護(hù),陸陸續(xù)續(xù)一共花了4萬多刀,直到后面事發(fā)突然,緊急修復(fù),有其他工程師要到了管理密碼,才發(fā)現(xiàn)程序里面藏了一個(gè)邏輯炸彈,會(huì)在特定的時(shí)間或者是特殊情況下誘導(dǎo)系統(tǒng)崩潰,然后事情才敗露。
類似這樣的還有很多,02年的時(shí)候UBS PaineWebber 的一個(gè)員工,在公司1500臺(tái)聯(lián)網(wǎng)的電腦里面,偷偷摸摸把其中1000臺(tái)植入了邏輯炸彈。
然后想搞個(gè)大事故,整成負(fù)面新聞,配合起來做空公司的股價(jià)。
2002年3月4號(hào),他植入進(jìn)去的程序開始大規(guī)模刪文件,結(jié)果到最后公司也沒出什么大問題,股價(jià)穩(wěn)如老狗,最后事情敗露,自己賠進(jìn)去了2萬多刀,還判了8年多。
結(jié)合著這個(gè)騷操作,我們?cè)俜^來看一下微盟這段時(shí)間的股價(jià)變化:
歷史,還真是有趣呢。
這些技術(shù)起家,有資深技術(shù)團(tuán)隊(duì),監(jiān)察系統(tǒng)比較完善的大公司相對(duì)而言會(huì)好很多,如果是非技術(shù)公司找外包的話,對(duì)方大概能有1萬種辦法,讓你跪下來叫爸爸。
所以說很多時(shí)候千萬不能小看程序員。
禿禿的腦袋下,往往藏著大大的力量。
06
雖然大家都在強(qiáng)調(diào)規(guī)范管理,權(quán)限隔離,多人驗(yàn)證,但在實(shí)際操作當(dāng)中,對(duì)于中小公司互聯(lián)網(wǎng)公司來說是很難做到的。
因?yàn)橐?guī)范的流程意味著效率的降低,大多數(shù)公司,你真正參與進(jìn)去的時(shí)候就會(huì)發(fā)現(xiàn),很多制度表面上看起來嚴(yán)絲合縫,但是在關(guān)鍵位置的人,能找到1萬種方法把這個(gè)系統(tǒng)搞崩掉。
然而保證人不出問題是非常困難的,在我的經(jīng)驗(yàn)里,人是所有的商業(yè)要素當(dāng)中變數(shù)最大的一環(huán)。
所以我一直有這樣一個(gè)原則:真正的靠譜需要把別人的不靠譜也cover掉。
所以,我在解決問題的時(shí)候,尤其是比較重要的環(huán)節(jié),一定會(huì)留預(yù)備方案,只要一個(gè)關(guān)鍵環(huán)節(jié)沒有雙保險(xiǎn),我就會(huì)重新考慮整件事的可行性。
只要一個(gè)環(huán)節(jié)出問題就全部完蛋,這種事情我是絕對(duì)不能接受的。從墨菲定律定律來理解,一件事,只要有可能往壞處發(fā)展,那么只要時(shí)間夠長(zhǎng),這件事就一定會(huì)發(fā)生。
不要拿命來賭概率。
這些年很多規(guī)模不小的企業(yè)都選擇直接購(gòu)買SaaS的解決方案而不是自建系統(tǒng),但是微盟這個(gè)事情出現(xiàn)之后,我們是不是要重新考慮一下,SaaS要不要把數(shù)據(jù)管理的權(quán)限歸還給客戶?定期允許客戶自行備份相關(guān)的數(shù)據(jù)?或者提供更多災(zāi)備手段?
對(duì)于互聯(lián)網(wǎng)公司來說,數(shù)據(jù)是最核心的資產(chǎn),而且是不可再生的。
核心的商業(yè)資源一定要掌握主動(dòng)權(quán),把數(shù)據(jù)交出去,就是把生命線交出去。
公告中講到是28號(hào)修復(fù),截止到發(fā)稿,很多商家的小程序仍舊還是維護(hù)狀態(tài),對(duì)于使用服務(wù)的企業(yè)來說,停擺這么久,無疑是巨大的損失。
一些公司干了3年5年的數(shù)據(jù)、訂單、用戶信息都存在你這里,萬一出了問題,如果一點(diǎn)補(bǔ)救措施都沒有的話,那些企業(yè)怎么辦呢?損失誰來賠付呢?
不管是黑天鵝也好,灰犀牛也罷,程序員刪了庫(kù)也好,老板跑路了也好,機(jī)房失火了也好,誰的責(zé)任先不說,總要有一些補(bǔ)救的辦法吧?
商業(yè)合作信任是必要的,但一定也是有限度的,無限度的信任就是把腦袋交出去。
這次危機(jī),應(yīng)該是整個(gè)SaaS行業(yè)需要認(rèn)真考慮反省的一個(gè)時(shí)機(jī)。
關(guān)鍵詞:
作者:轉(zhuǎn)載收藏(非官方微信免費(fèi)提供積分入學(xué)問題咨詢。)
惠民大叔家長(zhǎng)社群開放報(bào)名:
1、一整年的升學(xué)政策同步更新,
2、一整年的插班生信息更新,
3、一整年升學(xué)政策的獨(dú)家解讀,
4、一整年幾千條的家長(zhǎng)咨詢回復(fù),
5、一整年無限次的升學(xué)咨詢,
6、以及不公開的信息分享等等。
繼續(xù)指導(dǎo)大家的做好升學(xué)規(guī)劃,帶領(lǐng)大家探索孩子上學(xué)的更多可能性,我們相信,這將是你最值得加入的一個(gè)社群!
了解更多關(guān)于上學(xué)報(bào)名的事,掃一掃二維碼:

- ·上一篇資訊:市民志愿者體驗(yàn)口罩預(yù)約系統(tǒng)后,更愛廈門了…
- ·下一篇資訊:2020年廈門同安區(qū)教育局公開招聘