測試報告
數(shù)字資產合約交易平臺系統(tǒng)性能測試報告
1.數(shù)字資產合約交易蓬勃發(fā)展
合約交易無疑是整個數(shù)字資產市場近期最火熱的主題,不僅傳統(tǒng)金融機構對此青睞有加,CME在2017年便推出了比特幣合約,而且背靠洲際交易所的Bakkt也在今年9月正式開盤交易。此外,也有越來越多的數(shù)字資產交易平臺開始布局合約業(yè)務,CoinGecko的統(tǒng)計顯示,提供數(shù)字資產合約交易的平臺已有25家,而在7月份還只有6家,目前的合約市場日交易總量已達180億美元。
從未平倉合約量來看,BitMEX超過10億美元,遙遙領先,其次是OKEx,接近8億美元;從交易量來看,OKEx、Huobi、Bitmex均突破30億,其中OKEx接近40億美元,綜合來看頭部幾家斷層明顯。
數(shù)據(jù)來源:CoinGecko
當前市場上,既有BitMEX、Deribit這樣專注合約的平臺,也有像Binance這樣從現(xiàn)貨交易起家繼而進入合約市場的玩家。已經有非常多關于產品設計層面的討論,而對于交易平臺而言,交易系統(tǒng)才是一切的根本,系統(tǒng)性能是決定用戶交易體驗的基礎。隨著越來越多的交易者,包括更多的專業(yè)交易員進入數(shù)字資產的市場,無論交易頻率還是交易策略的復雜性均有較大幅度提升,對于平臺而言都到了比拼硬實力的階段。接下來我們將會通過真實的測試,來觀察一些具有代表性的平臺,其系統(tǒng)性能究竟如何?
2.關于交易平臺的系統(tǒng)性能測試
對于系統(tǒng)而言,高并發(fā)和低延時是兩個重要的性能,由于并發(fā)量的情況難以通過外部渠道測量,本次測試的重點是系統(tǒng)的交易延時情況。
鏈塔研究團隊選擇了五家具有代表性的合約交易平臺:BitMEX、Deribit、OKEx、HuobiDM、Binance Futures,其中BitMEX是老牌的合約交易,一直保持最高的市場份額;Deribit是2016年便開始專注于衍生品的平臺,有交割合約、永續(xù)合約和期權產品;OKEx具有豐富的產品種類,其合約產品涵蓋9個幣種,交易量和交易深度都很有優(yōu)勢;而Huobi與Binance則是兩家現(xiàn)貨交易活躍的平臺,分別在去年底今年初推出了自己的合約服務。
為避免外部因素的干擾,我們將在統(tǒng)一的環(huán)境中對五個平臺進行測試:
注:①在選擇服務器所在地時,首先排除了交易平臺服務器所在地,如香港(OKEx)、日本(Binance)等,其次排除了美國等因服務限制而無法進行測試的國家和地區(qū)。最終選擇了新加坡。新加坡是全球金融中心,有良好的網絡基礎設施,對于數(shù)字資產交易有著相對寬松的法律環(huán)境,五家平臺對該地區(qū)都沒有服務限制。
?、谖覀冇谜鎸嵉馁Y金賬戶進行掛單,由于研究目的只是探測系統(tǒng)的反應延時,并不需要真實成交,所以掛單價會與實時成交價有一定的距離。
在前期API搭建過程中,OKEx與Binance Futures的官方文檔內容全面且清晰,利用SDK搭建API過程十分便捷,但由于Binance Futures官方未開放下單和撤單的推送權限,導致最終只拿到1個測試指標(to ACK);Huobi DM在GITHUB上SDK文件過多,且未有官方說明,無法明確哪個是官方SDK,在官方群進行詢問后解決;Deribit提供的官方SDK缺失websocket,導致測試中通過自行封裝websocket后才完成API搭建,消耗了大量時間;BitMEX因官方提供的SDK包存在問題未能成功對接,與官方通過郵件溝通也并未獲得有效解答,后續(xù)針對官方SDK進行了代碼修改才成功對接,搭建過程耗時最久。
3. 測試結果的分析
經過連續(xù)24h的掛單測試,鏈塔研究團隊獲得了5家平臺的數(shù)據(jù),根據(jù)我們的掛單策略,理論上每個指標應該獲得4320個數(shù)據(jù),但在實際測試中,會出現(xiàn)系統(tǒng)監(jiān)聽不到的個別情況,而導致一定的數(shù)據(jù)缺失。此外,Bitmex對高頻低成交的掛單情況有一定的限制,我們在測試中收到了平臺的提醒郵件,而其他平臺沒有出現(xiàn)這種情況。最終我們的樣本情況如下:
3.1 To ACK
To ACK衡量的是用戶下單請求到系統(tǒng)響應的時間延遲,也就是訂單到達柜臺的時間。從樣本分布來看,五家平臺的To ACK指標都呈現(xiàn)出尖峰長尾的形態(tài),但分布差異也很顯著。
從頻率密度最大的樣本取值范圍來看,BitMEX集中在170-200毫秒,Deribit在160-200毫秒,OKEx是50-100毫秒,Huobi在150-200毫秒,Binance在80-100毫秒。
從極端值分布來看,BitMEX和Deribit的尾部相對較厚,從200-500毫秒均有大量的樣本數(shù)據(jù),OKEx、Huobi以及Binance的尾部極端數(shù)據(jù)比較稀薄,但Binance在400-450之間有顯著的增加。
從平均值與中位數(shù)來看,OKEx
從極端情況來看,OKEx的優(yōu)勢更加顯著,95%的下單請求會在79毫秒內得到相應,而其他幾家平臺均只有不到5%的訂單延遲在79毫秒以內,尤其BitMEX與Deribit的極端值顯著大于其他幾家,極端情況出現(xiàn)的概率也更高。幣安相比于火幣,雖然平均而言延遲更低,但幣安的方差更大,系統(tǒng)延時的上下浮動的范圍更大。
3.2 To Live
To Live衡量的用戶下單到系統(tǒng)把用戶的單掛到交易深度(OrderBook)上面的時間,幾家平臺的性能差異顯著。
BitMEX呈現(xiàn)出了雙峰的形態(tài),分別集中在180毫秒左右和250毫秒左右,整個尾部也是呈現(xiàn)了厚尾的情況,從300-1000毫秒都有比較均勻的樣本數(shù)據(jù)被觀測到。Deribit的樣本大部分集中在170-200毫秒這個非常小的區(qū)間里,在200-500毫秒也連續(xù)有觀測值,500毫秒以上有斷斷續(xù)續(xù)的觀測值。OKEx的樣本集中在70-150毫秒,尾部呈現(xiàn)急速衰減,在500毫秒之后只有極個別的觀測結果。Huobi的樣本集中在300-400毫秒,之后也呈現(xiàn)緩慢衰減的情況。
平均來看,OKEx的延遲最低,從用戶發(fā)出下單請求到訂單被掛在交易深度上,平均只需要100毫秒左右,而Huobi與BitMEX幾乎為OKEx的4倍。
從極端情況來看,OKEx上95%的訂單會在142毫秒之內被掛在order book上,優(yōu)于其他3個平臺最好的5%的情況。BitMEX與火幣的平均水平都較差,但火幣的浮動范圍更小,99%的訂單在1000毫秒以內會掛到交易深度上,而BitMEX接近20%的訂單需要超過1000毫秒。
Deribit測得的To Live數(shù)據(jù)比To ACK要低,有悖于常識。我們分析,可能與其系統(tǒng)設計有關,訂單未到達交易深度,便發(fā)出了返回數(shù)據(jù)。
3.3 To Cancel
To Cancel指標是用于衡量發(fā)出cancel request 到訂單websocket cancelled的時間延遲。從樣本分布來看,BitMEX的大部分樣本集中在180-200毫秒的區(qū)間里,而在200-1000毫秒連續(xù)有較為平均的觀測值。Deribit集中在170-180毫秒的狹窄區(qū)間里,尾部樣本的占比低于BitMEX。OKEx整體集中在100-200毫秒之間,在200-400毫秒內有部分觀測值,而只有極個別的樣本落在大于400毫秒的區(qū)間里?;饚懦尸F(xiàn)出多峰的形態(tài),隨后逐漸衰減。
在撤單指令的執(zhí)行上面,OKEx依然是優(yōu)于其他平臺的,95%以上的訂單都會在發(fā)出撤單請求之后200毫秒以內被撤銷,BitMEX大概有50%的訂單能達到這個水平,而Huobi最好的情況也需要242毫秒。
OKEx出現(xiàn)了一個極大值,125572毫秒,我們檢查了數(shù)據(jù),發(fā)現(xiàn)這個極端取值只有1個樣本,而次于其的最大值為2888。由于沒有確定這個極端情況的原因,我們沒有將其剔除。若剔除這個極端值,okextocancel的平均值將會是148毫秒。
4 總結
我們經過這次測試獲得五家平臺的樣本數(shù)據(jù),對系統(tǒng)延時性能有更加直觀的展示。
注:數(shù)值越低,延遲越低,表明系統(tǒng)性能越好。
BitMEX與OKEx整體交易量水平相當,但在系統(tǒng)延時問題上,無論掛單還是撤單,OKEx的系統(tǒng)反應都顯著的優(yōu)于BitMEX;Deribit整體的掛單與撤單都屬于中等水平;Huobi的掛單延遲處于中等水平,而撤單延遲最高;Binance由于權限問題只能獲得一個指標to ACK,雖然樣本數(shù)據(jù)較好,但還不具有充分的說服力。
我們通過這次測試,也對各家交易所的API易用性也有了真實的體驗,OKEx在搭建過程中比較友好,而其他的平臺在接入API過程中都或多或少遇到了一些問題。數(shù)字資產合約交易的市場會吸引越來越多的專業(yè)交易員,對系統(tǒng)性能及API的需求也會更高,這個市場的競爭也才只拉開序幕,希望每個平臺都能持續(xù)提升自己的系統(tǒng),為用戶帶來更好的交易體驗。