導語

定時器（Timer）是一種在業(yè)務開發(fā)中常用的組件，主要用在執(zhí)行延時通知任務上。本文以筆者在微信工作中的實踐作為基礎，介紹如何使用平時部門最常用的組件快速實現(xiàn)一個業(yè)務常用的分布式定時器服務。同時介紹了過程中遇到問題的一些解決方案，希望能夠給類似場景提供一些解決思路。

1.什么是定時器

定時器（Timer）是一種在指定時間開始執(zhí)行某一任務的工具（也有周期性反復執(zhí)行某一任務的Timer，我們這里暫不討論）。它常常與延遲隊列這一概念關(guān)聯(lián)。那么在什么場景下我才需要使用定時器呢？

我們先看看以下業(yè)務場景：

【資料圖】

當訂單一直處于未支付狀態(tài)時，如何及時的關(guān)閉訂單，并退還庫存？如何定期檢查處于退款狀態(tài)的訂單是否已經(jīng)退款成功？新創(chuàng)建店鋪，N天內(nèi)沒有上傳商品，系統(tǒng)如何知道該信息，并發(fā)送激活短信？

為了解決以上問題，最簡單直接的辦法就是定時去掃表。每個業(yè)務都要維護一個自己的掃表邏輯。當業(yè)務越來越多時，我們會發(fā)現(xiàn)掃表部分的邏輯會非常類似。我們可以考慮將這部分邏輯從具體的業(yè)務邏輯里面抽出來，變成一個公共的部分。這個時候定時器就出場了。

2.定時器的本質(zhì)

一個定時器本質(zhì)上是這樣的一個數(shù)據(jù)結(jié)構(gòu)：deadline越近的任務擁有越高優(yōu)先級，提供以下幾種基本操作：

Add 新增任務Delete 刪除任務Run 執(zhí)行到期的任務/到期通知對應業(yè)務處理Update 更新到期時間 (可選)

Run通常有兩種工作方式：

1.輪詢

每隔一個時間片就去查找哪些任務已經(jīng)到期；

2.睡眠/喚醒

不停地查找deadline最近的任務，如到期則執(zhí)行；否則sleep直到其到期。

在sleep期間，如果有任務被Add或Delete，則deadline最近的任務有可能改變，線程會被喚醒并重新進行1的邏輯。

它的設計目標通常包含以下幾點要求：

支持任務提交（消息發(fā)布）、任務刪除、任務通知（消息訂閱）等基本功能。消息傳輸可靠性：消息進入延遲隊列以后，保證至少被消費一次（到期通知保證At-least-once ，追求Exactly-once）。數(shù)據(jù)可靠性：數(shù)據(jù)需要持久化，防止丟失。高可用性：至少得支持多實例部署。掛掉一個實例后，還有后備實例繼續(xù)提供服務，可橫向擴展。實時性：盡最大努力準時交付信息，允許存在一定的時間誤差，誤差范圍可控。

3.數(shù)據(jù)結(jié)構(gòu)

下面我們談談定時器的數(shù)據(jù)結(jié)構(gòu)。定時器通常與延遲隊列密不可分，延時隊列是什么？顧名思義它是一種帶有延遲功能的消息隊列。而延遲隊列底層通?？梢圆捎靡韵聨追N數(shù)據(jù)結(jié)構(gòu)之一來實現(xiàn)：

有序鏈表，這個最直觀，最好理解。堆，應用實例如Java JDK中的DelayQueue、Go內(nèi)置的定時器等。時間輪/多級時間輪，應用實例如Linux內(nèi)核定時器、Netty工具類HashedWheelTimer、Kafka內(nèi)部定時器等。

這里重點介紹一下時間輪（TimeWheel）。一個時間輪是一個環(huán)形結(jié)構(gòu)，可以想象成時鐘，分為很多格子，一個格子代表一段時間（越短Timer精度越高），并用一個List保存在該格子上到期的所有任務，同時一個指針隨著時間流逝一格一格轉(zhuǎn)動，并執(zhí)行對應List中所有到期的任務。任務通過取模決定應該放入哪個格子。示意圖如下所示：

如果任務的時間跨度很大，數(shù)量也多，傳統(tǒng)的單輪時間輪會造成任務的round很大，單個格子的任務List很長，并會維持很長一段時間。這時可將Wheel按時間粒度分級（與水表的思想很像），示意圖如下所示：

時間輪是一種比較優(yōu)雅的實現(xiàn)方式，且如果采用多級時間輪時其效率也是比較高的。

4.業(yè)界實現(xiàn)方案

業(yè)界對于定時器/延時隊列的工程實踐，則通?；谝韵聨追N方案來實現(xiàn):

基于Redis ZSet實現(xiàn)。采用某些自帶延時選項的隊列實現(xiàn)，如RabbitMQ、Beanstalkd、騰訊TDMQ等?；赥iming-Wheel時間輪算法實現(xiàn)。

其中《你真的知道怎么實現(xiàn)一個延遲隊列嗎？》一文詳細介紹了具體的實現(xiàn)方式，大家有興趣可以閱讀下。

5.方案詳述

介紹完定時器的背景知識，接下來看下我們系統(tǒng)的實現(xiàn)。我們先看一下需求背景。在我們組的實際業(yè)務中，有延遲任務的需求。一種典型的應用場景是：商戶發(fā)起扣費請求后，立刻為用戶下發(fā)扣費前通知，24小時后完成扣費；或者發(fā)券給用戶，3天后通知用戶券過期。基于這種需求背景，我們引出了定時器的開發(fā)需求。

我們首先調(diào)研了公司內(nèi)外的定時器實現(xiàn)，避免重復造輪子。調(diào)研了諸如例如公司外部的Quartz、有贊的延時隊列等，以及公司內(nèi)部的PCG tikker、TDMQ等，以及微信支付內(nèi)部包括營銷、代扣、支付分等團隊的一些實現(xiàn)方案。最后從可用性、可靠性、易用性、時效性以及代碼風格、運維代價等角度考慮，我們決定參考前人的一些優(yōu)秀的技術(shù)方案，并根據(jù)我們團隊的技術(shù)積累和組件情況，設計和實現(xiàn)一套定時器方案。

首先要確定定時器的存儲數(shù)據(jù)結(jié)構(gòu)。這里借鑒了時間輪的思想，基于微信團隊最常用的分布式存儲組件tablekv進行任務的持久化存儲。使用到tablekv的原因是它天然支持按uin分表，分表數(shù)可以做到千萬級別以上；其次其單表支持的記錄數(shù)非常高，讀寫效率也很高，還可以如mysql一樣按指定的條件篩選任務。

我們的目標是實現(xiàn)秒級時間戳精度，任務到期只需要單次通知業(yè)務方。故我們方案主要的思路是基于tablekv按任務執(zhí)行時間分表，也就是使用使用方指定的start_time（時間戳）作為分表的uin，也即是時間輪bucket。為什么不使用多輪時間輪？主要是因為首先kv支持單表上億數(shù)據(jù)，其二kv分表數(shù)可以非常多，例如我們使用1000萬個分表需要約115天的間隔才會被哈希分配到同一分表內(nèi)。故暫時不需要使用到多輪時間輪。

最終我們采用的分表數(shù)為1000w，uin=時間戳mod分表數(shù)。這里有一個注意點，通過mod分表數(shù)進行Key收斂, 是為了避免時間戳遞增導致的key無限擴張的問題。示例圖如下所示：

任務持久化存儲之后，我們采用一個Daemon程序執(zhí)行定期掃表任務，將到期的任務取出，最后將請求中帶的業(yè)務信息（biz_data添加任務時帶來，定時器透傳，不關(guān)注其具體內(nèi)容）回調(diào)通知業(yè)務方。這么一看流程還是很簡單的。

這里掃描的流程類似上面講的時間輪算法，會有一個指針（我們在這里不妨稱之為time_pointer）不斷向后移動，保證不會漏掉任何一個bucket的任務。這里我們采用的是commkv（可以簡單理解為可以按照key-value形式讀寫的kv，其底層仍是基于tablekv實現(xiàn)）存儲CurrentTime，也就是當前處理到的時間戳。每次輪詢時Daemon都會通過GetByKey接口獲取到CurrentTime，若大于當前機器時間，則sleep一段時間。若小于等于當前機器時間，則取出tablekv中以CurrentTime為uin的分表的TaskList進行處理。本次輪詢結(jié)束，則CurrentTime加一，再通過SetByKey設置回commkv。這個部分的工作模式我們可以簡稱為Scheduler。

Scheduler拿到任務后只需要回調(diào)通知業(yè)務方即可。如果采用同步通知業(yè)務方的方式，由于業(yè)務方的超時情況是不可控的，則一個任務的投遞時間可能會較長，導致拖慢這個時間點的任務整體通知進度。故而這里自然而然想到采用異步解耦的方式。即將任務發(fā)布至事件中心（微信內(nèi)部的高可用、高可靠的消息平臺，支持事務和非事務消息。由于一個任務的投遞到事件中心的時間僅為幾十ms，理論上任務量級不大時1s內(nèi)都可以處理完。此時time_pointer會緊跟當前時間戳。當大量任務需要處理時，需要采用多線程/多協(xié)程的方式并發(fā)處理，保證任務的準時交付。broker訂閱事件中心的消息，接受到消息后由broker回調(diào)通知業(yè)務方，故broker也充當了Notifier的角色。整體架構(gòu)圖如下所示：

主要模塊包括：

任務掃描Daemon：充當Scheduler的角色。掃描所有到期任務，投遞到事件中心，讓它通知broker，由broker的Notifier通知業(yè)務方。

定時器broker：集業(yè)務接入、Notifier兩者功能于一身。

任務狀態(tài)機圖如下所示，只有兩種狀態(tài)。當任務插入kv成功時即為pending狀態(tài)，當任務成功被取出并通知業(yè)務方成功時即為finish狀態(tài)。

6.實現(xiàn)細節(jié)與難點思考

下面就上面的方案涉及的幾個技術(shù)細節(jié)進行進一步的解釋。

6.1 業(yè)務隔離

通過biz_type定義不同的業(yè)務類型，不同的biz_type可以定義不同的優(yōu)先級（目前暫未支持），任務中保存biz_type信息。

業(yè)務信息（主鍵為biz_type）采用配置中心進行配置管理。方便新業(yè)務的接入和配置變更。業(yè)務接入時，需要在配置中添加諸如回調(diào)通知信息、回調(diào)重試次數(shù)限制、回調(diào)限頻等參數(shù)。業(yè)務隔離的目的在于使各個接入業(yè)務不受其他業(yè)務的影響，這一點由于目前我們的定時器用于支持本團隊內(nèi)部業(yè)務的特點，僅采取對不同的業(yè)務執(zhí)行不同業(yè)務限頻規(guī)則的策略，并未做太多優(yōu)化工作，就不詳述了。

6.2 時間輪空轉(zhuǎn)問題

由于1000w分表，肯定是大部分Bucket為空，時間輪的指針推進存在低效問題。聯(lián)想到在飯店排號時，常有店員來登記現(xiàn)場尚存的號碼，就是因為可以跳過一些號碼，加快叫號進度。同理，為了減少這種“空推進”，Kafka引入了DelayQueue，以bucket為單位入隊，每當有bucket到期，即queue.poll能拿到結(jié)果時，才進行時間的“推進”，減少了線程空轉(zhuǎn)的開銷。在這里類似的，我們也可以做一個優(yōu)化，維護一個有序隊列，保存表不為空的時間戳。大家可以思考一下如何實現(xiàn)，具體方案不再詳述。

6.3 限頻

由于定時器需要寫kv，還需要回調(diào)通知業(yè)務方。因此需要考慮對調(diào)用下游服務做限頻，保證下游服務不會雪崩。這是一個分布式限頻的問題。這里使用到的是微信支付的限頻組件。保證1.任務插入時不超過定時器管理員配置的頻率。 2.Notifier回調(diào)通知業(yè)務方時不超過業(yè)務方申請接入時配置的頻率。這里保證了1.kv和事件中心不會壓力太大。2.下游業(yè)務方不會受到超過其處理能力的請求量的沖擊。

6.4 分布式單實例容災

出于容災的目的，我們希望Daemon具有容災能力。換言之若有Daemon實例異常掛起或退出，其他機器的實例進程可以繼續(xù)執(zhí)行任務。但同時我們又希望同一時刻只需要一個實例運行，即“分布式單實例”。所以我們完整的需求可以歸納為“分布式單實例容災部署”。

實現(xiàn)這一目標，方式有很多種，例如：

接入“調(diào)度中心”，由調(diào)度中心來負責調(diào)度各個機器各節(jié)點在執(zhí)行任務前先分布式搶鎖，只有成功占用鎖資源的節(jié)點才能執(zhí)行任務各節(jié)點通過通信選出“master"來執(zhí)行邏輯，并通過心跳包持續(xù)通信，若“master”掉線，則備機取代成為master繼續(xù)執(zhí)行

主要從開發(fā)成本，運維支撐兩方面來考慮，選取了基于chubby分布式鎖的方案來實現(xiàn)單實例容災部署。這也使得我們真正執(zhí)行業(yè)務邏輯的機器具有隨機性。

6.5 可靠交付

這是一個核心問題，如何保證任務的通知滿足At-least-once的要求？

我們系統(tǒng)主要通過以下兩種方式來保證。

1.任務達到時即存入tablekv持久化存儲，任務成功通知業(yè)務方才設置過期（保留一段時間后刪除），故而所有任務都是落地數(shù)據(jù)，保證事后可以對賬。

2.引入可靠事件中心。在這里使用的是事件中心的普通消息，而非事務消息。實質(zhì)是當做一個高可用性的消息隊列。

這里引入消息隊列的意義在于：

將任務調(diào)度和任務執(zhí)行解耦（調(diào)度服務并不需要關(guān)心任務執(zhí)行結(jié)果）。異步化，保證調(diào)度服務的高效執(zhí)行，調(diào)度服務的執(zhí)行是以ms為單位。借助消息隊列實現(xiàn)任務的可靠消費。

事件中心相比普通的消息隊列還具有哪些優(yōu)點呢？

某些消息隊列可能丟消息（由其實現(xiàn)機制決定），而事件中心本身底層的分布式架構(gòu)，使得事件中心保證極高的可用性和可靠性，基本可以忽略丟消息的情況。事件中心支持按照配置的不同事件梯度進行多次重試（回調(diào)時間可以配置）。事件中心可以根據(jù)自定義業(yè)務ID進行消息去重。

事件中心的引入，基本保證了任務從Scheduler到Notifier的可靠性。

當然，最為完備的方式，是增加另一個異步Daemon作為兜底策略，掃出所有超時還未交付的任務進行投遞。這里思路較為簡單，不再詳述。

6.6 及時交付

若同一時間點有大量任務需要處理，如果采用串行發(fā)布至事件中心，則仍可能導致任務的回調(diào)通知不及時。這里自然而然想到采用多線程/多協(xié)程的方式并發(fā)處理。在本系統(tǒng)中，我們使用到了微信的BatchTask庫，BatchTask是這樣一個庫，它把每一個需要并發(fā)執(zhí)行的RPC任務封裝成一個函數(shù)閉包（返回值+執(zhí)行函數(shù)+參數(shù)），然后調(diào)度協(xié)程（BatchTask的底層協(xié)程為libco）去執(zhí)行這些任務。對于已有的同步函數(shù)，可以很方便的通過BatchTask的Api去實現(xiàn)任務的批量執(zhí)行。Daemon將發(fā)布事件的任務提交到BatchTask創(chuàng)建的線程池+協(xié)程池（線程和協(xié)程數(shù)可以根據(jù)參數(shù)調(diào)整）中，充分利用流水線和并發(fā)，可以將任務List處理的整體時延大大縮短，盡最大努力及時通知業(yè)務方。

6.7 任務過期刪除

從節(jié)省存儲資源考慮，任務通知業(yè)務成功后應當刪除。但刪除應該是一個異步的過程，因為還需要保留一段時間方便查詢?nèi)罩镜?。這種情況，通常的實現(xiàn)方式是啟動一個Daemon異步刪除已完成的任務。我們系統(tǒng)中，是利用了tablekv的自動刪除機制，回調(diào)通知業(yè)務完成后，除了設置任務狀態(tài)為完成外，同時通過tablekv的update接口設置kv的過期時間為1個月，避免了異步Daemon掃表刪除任務，簡化了實現(xiàn)。

6.8 其他風險項

1.由于time_pointer的CurrentTime初始值置為首次運行的Daemon實例的機器時間，而每次輪詢時都會對比當前Daemon實例的機器時間與CurrentTime的差別，故機器時間出錯可能會影響任務的正常調(diào)度。這里考慮到現(xiàn)網(wǎng)機器均有時間校正腳本在跑，這個問題基本可以忽略。

2.本系統(tǒng)的架構(gòu)對微信事件中心構(gòu)成了強依賴。定時器的可用性和可靠性依賴于事件中心的可用性和可靠性。雖然目前事件中心的可用性和可靠性都非常高，但如果要考慮所有異常情況，則事件中心的短暫不可用、或者對于訂閱者消息出隊的延遲和堆積，都是需要正視的問題。一個解決方案是使用MQ做雙鏈路的消息投遞，解決對于事件中心單點依賴的問題。