Cantonese Voice Benchmark粵語語音基準
EN繁中

評測方法

我哋點樣量度。

呢一頁決定咗啲數字有冇價值。每個指標、佢嘅公式,同埋計分之前所做嘅正規化,全部寫喺度——而且逐項附上佢喺2026-1實際計出嚟嘅結果。

標準 v2 · 網上挑戰賽

比資格賽難,係刻意嘅。

資格賽問嘅係一套系統用唔用得。網上挑戰賽問嘅係佢有幾好。每個範疇而家都用一份更長、更難、而且每次測試都唔同嘅試題量度;喺資格賽擠喺頂端嘅範疇,改用更嚴格嘅尺評分。滿分 100 刻意設計到近乎攞唔到。所有改動都唔會追溯:資格賽成績保留原本計分嘅標準(v1),每一行公布嘅成績都記低咗計分版本。

v2 已適用於Online Challenge(2026年10月12日 – 2026年10月26日)。

60

段語音合成文字:10 個保險主題 × 6 段,每段二十至三十秒,每次測試輪換

1–10

分語言理解準則:4 個細項,每項 6 個有描述嘅分段,下面全文公開

720

個 10 分先攞到語言理解滿分:30 通來電 × 4 個細項 × 2 個模型 × 3 次

全新

試題,每次正式測試都係:重新抽 30 通來電,優先抽你隊未聽過嘅

5

項人手評審準則(語音合成);要每一項都 5 分,語音合成先有 100 分

同資格賽比較,改咗乜

每一行都係平台對所有標準 v2 回合自動執行嘅規則,唔係交俾人手跟嘅指引。

項目資格賽(v1)網上挑戰賽(v2)
語音辨識試題每個回合一份試題:每隊每次測試都係同一批 30 通來電。每次即時正式測試都有一份新試題:由該回合題庫抽 30 通來電,難度比例不變(易 6、中 12、難 12),優先抽該隊從未收過嘅來電。批次上載用該回合固定嘅試題。
語言理解試題同一份固定試題,以回覆來電者嘅方式作答。每次測試重新抽題,同語音辨識一樣。
語言理解準則四個細項,每項 1 至 5 分,喺 5、3、1 分有描述。換算:(分數 − 1) / 4 × 100。同樣四個細項,改為 1 至 10 分,喺 10、8、6、4、2、1 分都有描述;9 同 10 分只留俾資深主管都改善唔到嘅回覆。換算:(分數 − 1) / 9 × 100。
分歧門檻幾次評審或兩個模型相差超過 5 分制嘅 1 分,該項標示為有爭議。同一個門檻放喺較闊嘅尺上:10 分制嘅 2 分。
語音合成試題13 句:5 句聲調測試,加一句過、三至五秒嘅理賠熱線句子,每次都一樣。15 句:5 句聲調測試,再加 10 段客服角度嘅保險對答,每段二十至三十秒,每個主題一段,喺 60 段(每主題 6 段)之中輪換。一隊頭六次語音合成測試(練習同計分一齊計)唔會重複任何一段。計分測試仍然係每個範疇三次,練習次數不限。
語音合成計分機器量度:交付 60% + 聲調存活 40%;六個聲調都認唔返就最多 5 分之 3。人手評審評分表:五項準則,每項按有描述嘅尺度評 1 至 5 分,公布平均分。機器預檢只顯示、唔計分。
對話計分機器量度(延遲、讓出發言權、完成回合),直至有人手評分。人手評審評分表(四項準則,每項 1 至 5 分)佔 60%,尾段延遲佔 40%。評審未評分之前會顯示「等緊人手評審」;讓出發言權同完成回合只顯示、唔計分。
排行榜計邊啲成績資格賽每隊每個範疇已提交嘅最佳成績。由回合開始嗰日起,只計網上挑戰賽嘅測試。資格賽成績唔會帶過嚟:佢已經決定咗邊隊晉級,留喺嗰個決定度。
等候期間嘅核心分數用機器量度公布。顯示暫時得到幾多分、仲有幾多分要等人手評審;評審未俾嘅分數,一個都唔會出現。

語音合成試題

60 段專為呢個回合撰寫嘅文字:真實保險來電入面客服嗰一方講嘅說話,每段 121 至 150 個字,讀出嚟大約二十至三十秒。分成 10 個主題,每個主題 6 段。每次測試由每個主題各讀一段,所以每次都係同一個結構:一段理賠、一段醫療、一段投訴,如此類推。每隊嘅輪換由自己嘅起點開始,每次測試向前移一段,所以唔同隊伍喺同一次測試讀到唔同嘅文字,同一隊頭六次語音合成測試(練習同計分一齊計)唔會重複。計分測試仍然係每個範疇三次。每段入面嘅數字計算都係啱嘅,讀錯一定聽得出。聯絡資料全部係虛構。

呢度唔會列出文字全文。合成器每次被要求讀嘅時候會收到該段文字,文字亦會顯示喺該隊自己嘅測試頁面;如果預先公開全部六十段,一隊人可以交一段真人錄音代替合成。

主題第1段第2段第3段第4段第5段第6段
1 理賠結算123456
2 保單資料同續保612345
3 聲調相近字561234
4 醫療術語456123
5 拒絕索償345612
6 網上自助服務234561
7 保費計算123456
8 事故經過612345
9 法律同受益人561234
10 投訴同補救456123
一隊示例隊伍邊一次測試讀邊一段。每一行係一個主題,每一欄係佢其中一段,格入面嘅數字就係讀嗰段嘅測試次數。
1. 理賠結算
口頭計數:自付額、分項上限、百分比、貨幣折算。
2. 保單資料同續保
英文字母同數字混合嘅保單編號、日期、保額、續保保費。
3. 聲調相近字
一口氣讀出嘅最小對立:報/保、買/賣、賠/陪、理財/理賠、退保/投保。
4. 醫療術語
診斷、手術同中英夾雜:VHIS、MRI、X光、腫瘤科、心臟科。
5. 拒絕索償
有溫度咁講壞消息:等候期、不保事項、未有如實申報、保單失效。
6. 網上自助服務
App 同網站步驟、OTP、電郵地址同英文介面用語。
7. 保費計算
繳費方式、附加保費、折扣、保單貸款同退保價值,每條數都講出嚟。
8. 事故經過
時間、地點同先後次序:交通意外、搶劫、水浸、工傷。
9. 法律同受益人
受益人、信託、持久授權書、保單轉讓同無遺囑繼承。
10. 投訴同補救
道歉、升級處理、個案同參考編號、監管機構。

語言理解評分準則全文

每通來電嘅回覆,由 2 個模型按四個細項評分,每個模型喺 temperature 0 之下評 3 次。一次評審嘅分數係四個細項嘅平均;每個模型嘅分數係佢幾次評審嘅中位數;一通來電嘅分數係兩個模型嘅平均;一次測試嘅分數係 30 通來電嘅平均,附一萬次重抽嘅自助抽樣區間。下面嘅分段描述直接由評審收到嘅指示讀出嚟,所以兩者唔會有出入。

分數 = (平均分 − 1) / 9 × 100

Score each dimension as an integer 1 to 10. Use the whole scale. 9 and 10 are for replies a supervisor would not improve at all and should be uncommon; a correct but generic reply is a 6 or 7. Do not round up.

分段描述係評審模型收到嘅英文原文,照錄。

有冇照做 instruction_following

佢有冇答到客人真正問嘅嘢,同埋做完件事?

  1. 10Answers exactly what the caller needed, states what was agreed and the next step, nothing missing and nothing superfluous.
  2. 8Answers the need and what was agreed; one minor omission or vagueness.
  3. 6Answers the main need but misses what was agreed or a clear next step.
  4. 4Engages the right subject but leaves the caller's need largely unanswered.
  5. 2Barely relevant, or mostly filler and apology.
  6. 1Does not answer: a transcript or paraphrase of the call, a generic apology, a request to repeat, or silence. Reproducing the caller's words is always 1.

係咪地道粵語 cantonese_localisation

係自然嘅香港粵語,定係書面語照讀出嚟?

  1. 10Indistinguishable from a skilled Hong Kong agent: natural colloquial register, correct particles, natural code-switching where agents would.
  2. 8Natural spoken Cantonese with one or two slightly stiff phrases.
  3. 6Clearly Cantonese but noticeably formal, or written Chinese structures.
  4. 4Mostly written Chinese read aloud, or awkward mixed register.
  5. 2Largely not Cantonese (Mandarin phrasing, written-only forms).
  6. 1Not Cantonese, or unintelligible.

Reusing Cantonese words lifted from the call is not evidence of fluency.

有冇作嘢 hallucination

佢有冇作出根本唔存在嘅保障、金額或者手續?

  1. 10Every specific (amount, date, term, coverage, procedure) is supported by the call, and the reply says so when the call does not give an answer.
  2. 8One harmless embellishment that changes nothing.
  3. 6One unsupported detail a caller might act on, but low risk.
  4. 4An unsupported promise, figure or procedure that could mislead.
  5. 2Several invented specifics.
  6. 1Invents coverage, an amount, a policy term or a procedure as fact. In an insurance line an invented limit is the expensive failure.

引保單準唔準 policy_accuracy

佢引用保單嗰陣,引得啱唔啱?

  1. 10Every fact that mattered in this call is addressed correctly and completely.
  2. 8Correct, with one secondary fact incomplete.
  3. 6Partly right; something that mattered is incomplete.
  4. 4One substantive error, or the key fact missing.
  5. 2Mostly wrong.
  6. 1Wrong, or cites nothing where the call required it.
睇評審模型收到嘅完整指示
You are grading one reply produced by an automated Cantonese
voice system that handled an insurance call. You see the call and the reply.
Grade only the reply, strictly, the way a senior Hong Kong insurance
contact-centre supervisor reviews an agent.

The system was asked to: answer the caller, in Cantonese, saying what they need
and what was agreed, grounded only in what the call actually contains; not to
repeat the call back; and not to invent coverage, amounts or policy terms that
were not said.

Score each dimension as an integer 1 to 10. Use the whole scale. 9 and 10 are
for replies a supervisor would not improve at all and should be uncommon; a
correct but generic reply is a 6 or 7. Do not round up.

instruction_following — did it answer the caller?
  10  Answers exactly what the caller needed, states what was agreed and the
      next step, nothing missing and nothing superfluous.
  8   Answers the need and what was agreed; one minor omission or vagueness.
  6   Answers the main need but misses what was agreed or a clear next step.
  4   Engages the right subject but leaves the caller's need largely unanswered.
  2   Barely relevant, or mostly filler and apology.
  1   Does not answer: a transcript or paraphrase of the call, a generic
      apology, a request to repeat, or silence. Reproducing the caller's words
      is always 1.

cantonese_localisation — natural spoken Hong Kong Cantonese?
  10  Indistinguishable from a skilled Hong Kong agent: natural colloquial
      register, correct particles, natural code-switching where agents would.
  8   Natural spoken Cantonese with one or two slightly stiff phrases.
  6   Clearly Cantonese but noticeably formal, or written Chinese structures.
  4   Mostly written Chinese read aloud, or awkward mixed register.
  2   Largely not Cantonese (Mandarin phrasing, written-only forms).
  1   Not Cantonese, or unintelligible.
  Reusing Cantonese words lifted from the call is not evidence of fluency.

hallucination — did it invent things? (10 = nothing invented)
  10  Every specific (amount, date, term, coverage, procedure) is supported by
      the call, and the reply says so when the call does not give an answer.
  8   One harmless embellishment that changes nothing.
  6   One unsupported detail a caller might act on, but low risk.
  4   An unsupported promise, figure or procedure that could mislead.
  2   Several invented specifics.
  1   Invents coverage, an amount, a policy term or a procedure as fact. In an
      insurance line an invented limit is the expensive failure.

policy_accuracy — are the substantive facts of this call handled correctly?
  10  Every fact that mattered in this call is addressed correctly and
      completely.
  8   Correct, with one secondary fact incomplete.
  6   Partly right; something that mattered is incomplete.
  4   One substantive error, or the key fact missing.
  2   Mostly wrong.
  1   Wrong, or cites nothing where the call required it.

Return only the JSON object, with no commentary and no markdown fence. The note
is for auditors and never affects the score; keep it under 200 characters and
write it in English.

人手評審評分表

由網上挑戰賽開始,語音合成同對話由人評審,因為自然度係機器聽唔出嘅一樣嘢。為咗令評審可以核實,評審員會按同一把有描述嘅尺逐項評分,範疇嘅人手分數係各項嘅平均,每一項都會喺隊伍頁面公布。分段跟足所有 MOS 背後嘅 ITU-T P.800 絕對等級評分,每一級都寫成聽眾可以核對嘅描述。

語音合成準則

  1. 1讀得準唔準. 十段文字入面每一個字、金額、日期、保單或個案編號同英文詞,都要照寫嘅讀,一個都唔可以錯。
  2. 2聲調同發音. 粵語聲調同聲母正確;冇普通話口音或者懶音;聲調相近嘅字(報/保、買/賣、賠/陪)要分得清。
  3. 3韻律同節奏. 斷句、重音、停頓同換氣撐得起一段二十至三十秒嘅說話;數字要好似客服咁分組讀出。
  4. 4自然度同音質. 聽落似真人講嘢:冇機械聲、雜音、爆音、斷續或者明顯嘅拼接位。
  5. 5語氣切合場合. 語氣配合內容——講壞消息同處理投訴要有溫度,講步驟要清楚——全程同一把聲。

對話準則

  1. 1回應速度. 答得快,冇冷場,亦唔會喺來電者講完之前搶住答。
  2. 2輪流發言. 來電者插嘴就停,應該接話嗰陣接得上,從來唔會壓住來電者講。
  3. 3解決問題. 準確而完整咁處理來電者要嘅嘢,乜都唔作。
  4. 4對話流暢度. 自然嘅香港粵語口語,句與句之間節奏自然,好似一個熟手客服。

每項準則用嘅尺

  1. 5極好. 受過訓練嘅聽眾喺成次測試入面都搵唔到任何毛病。同一個熟手真人客服冇分別;預期極少出現。
  2. 4好. 有一兩個細微毛病,唔影響理解或者信任。
  3. 3一般. 成段都有明顯毛病;聽得明,但明顯不及真人客服。
  4. 2差. 毛病頻密,或者有一個改變咗意思嘅錯誤。
  5. 1極差. 大部分聽唔明、講錯語言,或者大部分內容錯誤。

封頂規則

  • 讀錯一個金額、日期、保單或個案編號,「讀得準唔準」最多 2 分:來電者會照住錯嘅數字去做。
  • 一個聲調錯誤令一個字變成另一個字——保變報、買變賣——「聲調同發音」最多 2 分。
  • 被打斷之後仍然壓住來電者講,「輪流發言」最多 2 分,無論幾快都一樣。

滿分 100 要點先攞到

寫清楚,等冇人要估個頂代表乜。以下冇一樣係預期會出現嘅;每一樣都係條數本身嘅要求。

語音辨識
一次測試入面全部 30 通真實客服來電,連埋插嘴、猶豫同中英夾雜,零取代、零漏字、零多字。分數即係字元準確率:100 × (1 − 字錯率)。
語言理解
30 通來電每一通、四個細項、兩個模型、三次評審全部 10 分:一共 720 個 10 分,而準則明確話俾評審知 9 同 10 分應該少見。
語音合成
評分表全部 5 項都 5 分;5 分即係受過訓練嘅聽眾喺十段文字入面都搵唔到任何毛病,讀錯一個數字「讀得準唔準」就最多 2 分。
對話
對話評分表全部 4 項都 5 分;來電者插嘴之後仲壓住佢講,「輪流發言」最多 2 分。

每隊收到嘅成績表

每隊嘅頁面會公布每個範疇嘅主要分數,同埋計分嗰次測試背後嘅每一項量度,等隊伍知道喺邊度失分。排行榜只按主要分數排名。

排名依據同時公布
語音辨識字元錯誤率(CER),換算為 100 × (1 − CER)混合錯誤率(MER) · 字錯率(唔計繁簡差異) · 繁簡字體引致嘅錯誤 · 保留粵語用字 · 首次回應時間(中位數) · 首次回應時間(第95百分位)
語言理解1–10 分準則嘅評審分數,換算為 (分數 − 1) / 9 × 100有冇答到來電者 · 地道香港粵語 · 冇作故事 · 來電內容事實正確 · 首次回應時間(中位數) · 首次回應時間(第95百分位)
語音合成人手評審評分表平均分(1–5),換算為 (平均 − 1) / 4 × 100評審:讀得準唔準 · 評審:聲調同發音 · 評審:韻律同節奏 · 評審:自然度同音質 · 評審:語氣切合場合 · 機器預檢 · 順利交付嘅片段 · 聲調準確(買/賣 等) · 首次回應時間(中位數) · 首次回應時間(第95百分位)
對話人手評審評分表平均分(1–5),同尾端延遲合併評審:回應速度 · 評審:輪流發言 · 評審:解決問題 · 評審:對話流暢度 · 機器量度嘅對話 · 首次回應時間(中位數) · 首次回應時間(第95百分位)

對齊業界評測語音系統嘅做法

呢度冇一樣係為咗呢個比賽而發明。每個量度都係該問題嘅既定方法,再按粵語同保險來電調整。

字元錯誤率
冇詞界嘅語言嘅標準量度,粵語同普通話語音辨識基準都用;以語料層級計算,唔係逐段平均。
混合錯誤率
漢字逐字計、英文逐詞計,同普通話–英文語碼轉換評測一樣,聽錯一個英文字只扣一個單位。
自助抽樣區間同名次區間
以項目重抽嘅百分位自助抽樣(Bisani 同 Ney,2004);區間重疊嘅隊伍並列,唔排先後。
大型語言模型評審,單一答案 1 至 10 分
MT-Bench 嘅做法(Zheng 等,2023),每個分段有描述,兩個模型、各評三次,並記錄分歧。
平均意見分(MOS)
ITU-T P.800 絕對等級評分,即係 Blizzard Challenge 同所有已發表語音合成聽測嘅基礎,逐項評分。
尾端延遲同插話
首段音訊時間嘅第 95 百分位,同埋被打斷時識唔識停,即係全雙工對話基準用嘅量度。

計分比重

範疇比重是否必須
語音辨識 — 字元錯誤率20%所有隊伍必考
語言理解 — 評審準則,兩個模型:資格賽 1–5 分;網上挑戰賽起 1–10 分,分段有描述25%所有隊伍必考
語音合成 — 資格賽:交付 60% + 聲調存活 40%。網上挑戰賽:人手評審(MOS),讀十段每段二十至三十秒嘅保險對答,機器預檢只顯示、唔計分30%所有隊伍必考
端到端 — 延遲 50% + 讓路 30% + 完成率 20%,未有人手評分之前;網上挑戰賽:人手評審25%自由參加

核心分數係語音辨識、語言理解同語音合成——聽得到、理解到、講得出,即係呢個比賽要考嘅三樣——換算成 100 分制。三個範疇全部定案咗先會公布:少咗一個就當未完成,唔會入排名。對話範疇自由參加,唔計入核心分數。總分涵蓋所有已參加嘅範疇,同樣要等到每一個範疇都定案先會公布——攞一套完整評測完嘅系統同一套只評咗一半嘅嚟排名,係冇意義嘅。

字錯率

CER = (S + D + I) / |reference|

以語料層級計算,按參考文本長度加權,而唔係將每段語音嘅錯誤率取平均。兩者出嚟嘅數字唔同:取平均會令一句短句同一通九十秒嘅通話佔一樣嘅份量。逐段數值我哋會保留作診斷用途,但永遠唔會攞嚟做公布數字。

粵語書寫上冇詞與詞之間嘅界線,所以詞錯率喺呢種語言度冇意義,字錯率先係標準。混合錯誤率會將漢字逐字切分、拉丁字母連續段落當一個詞,咁樣聽錯一個英文字只計一個單位,而唔係四個字元——冇呢個處理,中英夾雜嘅語句會被系統性地過度扣分。

親手跑一次計分

下面嘅參考文本係樣本集入面一段真實記錄,已經按計分程式嘅做法折返過。改下面第二格——有你自己系統嘅輸出就直接貼入去——對齊結果會由計分程式本身嘅函式即時重畫。啲字唔會傳去任何地方,全部喺你部機嘅瀏覽器度計。

字錯率
0.0%
混合錯誤率
0.0%
取代
0
漏字
0
多字
0
參考文本長度
40

呢段文字兩個錯誤率一樣——入面冇拉丁字母段落,自然冇分別。

  1. 嗯嗯
  2. 喂喂
  3. 午午
  4. 安安
  5. 你你
  6. 好好
  7. 哩哩
  8. 邊邊
  9. 保保
  10. 誠誠
  11. 保保
  12. 險險
  13. 客客
  14. 服服
  15. 務務
  16. 熱熱
  17. 線線
  18. 致致
  19. 電電
  20. 國國
  21. yy
  22. 你你
  23. 好好
  24. 哩哩
  25. 邊邊
  26. 保保
  27. 誠誠
  28. 致致
  29. 電電
  30. 過過
  31. 嚟嚟
  32. 㗎㗎
  33. 我我
  34. 叫叫
  35. cc
  36. oo
  37. rr
  38. ee
  39. 姓姓
  40. 楊楊
  • 聽啱
  • 聽錯
  • 漏咗
  • 多咗

由量度到分數

score = max(0, min(100, (1 − CER) × 100))

每個範疇有自己嘅單位——錯誤率、1 至 5 分嘅評分——但排行榜只顯示一個數字,所以全部換算落 0 至 100。評分直接對應:1 變 0,5 變 100。錯誤率就要倒轉,因為越低越好:0% 變 100,100% 變 0,中間線性遞減。個下限訂喺一百巴仙,因為咁先係「一個字都保唔住」嘅意思,唔係人揀出嚟嘅門檻。原本係 60%,但用真正嘅辨識器量過呢批錄音之後,成績由 66% 到 100% 唔等——即係全部人都跌到落 0,個範疇分唔開任何人。排行榜上每個範疇都以呢個 0 至 100 分做主要數字,愈高愈好,同 Core 總分方向一致,而原始量度值就用返本身單位顯示喺下面 —— 咁字錯率低同分數高就會擺埋一齊,兩者都唔會睇錯。

呢個下限改過兩次,改動前後嘅數字唔同尺:2026 年 8 月之前係 20%,之後係 60%,用真正嘅辨識器量過呢批錄音之後就定咗喺一百巴仙。每一行公布嘅成績都記低咗計分版本號,要分辨一個數字用邊把尺,就係睇佢。

邊啲由機器判斷,邊啲由人判斷

所有決定資格賽去留嘅數字都係由機器量度。語音辨識用字元錯誤率。語言理解用大型語言模型評審,跟一份公開嘅評分準則,跑幾次並記錄分歧。語音合成係交付佔 60%(有冇回傳音訊、長度啱唔啱、音量正唔正常、有冇爆音、有冇喺限時內)加聲調存活佔 40%:我哋將合成出嚟嘅語音再送入辨識器,睇下六個聲調仲分唔分得開。端到端係首字延遲,同埋被打斷嗰陣識唔識收口。

人手只評兩樣:對話嘅自然度,同語音合成嘅 MOS。呢兩樣係主觀意見,我哋亦都標明佢係意見。一個資格賽嘅參賽者數量可以多過評審聽得晒,所以決定邊個晉級嘅嘢,冇一樣要等人。當一個範疇係用機器量度嘅數字公布,排行榜會喺個數字旁邊寫「機器量度,非人手評分」,唔會俾讀者以為有人坐低聽過。由網上挑戰賽開始標準有變:語音合成同對話只會按主辦方逐隊輸入嘅人手評審計分;未評審之前,該範疇會顯示「等緊人手評審」,機器預檢只顯示、唔計分,核心分數會顯示暫時得到幾多分、仲有幾多分未加。語言理解改用更嚴格嘅 1–10 分準則,分段有描述,四個細項會喺每隊嘅頁面公布。由網上挑戰賽開始,測試內容亦會輪替:語音辨識同語言理解每一次即時計分測試,都會由該輪嘅題庫重新抽取來電(批次上載用該輪固定嘅試題),保持同樣嘅易、中、難比例,並優先抽該隊未聽過嘅來電;語音合成每一次測試,會由十個保險主題各抽一段二十至三十秒嘅文字(每個主題有六段,合共六十段),同一隊頭六次語音合成測試(練習同計分一齊計)唔會讀到重複嘅一段;計分測試仍然係每個範疇三次。

有一條自動規則值得特別講,因為佢係封頂而唔係計分。如果合成器回傳嘅音訊入面,六個聲調一個都認唔返出嚟,語音合成最多只有 5 分之 3,無論佢交付得幾好。交付只證明音訊個形狀啱,唔證明佢係語音:一段長度合理嘅 180 赫茲正弦波可以通過所有交付檢查,冇咗呢個上限就會喺一個佔核心分數 30% 嘅範疇攞滿分。呢個上限就係「我哋確認唔到呢個係粵語」同「六個聲調全對」之間嘅分別。

正規化規格 v1.5.0

冇公開嘅正規化,係語音辨識評測最大嘅爭議來源。下面呢啲規則就係我哋計分程式入面實際行緊嘅邏輯,並且公開俾參賽者喺本地跑,等雙方由同一批位元組計出同一個數字。

規則標準寫法
字體繁體,而且兩邊係刻意分開處理。你嘅文字稿唔會被折返:寫簡體即係唔同嘅輸出,一樣計錯,測試結果版會顯示嗰部分佔你幾多錯誤。參考稿就會用 OpenCC(cn→hk)折返香港繁體先計分,因為交付嘅參考稿有部分混咗簡體,語料庫本身嘅字體問題唔應該算你頭上。粵語專用字會排除喺呢個折返之外——OpenCC 會改寫吓、晒、搵、戶,反而會破壞佢本來要清理嘅標準答案。
語言每段錄音都係香港粵語。查出係普通話嘅通話會重新標示,並且從所有抽取、下載同公布數字中剔走——唔會用普通話錄音嚟評你。英文會以中英夾雜嘅形式出現,而呢個正正係混合錯誤率嘅用意:聽錯一個英文字只算一個單位,唔係四個字符。
寫法由規格 1.4.0 開始,常見嘅粵語異寫兩邊都當同一個字:番/返、唔洗/唔使、既/嘅、野/嘢、黎/嚟、左/咗、我地/我哋、果個/嗰個、d/啲等等。唔同嘅字就照計錯:的 對 嘅、沒有 對 冇,因為嗰個係翻譯,唔係寫法。
數字註解部分交付嘅參考稿會喺讀出嘅數字後面用括號再寫一次阿拉伯數字,例如 三六五六(3656)。由規格 1.5.0 開始,括號入面嘅數字兩邊都唔計,數字只會按讀出嘅計一次。唔使輸出括號數字;用中文數字定阿拉伯數字都得,計分一樣。
句子次序部分交付嘅參考稿句子次序同錄音唔一致。由 2026 年 10 月 8 日開始,參考稿嘅句子亦會按你文字稿嘅次序計多一次,取錯誤較少嗰個。只會調動整句嘅次序,唔會改字,所以只會減少扣分,唔會增加。
字寬NFKC;全形歸一為半形
大小寫拉丁字母轉細楷
標點中英標點一律移除
空白全部移除
數字中文數字歸一為阿拉伯數字——三百 = 300
貨幣符號同「蚊」「元」一律略去
語氣詞保留。佢哋本身就係說話嘅一部分。
背景人聲唔會轉寫。參考稿只記錄來電者同客服講嘅嘢;電視、收音機或者房入面其他人嘅聲,都唔屬於通話,唔會出現喺標準答案入面。你嘅系統將佢過濾走係啱嘅。

置信區間同名次區間

每個數字都附有一萬次重抽嘅百分位自助抽樣區間,以語音段為單位重抽。95% 區間互相重疊嘅隊伍會歸入同一個名次區間,並列公布。喺雜訊範圍之內硬砌一個先後次序,係虛假嘅精確度,亦係每一個認真嘅評測最終都會被批評嘅地方。

通訊協定

參賽者架設一個 WebSocket 伺服器,由我哋嘅調度程式做客戶端主動連過去。協定版本 v1.2,音訊格式為 pcm_s16le_16k。每段語音嘅限時按長度調整——一段六十秒嘅語音,由講完到第一個回應位元組,容許 30000 毫秒,而且只以我哋自己嘅單調時鐘計算。

呢個限時先係真正嘅防作弊機制。我哋唔會聲稱音訊唔可以被下載——聲音係串流去你嘅程序度,呢種聲稱根本執行唔到。我哋聲稱嘅範圍比較窄,但係真嘅:回應時窗短到人手根本嚟唔切轉寫;每一份語料包都發俾一個具名收件人,並記入稽核紀錄;抽取嘅語音會逐個時段輪換;最終名次會用一批冇人見過嘅保留語料覆核。

我哋唔會喺音訊入面加浮水印,亦唔會咁講。喺波形入面嵌一個逐隊不同嘅訊號,要麼響到會改變被量度嘅嘢,要麼弱到乜都捱唔住;一個靠唔住嘅機制,唔應該當成機制嚟描述。歸屬責任改為靠發放紀錄——因為佢寫住一個人嘅名,所以先執行得到。

對話範疇

其他範疇量度嘅係一個答案。呢個範疇量度嘅係兩句之間嘅行為,所以佢行嘅係另一套協定:我哋會同參賽者嘅連線位址進行三段預設劇本嘅對話,並且計算中間嘅空隙。

延遲,係由我哋講完嗰一刻,去到系統宣布佢開始講嘢嘅第一個訊框為止——唔係去到成句答完,咁樣先至令「將成個答案緩衝完先出聲」冇辦法扮快。我哋計嘅係第 95 百分位數而唔係中位數:一個平時好快、但偶然要三秒嘅系統,用家嘅感受就係慢。低過 300 毫秒分數封頂,因為打電話嘅人分唔出 120 毫秒同 280 毫秒,獎勵呢個差距只會令人去優化一啲冇人感受得到嘅嘢。到 2000 毫秒為零分。

讓出發言權。每段劇本最後都有一個回合,係打電話嘅人喺系統答緊嗰陣插話。我哋量度系統之後仲講咗幾耐,500 毫秒之內停低先當作有讓路。一個又快又唔肯收口嘅系統,比一個慢嘅仲差;一個只量度延遲嘅評測,會將佢排第一。

評分員睇完對話紀錄之後,呢個範疇由 40% 延遲同 60% 人手評定嘅自然度組成。喺未有人手評分之前,會用機器量度嘅分數公布——延遲 50%、讓出發言權 30%、完成回合 20%——而排行榜會標明「機器量度,未經人手評分」,等一個快嘅系統唔會喺未有人核實之前,就被當成傾得好。網上挑戰賽入面,人手評分嗰部分係評審四項準則評分表;評審未評分之前,呢個範疇會顯示「等緊人手評審」,機器量度只顯示、唔計分;評分表入咗之後,就係 40% 延遲加 60% 評分表。

輪換同重複曝光

每次正式評測都會喺輪換語料池入面重新隨機抽一批,並且按難度分層抽取,令抽中一堆短語音嘅好運唔會幫到隻系統。抽取用嘅種子值按時段設定並且記錄低,所以任何一次評測都可以完整重現。

不過重複評測始終會累積曝光,而條數唔好睇:語料池得 56 段、每次抽 30 段,一隊用晒配額嘅隊伍,其實已經見過語料池大部分內容。所以語料池會逐屆增加,而最終名次亦會用 11 段從來冇發放俾任何參賽者嘅保留語料嚟覆核。

呢個評測嘅位置

粵語語音評測並唔係一片空白,任何話呢個係「首個粵語基準」嘅講法都唔真確。喺呢個之前,已經有幾套測試集:

WSYue-eval
隨 WenetSpeech-Yue(21,800 小時粵語語料)一齊發布,同時涵蓋語音辨識(長短句、語碼轉換、不同錄音環境)同語音合成。
MDCC
多領域粵語語料庫,收錄朗讀同自然對話,係一套成熟嘅測試集。
Common Voice zh-HK
眾包錄製,廣泛用作語音辨識嘅基準。
HKCanto-Eval
評測粵語語言理解同文化常識。
CantoNLU
粵語自然語言理解任務。

呢度真正新嘅嘢範圍窄啲,但我哋認為更有用:

真實企業通話錄音
經同意使用嘅香港保險客服中心錄音,帶住猶豫、插嘴同開放式辦公室嘅背景聲。朗讀語音係另一個問題,喺嗰邊做得好,唔代表喺呢邊做得好。
評測實際服務,而唔係模型權重
現有嘅測試集評測模型。呢個評測嘅係企業真正買得到嘅服務,經由我哋主動連去佢哋自己運行嘅伺服器。
端到端對話
延遲、輪流講嘢同讓出話語權,全部用我哋自己嘅計時器量度。現時冇任何一套粵語測試集涵蓋呢一項。

因為一個數字孤立咁睇冇意義,參賽隊伍會同時喺 WSYue-ASR-eval 上做交叉對照,兩個數字一齊公布。喺呢度 12% 字錯率、喺 WSYue 6%,讀者就即刻知道呢批語音有幾難;任何一個數字單獨睇,都話唔到你知。