評測方法
呢一頁決定咗啲數字有冇價值。每個指標、佢嘅公式,同埋計分之前所做嘅正規化,全部寫喺度——而且逐項附上佢喺2026-1實際計出嚟嘅結果。
標準 v2 · 網上挑戰賽
資格賽問嘅係一套系統用唔用得。網上挑戰賽問嘅係佢有幾好。每個範疇而家都用一份更長、更難、而且每次測試都唔同嘅試題量度;喺資格賽擠喺頂端嘅範疇,改用更嚴格嘅尺評分。滿分 100 刻意設計到近乎攞唔到。所有改動都唔會追溯:資格賽成績保留原本計分嘅標準(v1),每一行公布嘅成績都記低咗計分版本。
v2 已適用於Online Challenge(2026年10月12日 – 2026年10月26日)。
60
段語音合成文字:10 個保險主題 × 6 段,每段二十至三十秒,每次測試輪換
1–10
分語言理解準則:4 個細項,每項 6 個有描述嘅分段,下面全文公開
720
個 10 分先攞到語言理解滿分:30 通來電 × 4 個細項 × 2 個模型 × 3 次
全新
試題,每次正式測試都係:重新抽 30 通來電,優先抽你隊未聽過嘅
5
項人手評審準則(語音合成);要每一項都 5 分,語音合成先有 100 分
每一行都係平台對所有標準 v2 回合自動執行嘅規則,唔係交俾人手跟嘅指引。
| 項目 | 資格賽(v1) | 網上挑戰賽(v2) |
|---|---|---|
| 語音辨識試題 | 每個回合一份試題:每隊每次測試都係同一批 30 通來電。 | 每次即時正式測試都有一份新試題:由該回合題庫抽 30 通來電,難度比例不變(易 6、中 12、難 12),優先抽該隊從未收過嘅來電。批次上載用該回合固定嘅試題。 |
| 語言理解試題 | 同一份固定試題,以回覆來電者嘅方式作答。 | 每次測試重新抽題,同語音辨識一樣。 |
| 語言理解準則 | 四個細項,每項 1 至 5 分,喺 5、3、1 分有描述。換算:(分數 − 1) / 4 × 100。 | 同樣四個細項,改為 1 至 10 分,喺 10、8、6、4、2、1 分都有描述;9 同 10 分只留俾資深主管都改善唔到嘅回覆。換算:(分數 − 1) / 9 × 100。 |
| 分歧門檻 | 幾次評審或兩個模型相差超過 5 分制嘅 1 分,該項標示為有爭議。 | 同一個門檻放喺較闊嘅尺上:10 分制嘅 2 分。 |
| 語音合成試題 | 13 句:5 句聲調測試,加一句過、三至五秒嘅理賠熱線句子,每次都一樣。 | 15 句:5 句聲調測試,再加 10 段客服角度嘅保險對答,每段二十至三十秒,每個主題一段,喺 60 段(每主題 6 段)之中輪換。一隊頭六次語音合成測試(練習同計分一齊計)唔會重複任何一段。計分測試仍然係每個範疇三次,練習次數不限。 |
| 語音合成計分 | 機器量度:交付 60% + 聲調存活 40%;六個聲調都認唔返就最多 5 分之 3。 | 人手評審評分表:五項準則,每項按有描述嘅尺度評 1 至 5 分,公布平均分。機器預檢只顯示、唔計分。 |
| 對話計分 | 機器量度(延遲、讓出發言權、完成回合),直至有人手評分。 | 人手評審評分表(四項準則,每項 1 至 5 分)佔 60%,尾段延遲佔 40%。評審未評分之前會顯示「等緊人手評審」;讓出發言權同完成回合只顯示、唔計分。 |
| 排行榜計邊啲成績 | 資格賽每隊每個範疇已提交嘅最佳成績。 | 由回合開始嗰日起,只計網上挑戰賽嘅測試。資格賽成績唔會帶過嚟:佢已經決定咗邊隊晉級,留喺嗰個決定度。 |
| 等候期間嘅核心分數 | 用機器量度公布。 | 顯示暫時得到幾多分、仲有幾多分要等人手評審;評審未俾嘅分數,一個都唔會出現。 |
60 段專為呢個回合撰寫嘅文字:真實保險來電入面客服嗰一方講嘅說話,每段 121 至 150 個字,讀出嚟大約二十至三十秒。分成 10 個主題,每個主題 6 段。每次測試由每個主題各讀一段,所以每次都係同一個結構:一段理賠、一段醫療、一段投訴,如此類推。每隊嘅輪換由自己嘅起點開始,每次測試向前移一段,所以唔同隊伍喺同一次測試讀到唔同嘅文字,同一隊頭六次語音合成測試(練習同計分一齊計)唔會重複。計分測試仍然係每個範疇三次。每段入面嘅數字計算都係啱嘅,讀錯一定聽得出。聯絡資料全部係虛構。
呢度唔會列出文字全文。合成器每次被要求讀嘅時候會收到該段文字,文字亦會顯示喺該隊自己嘅測試頁面;如果預先公開全部六十段,一隊人可以交一段真人錄音代替合成。
每通來電嘅回覆,由 2 個模型按四個細項評分,每個模型喺 temperature 0 之下評 3 次。一次評審嘅分數係四個細項嘅平均;每個模型嘅分數係佢幾次評審嘅中位數;一通來電嘅分數係兩個模型嘅平均;一次測試嘅分數係 30 通來電嘅平均,附一萬次重抽嘅自助抽樣區間。下面嘅分段描述直接由評審收到嘅指示讀出嚟,所以兩者唔會有出入。
分數 = (平均分 − 1) / 9 × 100
Score each dimension as an integer 1 to 10. Use the whole scale. 9 and 10 are for replies a supervisor would not improve at all and should be uncommon; a correct but generic reply is a 6 or 7. Do not round up.
分段描述係評審模型收到嘅英文原文,照錄。
有冇照做 instruction_following
佢有冇答到客人真正問嘅嘢,同埋做完件事?
係咪地道粵語 cantonese_localisation
係自然嘅香港粵語,定係書面語照讀出嚟?
Reusing Cantonese words lifted from the call is not evidence of fluency.
有冇作嘢 hallucination
佢有冇作出根本唔存在嘅保障、金額或者手續?
引保單準唔準 policy_accuracy
佢引用保單嗰陣,引得啱唔啱?
You are grading one reply produced by an automated Cantonese
voice system that handled an insurance call. You see the call and the reply.
Grade only the reply, strictly, the way a senior Hong Kong insurance
contact-centre supervisor reviews an agent.
The system was asked to: answer the caller, in Cantonese, saying what they need
and what was agreed, grounded only in what the call actually contains; not to
repeat the call back; and not to invent coverage, amounts or policy terms that
were not said.
Score each dimension as an integer 1 to 10. Use the whole scale. 9 and 10 are
for replies a supervisor would not improve at all and should be uncommon; a
correct but generic reply is a 6 or 7. Do not round up.
instruction_following — did it answer the caller?
10 Answers exactly what the caller needed, states what was agreed and the
next step, nothing missing and nothing superfluous.
8 Answers the need and what was agreed; one minor omission or vagueness.
6 Answers the main need but misses what was agreed or a clear next step.
4 Engages the right subject but leaves the caller's need largely unanswered.
2 Barely relevant, or mostly filler and apology.
1 Does not answer: a transcript or paraphrase of the call, a generic
apology, a request to repeat, or silence. Reproducing the caller's words
is always 1.
cantonese_localisation — natural spoken Hong Kong Cantonese?
10 Indistinguishable from a skilled Hong Kong agent: natural colloquial
register, correct particles, natural code-switching where agents would.
8 Natural spoken Cantonese with one or two slightly stiff phrases.
6 Clearly Cantonese but noticeably formal, or written Chinese structures.
4 Mostly written Chinese read aloud, or awkward mixed register.
2 Largely not Cantonese (Mandarin phrasing, written-only forms).
1 Not Cantonese, or unintelligible.
Reusing Cantonese words lifted from the call is not evidence of fluency.
hallucination — did it invent things? (10 = nothing invented)
10 Every specific (amount, date, term, coverage, procedure) is supported by
the call, and the reply says so when the call does not give an answer.
8 One harmless embellishment that changes nothing.
6 One unsupported detail a caller might act on, but low risk.
4 An unsupported promise, figure or procedure that could mislead.
2 Several invented specifics.
1 Invents coverage, an amount, a policy term or a procedure as fact. In an
insurance line an invented limit is the expensive failure.
policy_accuracy — are the substantive facts of this call handled correctly?
10 Every fact that mattered in this call is addressed correctly and
completely.
8 Correct, with one secondary fact incomplete.
6 Partly right; something that mattered is incomplete.
4 One substantive error, or the key fact missing.
2 Mostly wrong.
1 Wrong, or cites nothing where the call required it.
Return only the JSON object, with no commentary and no markdown fence. The note
is for auditors and never affects the score; keep it under 200 characters and
write it in English.由網上挑戰賽開始,語音合成同對話由人評審,因為自然度係機器聽唔出嘅一樣嘢。為咗令評審可以核實,評審員會按同一把有描述嘅尺逐項評分,範疇嘅人手分數係各項嘅平均,每一項都會喺隊伍頁面公布。分段跟足所有 MOS 背後嘅 ITU-T P.800 絕對等級評分,每一級都寫成聽眾可以核對嘅描述。
語音合成準則
對話準則
每項準則用嘅尺
封頂規則
寫清楚,等冇人要估個頂代表乜。以下冇一樣係預期會出現嘅;每一樣都係條數本身嘅要求。
每隊嘅頁面會公布每個範疇嘅主要分數,同埋計分嗰次測試背後嘅每一項量度,等隊伍知道喺邊度失分。排行榜只按主要分數排名。
| 排名依據 | 同時公布 | |
|---|---|---|
| 語音辨識 | 字元錯誤率(CER),換算為 100 × (1 − CER) | 混合錯誤率(MER) · 字錯率(唔計繁簡差異) · 繁簡字體引致嘅錯誤 · 保留粵語用字 · 首次回應時間(中位數) · 首次回應時間(第95百分位) |
| 語言理解 | 1–10 分準則嘅評審分數,換算為 (分數 − 1) / 9 × 100 | 有冇答到來電者 · 地道香港粵語 · 冇作故事 · 來電內容事實正確 · 首次回應時間(中位數) · 首次回應時間(第95百分位) |
| 語音合成 | 人手評審評分表平均分(1–5),換算為 (平均 − 1) / 4 × 100 | 評審:讀得準唔準 · 評審:聲調同發音 · 評審:韻律同節奏 · 評審:自然度同音質 · 評審:語氣切合場合 · 機器預檢 · 順利交付嘅片段 · 聲調準確(買/賣 等) · 首次回應時間(中位數) · 首次回應時間(第95百分位) |
| 對話 | 人手評審評分表平均分(1–5),同尾端延遲合併 | 評審:回應速度 · 評審:輪流發言 · 評審:解決問題 · 評審:對話流暢度 · 機器量度嘅對話 · 首次回應時間(中位數) · 首次回應時間(第95百分位) |
呢度冇一樣係為咗呢個比賽而發明。每個量度都係該問題嘅既定方法,再按粵語同保險來電調整。
| 範疇 | 比重 | 是否必須 |
|---|---|---|
| 語音辨識 — 字元錯誤率 | 20% | 所有隊伍必考 |
| 語言理解 — 評審準則,兩個模型:資格賽 1–5 分;網上挑戰賽起 1–10 分,分段有描述 | 25% | 所有隊伍必考 |
| 語音合成 — 資格賽:交付 60% + 聲調存活 40%。網上挑戰賽:人手評審(MOS),讀十段每段二十至三十秒嘅保險對答,機器預檢只顯示、唔計分 | 30% | 所有隊伍必考 |
| 端到端 — 延遲 50% + 讓路 30% + 完成率 20%,未有人手評分之前;網上挑戰賽:人手評審 | 25% | 自由參加 |
核心分數係語音辨識、語言理解同語音合成——聽得到、理解到、講得出,即係呢個比賽要考嘅三樣——換算成 100 分制。三個範疇全部定案咗先會公布:少咗一個就當未完成,唔會入排名。對話範疇自由參加,唔計入核心分數。總分涵蓋所有已參加嘅範疇,同樣要等到每一個範疇都定案先會公布——攞一套完整評測完嘅系統同一套只評咗一半嘅嚟排名,係冇意義嘅。
CER = (S + D + I) / |reference|
以語料層級計算,按參考文本長度加權,而唔係將每段語音嘅錯誤率取平均。兩者出嚟嘅數字唔同:取平均會令一句短句同一通九十秒嘅通話佔一樣嘅份量。逐段數值我哋會保留作診斷用途,但永遠唔會攞嚟做公布數字。
粵語書寫上冇詞與詞之間嘅界線,所以詞錯率喺呢種語言度冇意義,字錯率先係標準。混合錯誤率會將漢字逐字切分、拉丁字母連續段落當一個詞,咁樣聽錯一個英文字只計一個單位,而唔係四個字元——冇呢個處理,中英夾雜嘅語句會被系統性地過度扣分。
下面嘅參考文本係樣本集入面一段真實記錄,已經按計分程式嘅做法折返過。改下面第二格——有你自己系統嘅輸出就直接貼入去——對齊結果會由計分程式本身嘅函式即時重畫。啲字唔會傳去任何地方,全部喺你部機嘅瀏覽器度計。
呢段文字兩個錯誤率一樣——入面冇拉丁字母段落,自然冇分別。
score = max(0, min(100, (1 − CER) × 100))
每個範疇有自己嘅單位——錯誤率、1 至 5 分嘅評分——但排行榜只顯示一個數字,所以全部換算落 0 至 100。評分直接對應:1 變 0,5 變 100。錯誤率就要倒轉,因為越低越好:0% 變 100,100% 變 0,中間線性遞減。個下限訂喺一百巴仙,因為咁先係「一個字都保唔住」嘅意思,唔係人揀出嚟嘅門檻。原本係 60%,但用真正嘅辨識器量過呢批錄音之後,成績由 66% 到 100% 唔等——即係全部人都跌到落 0,個範疇分唔開任何人。排行榜上每個範疇都以呢個 0 至 100 分做主要數字,愈高愈好,同 Core 總分方向一致,而原始量度值就用返本身單位顯示喺下面 —— 咁字錯率低同分數高就會擺埋一齊,兩者都唔會睇錯。
呢個下限改過兩次,改動前後嘅數字唔同尺:2026 年 8 月之前係 20%,之後係 60%,用真正嘅辨識器量過呢批錄音之後就定咗喺一百巴仙。每一行公布嘅成績都記低咗計分版本號,要分辨一個數字用邊把尺,就係睇佢。
所有決定資格賽去留嘅數字都係由機器量度。語音辨識用字元錯誤率。語言理解用大型語言模型評審,跟一份公開嘅評分準則,跑幾次並記錄分歧。語音合成係交付佔 60%(有冇回傳音訊、長度啱唔啱、音量正唔正常、有冇爆音、有冇喺限時內)加聲調存活佔 40%:我哋將合成出嚟嘅語音再送入辨識器,睇下六個聲調仲分唔分得開。端到端係首字延遲,同埋被打斷嗰陣識唔識收口。
人手只評兩樣:對話嘅自然度,同語音合成嘅 MOS。呢兩樣係主觀意見,我哋亦都標明佢係意見。一個資格賽嘅參賽者數量可以多過評審聽得晒,所以決定邊個晉級嘅嘢,冇一樣要等人。當一個範疇係用機器量度嘅數字公布,排行榜會喺個數字旁邊寫「機器量度,非人手評分」,唔會俾讀者以為有人坐低聽過。由網上挑戰賽開始標準有變:語音合成同對話只會按主辦方逐隊輸入嘅人手評審計分;未評審之前,該範疇會顯示「等緊人手評審」,機器預檢只顯示、唔計分,核心分數會顯示暫時得到幾多分、仲有幾多分未加。語言理解改用更嚴格嘅 1–10 分準則,分段有描述,四個細項會喺每隊嘅頁面公布。由網上挑戰賽開始,測試內容亦會輪替:語音辨識同語言理解每一次即時計分測試,都會由該輪嘅題庫重新抽取來電(批次上載用該輪固定嘅試題),保持同樣嘅易、中、難比例,並優先抽該隊未聽過嘅來電;語音合成每一次測試,會由十個保險主題各抽一段二十至三十秒嘅文字(每個主題有六段,合共六十段),同一隊頭六次語音合成測試(練習同計分一齊計)唔會讀到重複嘅一段;計分測試仍然係每個範疇三次。
有一條自動規則值得特別講,因為佢係封頂而唔係計分。如果合成器回傳嘅音訊入面,六個聲調一個都認唔返出嚟,語音合成最多只有 5 分之 3,無論佢交付得幾好。交付只證明音訊個形狀啱,唔證明佢係語音:一段長度合理嘅 180 赫茲正弦波可以通過所有交付檢查,冇咗呢個上限就會喺一個佔核心分數 30% 嘅範疇攞滿分。呢個上限就係「我哋確認唔到呢個係粵語」同「六個聲調全對」之間嘅分別。
冇公開嘅正規化,係語音辨識評測最大嘅爭議來源。下面呢啲規則就係我哋計分程式入面實際行緊嘅邏輯,並且公開俾參賽者喺本地跑,等雙方由同一批位元組計出同一個數字。
| 規則 | 標準寫法 |
|---|---|
| 字體 | 繁體,而且兩邊係刻意分開處理。你嘅文字稿唔會被折返:寫簡體即係唔同嘅輸出,一樣計錯,測試結果版會顯示嗰部分佔你幾多錯誤。參考稿就會用 OpenCC(cn→hk)折返香港繁體先計分,因為交付嘅參考稿有部分混咗簡體,語料庫本身嘅字體問題唔應該算你頭上。粵語專用字會排除喺呢個折返之外——OpenCC 會改寫吓、晒、搵、戶,反而會破壞佢本來要清理嘅標準答案。 |
| 語言 | 每段錄音都係香港粵語。查出係普通話嘅通話會重新標示,並且從所有抽取、下載同公布數字中剔走——唔會用普通話錄音嚟評你。英文會以中英夾雜嘅形式出現,而呢個正正係混合錯誤率嘅用意:聽錯一個英文字只算一個單位,唔係四個字符。 |
| 寫法 | 由規格 1.4.0 開始,常見嘅粵語異寫兩邊都當同一個字:番/返、唔洗/唔使、既/嘅、野/嘢、黎/嚟、左/咗、我地/我哋、果個/嗰個、d/啲等等。唔同嘅字就照計錯:的 對 嘅、沒有 對 冇,因為嗰個係翻譯,唔係寫法。 |
| 數字註解 | 部分交付嘅參考稿會喺讀出嘅數字後面用括號再寫一次阿拉伯數字,例如 三六五六(3656)。由規格 1.5.0 開始,括號入面嘅數字兩邊都唔計,數字只會按讀出嘅計一次。唔使輸出括號數字;用中文數字定阿拉伯數字都得,計分一樣。 |
| 句子次序 | 部分交付嘅參考稿句子次序同錄音唔一致。由 2026 年 10 月 8 日開始,參考稿嘅句子亦會按你文字稿嘅次序計多一次,取錯誤較少嗰個。只會調動整句嘅次序,唔會改字,所以只會減少扣分,唔會增加。 |
| 字寬 | NFKC;全形歸一為半形 |
| 大小寫 | 拉丁字母轉細楷 |
| 標點 | 中英標點一律移除 |
| 空白 | 全部移除 |
| 數字 | 中文數字歸一為阿拉伯數字——三百 = 300 |
| 貨幣 | 符號同「蚊」「元」一律略去 |
| 語氣詞 | 保留。佢哋本身就係說話嘅一部分。 |
| 背景人聲 | 唔會轉寫。參考稿只記錄來電者同客服講嘅嘢;電視、收音機或者房入面其他人嘅聲,都唔屬於通話,唔會出現喺標準答案入面。你嘅系統將佢過濾走係啱嘅。 |
每個數字都附有一萬次重抽嘅百分位自助抽樣區間,以語音段為單位重抽。95% 區間互相重疊嘅隊伍會歸入同一個名次區間,並列公布。喺雜訊範圍之內硬砌一個先後次序,係虛假嘅精確度,亦係每一個認真嘅評測最終都會被批評嘅地方。
參賽者架設一個 WebSocket 伺服器,由我哋嘅調度程式做客戶端主動連過去。協定版本 v1.2,音訊格式為 pcm_s16le_16k。每段語音嘅限時按長度調整——一段六十秒嘅語音,由講完到第一個回應位元組,容許 30000 毫秒,而且只以我哋自己嘅單調時鐘計算。
呢個限時先係真正嘅防作弊機制。我哋唔會聲稱音訊唔可以被下載——聲音係串流去你嘅程序度,呢種聲稱根本執行唔到。我哋聲稱嘅範圍比較窄,但係真嘅:回應時窗短到人手根本嚟唔切轉寫;每一份語料包都發俾一個具名收件人,並記入稽核紀錄;抽取嘅語音會逐個時段輪換;最終名次會用一批冇人見過嘅保留語料覆核。
我哋唔會喺音訊入面加浮水印,亦唔會咁講。喺波形入面嵌一個逐隊不同嘅訊號,要麼響到會改變被量度嘅嘢,要麼弱到乜都捱唔住;一個靠唔住嘅機制,唔應該當成機制嚟描述。歸屬責任改為靠發放紀錄——因為佢寫住一個人嘅名,所以先執行得到。
其他範疇量度嘅係一個答案。呢個範疇量度嘅係兩句之間嘅行為,所以佢行嘅係另一套協定:我哋會同參賽者嘅連線位址進行三段預設劇本嘅對話,並且計算中間嘅空隙。
延遲,係由我哋講完嗰一刻,去到系統宣布佢開始講嘢嘅第一個訊框為止——唔係去到成句答完,咁樣先至令「將成個答案緩衝完先出聲」冇辦法扮快。我哋計嘅係第 95 百分位數而唔係中位數:一個平時好快、但偶然要三秒嘅系統,用家嘅感受就係慢。低過 300 毫秒分數封頂,因為打電話嘅人分唔出 120 毫秒同 280 毫秒,獎勵呢個差距只會令人去優化一啲冇人感受得到嘅嘢。到 2000 毫秒為零分。
讓出發言權。每段劇本最後都有一個回合,係打電話嘅人喺系統答緊嗰陣插話。我哋量度系統之後仲講咗幾耐,500 毫秒之內停低先當作有讓路。一個又快又唔肯收口嘅系統,比一個慢嘅仲差;一個只量度延遲嘅評測,會將佢排第一。
評分員睇完對話紀錄之後,呢個範疇由 40% 延遲同 60% 人手評定嘅自然度組成。喺未有人手評分之前,會用機器量度嘅分數公布——延遲 50%、讓出發言權 30%、完成回合 20%——而排行榜會標明「機器量度,未經人手評分」,等一個快嘅系統唔會喺未有人核實之前,就被當成傾得好。網上挑戰賽入面,人手評分嗰部分係評審四項準則評分表;評審未評分之前,呢個範疇會顯示「等緊人手評審」,機器量度只顯示、唔計分;評分表入咗之後,就係 40% 延遲加 60% 評分表。
每次正式評測都會喺輪換語料池入面重新隨機抽一批,並且按難度分層抽取,令抽中一堆短語音嘅好運唔會幫到隻系統。抽取用嘅種子值按時段設定並且記錄低,所以任何一次評測都可以完整重現。
不過重複評測始終會累積曝光,而條數唔好睇:語料池得 56 段、每次抽 30 段,一隊用晒配額嘅隊伍,其實已經見過語料池大部分內容。所以語料池會逐屆增加,而最終名次亦會用 11 段從來冇發放俾任何參賽者嘅保留語料嚟覆核。
粵語語音評測並唔係一片空白,任何話呢個係「首個粵語基準」嘅講法都唔真確。喺呢個之前,已經有幾套測試集:
呢度真正新嘅嘢範圍窄啲,但我哋認為更有用:
因為一個數字孤立咁睇冇意義,參賽隊伍會同時喺 WSYue-ASR-eval 上做交叉對照,兩個數字一齊公布。喺呢度 12% 字錯率、喺 WSYue 6%,讀者就即刻知道呢批語音有幾難;任何一個數字單獨睇,都話唔到你知。