使用指標監控代理程式效能

推出後，Business Messages 就會追蹤虛擬服務專員的主要成效指標。您可以透過 BusinessCommunications 開發人員控制台或 BigQuery 存取指標。

如果您需要其他分析來評估虛擬服務專員的成效，可以監控代理程式對話的事件和其他屬性，以便追蹤自訂指標。

存取指標

您可以透過 Business Communications 開發人員控制台，在數據分析報表中存取合作夥伴層級和代理程式層級的指標。或者，您也可以使用 BigQuery 瀏覽代理程式指標，或透過程式輔助方式存取代理程式指標。

如要將指標存取權授予其他使用者，請按照下列步驟操作：

  1. 在合作夥伴帳戶中將對方新增為使用者。
  2. 指示客戶如何透過 Business Communications 開發人員控制台或 BigQuery 存取指標。

夥伴層級指標

合作夥伴層級指標會顯示您管理的所有代理程式資料。

  1. 開啟 Business Communications 開發人員控制台，並使用您的 Business Messages Google 帳戶登入。
  2. 在「指標資訊主頁」資訊卡底部，按一下「查看指標」。

代理程式層級指標

代理程式層級指標只會顯示所選代理程式的資料。

  1. 開啟 Business Communications 開發人員控制台，並使用您的 Business Messages Google 帳戶登入。

  2. 選擇虛擬服務專員。

    指標會顯示在「指標資訊主頁」資訊卡中。

如要查看更詳細的指標，請按一下左側導覽面板中的「數據分析」。

透過 BigQuery 查看指標

BigQuery 是一項無伺服器且具成本效益的無伺服器資料倉儲系統，具備機器學習、簡易的資料存取和預測分析功能。視您的用途而定，您可以透過 BigQuery UI 或 BigQuery API 存取 BigQuery 中的資料。請參閱 BigQuery 說明文件。

BigQuery 中的指標資料效期為 1.5 年。

如要在 BigQuery 中存取代理程式指標，您必須符合下列條件：

如果您具有 BigQuery 存取權，可以在下列專案、資料集和檢視畫面中存取代理程式資料：

  • 專案 ID：bizcomms-bm-metrics
  • 資料集：partner_metrics_user_views 和 partner_metrics_sa_views
  • 檢視畫面：message_metrics、session_metrics、quality_metrics 和 intent_metrics

例如，如要查看 message_metrics 檢視畫面中的所有欄位，您可以使用下列查詢：

SELECT * FROM bizcomms-bm-metrics.partner_metrics_user_views.message_metrics

可用的指標

Business Messages 會追蹤四個類別的指標：訊息、工作階段、品質和意圖。

以下是所有指標類別常見的項目：

指標 定義 範例值
date 工作階段的建立日期 (採用世界標準時間)。 2021-12-31
請參閱 BigQuery 的日期類型。
agent_id 要計算工作階段資訊的代理程式 ID。 12345678-9012-3456-789012345678
agent_name 代理程式的名稱。 Growing Tree Bank
brand_id 服務專員所屬品牌的 ID。 12345678-9012-3456-789012345678
brand_name 服務專員所屬的品牌名稱。 Growing Tree International
partner_id 代表品牌的合作夥伴 ID。 12345678-9012-3456-789012345678
partner_name 代表品牌的合作夥伴名稱。 XYZ Messaging

訊息指標

訊息指標取自指定日期的已傳送訊息總數。這些指標包括：

指標 定義 範例值
message_sender 訊息的寄件者。 USER、
AGENT
message_type 訊息類型。 TEXT、
RICH_TEXT、
PHOTO、
RICH_CARD
representative_type 傳送這則訊息的代表類型。使用者傳送的訊息會是空白的。 BOT、
HUMAN
total_messages 已傳送的訊息總數。 11

工作階段指標

工作階段是設有時間限制的互動群組，例如對話中的訊息和事件。訊息傳送後，工作階段隨即開始，而工作階段目前未運作。工作階段關閉的時機

  • 24 小時沒有訊息 (適用於僅有真人交談的服務專員] (/business-communications/business-messages/guides/how-to/agents/availability)。如果未來 7 天內的上班時間少於 24 小時，我們將改為使用 24 小時。)
  • 30 分鐘內沒有訊息 (適用於僅具備機器人功能的服務專員)
  • 您會傳送問卷調查給使用者
  • 使用者刪除對話
  • 使用者封鎖代理程式

工作階段指標是根據特定日期的工作階段總數 (包括使用中和已完成的工作階段總數) 計算而得。這些指標包括：

指標 定義 範例值
session_initiator 啟動工作階段的使用者。 USER、
AGENT
session_initiating_entry_point 啟動工作階段的進入點。 請參閱 EntryPoint。
session_containment_type 對話中代表性的互動類型，有無代表性訊息、僅機器人訊息、真人服務專員訊息等。 UNRESPONDED、
BOT_ONLY_CONVERSATION、
LIVE_AGENT_REQUEST_UNFULFILLED、
LIVE_AGENT_CONVERSATION、
CALL_INITIATED
has_agent_response 工作階段至少有一則來自代理程式的回應。 TRUE、
FALSE
has_live_agent_response 工作階段至少有一則真人服務專員回覆。 TRUE、
FALSE
has_live_agent_request 工作階段至少有一個真人服務專員要求。 TRUE、
FALSE
session_depth_bucket 在工作階段期間傳送的訊息數量。 1、
2-3、
4-9、
10-24、
25-
survey_sent 如果這個工作階段有傳送問卷調查， TRUE、
FALSE
survey_responded 如果使用者已回覆問卷調查。 TRUE、
FALSE
positive_survey_response 如果問卷調查回覆的評分良好。只有在 survey_responded 為 TRUE 時才有意義。 TRUE、
FALSE
total_sessions 工作階段總數。 1000
average_session_depth 工作階段期間的平均訊息數。 23.11

品質指標

品質指標取自特定日期的已完成工作階段總數。這些指標包括：

指標 定義 範例值
date_calculated 表示指標計算時間的日期 (世界標準時間)。 2021-12-31
請參閱 BigQuery 的日期類型。
state 代理程式的目前狀態。 GOOD_STANDING、
REQUIRES_ATTENTION
survey_count 用於計算問卷調查分數的問卷調查數量。如果過去 7 天內的問卷調查回覆少於 10 則，系統就會使用過去 35 天內的最新問卷調查 (最多 9 則)。否則，系統會使用過去 7 天內的所有問卷調查回覆。 84
survey_score 問卷調查正面回應的百分比。 範圍從 0 到 1。
session_count 用於計算 MRR 的工作階段數。如果過去 7 天內的工作階段少於 3 個，系統就會使用過去 35 天內的最近期工作階段 (最多 9 個)。否則，系統會使用過去 7 天內的所有工作階段。 143
mrr 商家回應率 (MRR)：有代理程式回應 (機器人或真人服務專員) 的工作階段數 (相對於工作階段總數)。 範圍從 0 到 1。
hmrr 真人商家回應率 (HMRR)：相對於含有一或多個真人服務專員要求或真人服務專員回應的工作階段總數，產生真人服務專員回應的工作階段數。 範圍從 0 到 1。
live_agent_request_count 用於計算 hmrr 的真人服務專員要求數量。如果過去 7 天內的真人服務專員要求少於 10 個，系統便會使用過去 35 天內的 9 個最近真人服務專員要求。否則系統會參考過去 7 天內所有的真人服務專員要求。 42
suspension_date 服務專員因品質不佳而遭停權的日期 (世界標準時間)。僅適用於狀態為「REQUIRES_ATTENTION」的代理程式。 2021-12-31
請參閱 BigQuery 的日期類型。

意願指標

意圖指標會使用機器學習技術識別與代理程式工作階段的意圖。意圖指標是從指定日期完成的工作階段中的使用者訊息計算得出。目前只支援英文。這些指標包括：

指標 定義 範例值
intent 工作階段意圖類型。 SALES_LEAD、
SERVICE
count 包含指定 intent 類型的工作階段數。 11

追蹤自訂指標

如果您的指標偏好不同，或需要與品質報表可提供的詳盡資訊，您可以擷取自己的指標資料。

以下是您可能會擷取的指標：

  • 客戶滿意度。傳送問卷調查來擷取及追蹤使用者滿意度。您可以根據資料收集規定自訂問卷調查問題。
  • 已傳送的訊息。每當代理程式傳送訊息時擷取詳細資料。
  • 收到的訊息：每當代理程式收到訊息時擷取詳細資料。
  • 服務專員回應率。擷取代理程式回應使用者訊息的頻率。追蹤機器人和真人服務專員的回應率之間的差異。
  • 服務專員回應時間：擷取代理程式回應使用者訊息所需的時間。追蹤機器人和真人服務專員的回應時間差異。
  • 送達回條：擷取 DELIVERED 個事件。
  • 讀取回條。擷取 READ 個事件。
  • 使用者參與：擷取 IS_TYPING 事件、使用者回應數量，以及 DELIVERED 或 READ 事件與下列使用者回應之間的時差。

  • 互動類型：瞭解使用者如何回覆訊息。使用有意義的回傳資料追蹤建議的回覆和動作，並監控回應格式以識別使用者是傳送圖片還是純文字訊息。

擷取指標後，您就可以視業務需求，以最合適的方式剖析及整理指標。

成效監控與停權門檻

為評估服務專員效能，Business Messages 會追蹤多個指標，確保服務專員提供良好的使用者體驗。如果服務專員低於指標門檻，Business Messages 會透過每週服務專員狀態電子郵件發出警告。如果服務專員持續 28 天低於門檻，Business Messages 可能會暫停服務專員。如果代理程式已遭停權，請參閱修正已暫停的代理程式一文。

Business Messages 會使用下列指標追蹤服務專員的效能：

指標 說明 音量門檻 正常音量門檻 低量門檻
客戶滿意度 (CSAT) 客戶滿意度分數代表客戶與服務專員互動後的整體體驗。 10 份問卷調查 80% 0%
商家回應率 (MRR) 有代理程式回應 (機器人或真人服務專員) 的工作階段數 (相對於工作階段總數)。 3 個工作階段 95% 60%
真人商家回應率 (HMRR) 相對於含有一或多個真人服務專員要求或真人服務專員回應的工作階段總數，其中有真人服務專員回應的工作階段數 10 項真人服務專員要求 95% 0%

系統會根據個別指標數量門檻 (高於或低於) 來測量每個指標的數量，藉此判斷是否可以根據該指標的一般數量門檻或低流量門檻，評估代理程式的效能。

舉例來說，假設服務專員有 9 份問卷調查、10 個工作階段和 9 個真人服務專員要求，則服務專員的效能在 CSAT 門檻中為 0，MRR 為 95，HMRR 則為 0。如果代理程式低於任何上述門檻，則代理程式會標示為「需要處理」狀態。

如果代理程式持續處於「需要處理」狀態達 28 天以上，就可能導致代理程式遭到停權。

改善指標

如果虛擬服務專員的效能偏低，請確保服務專員執行以下操作。

在沒有技術問題的情況下處理及回覆訊息

  • 無論訊息類型或內容為何，請確認您的 Webhook 接收、確認、程序，並轉送所有傳入的訊息。
  • 請確認訊息酬載中缺少必填欄位時，代理程式可具備有效的備用策略。使用者訊息缺漏或捨棄，因為缺少欄位可能會導致使用者體驗不佳。
  • 確認代理程式已成功傳送所有預期的訊息類型。

聰明且善意回覆

  • 回覆每封郵件。自動回覆功能可協助您解決常見問題。
  • 留意使用者的對話進入點，並據此做出回應。 舉例來說，來自 Google 地圖的使用者更有可能對地點資訊 (例如營業時間和股票查核) 感興趣。
  • 如為地區性訊息，請將問題交由最合適的人員回覆。
  • 如果無法使用真人服務專員，請使用自動化功能回覆使用者。 告知服務專員的即時通訊服務時間，以及對方可能如何聯繫他人，例如支援電話號碼。

提供指引

  • 使用歡迎訊息，以親切友善的語氣撰寫，讓使用者瞭解服務專員可採取的行動。
  • 使用對話啟動條件來引導使用者完成常見工作或自動化工作。
  • 如果使用者提出問題，您的代理程式無法處理的問題，請在回覆時提供指導，說明該問題可以回答的問題類型。

謹慎處理資料

  • 請盡可能從您收到的訊息中收集位置和其他資料，而不要要求資料。
  • 請勿要求機密資訊 (記錄憑證、銀行/信用詳細資料、個人身分證字號)
  • 只在必要時要求提供資料。資料過度觸及會導致使用者體驗不佳。
  • 需要資料時，請清楚說明原因，以及這些資料會有什麼用途。

保持非同步

  • 不要將會話群組標示為未啟用。Business Messages 通訊內容採同步方式，因此使用者可能不會立即回覆。
  • 請勿回覆不回應的使用者。使用者離開對話後，並不會中斷連線。

如要進一步瞭解如何達成代理程式效能，請參閱要求與指南。