計測・観察設計 ／ MARK-44
A/B テストではなく観察モードで進む
月 23 サインアップの現実的な計測設計
月 23 サインアップでは「100 サンプル/群 × p < 0.05」は非現実的。 全員リリース + リリース前後コホート比較 + 異常値検知の 観察モードで v0.1 / v2.0 の効果を確認する。 A/B テスト復活条件は月次サインアップ 200 人以上。
4 つの数字で見る
月次サインアップ
23
baseline-2026-04 の計測コホートサイズ。 A/B テストには不十分
改善判定 (+10pt)
+10pt
通過率がリリース前後で +10pt 以上なら「改善あり」 と判断
A/B 復活条件
200/月
月次サインアップ 200 人以上 or 累計 5,000 人以上で A/B テスト復活
計測イベント
27
v0.1 8 種 + v2.0 14 種 + Knock Webhook 5 種の合計
v0.3 の方針転換（姉崎判断 2026-05-20）
方針転換
「まだ A/B テストする規模じゃないよね」 → 観察モードに全面転換。 コントロール群なし、 全員リリース。 リリース前後コホートを比較して数値変化を観察。 統計的有意性は問わない。 +10pt 以上が出れば「改善あり」。
改善あり
通過率 +10pt 以上
→ 続行
改善なし
+5pt 未満
→ 仮説修正、 v0.2 / v2.0 設計見直し
悪化
-5pt 以下
→ 緊急対応、 機能停止判断（48h 以内）
観察 1（v0.1）→ 観察 2（v2.0）→ 観察 3（月次継続）
観察 1
v0.1 リリース効果（エンプティ + ウェルカム + ツアー）
配信方式コントロール群なし、 全員リリース
主 KPI通過率（
10_register → 30_item_add）: リリース前 30 日 vs 後 30 日改善判定+10pt 以上 → 続行 ／ +5pt 未満 → 仮説修正 ／ -5pt 以下 → 緊急対応
観察期間リリース後 4 週間（または 80 サンプル到達、 どちらか早い方）
予定2026 年 6 月後半〜 7 月前半
観察 2
v2.0 リリース効果（ガイデッドセットアップ追加）
配信方式コントロール群なし、 全員リリース。 v0.1 期 vs v2.0 期のコホート比較
観察 KPI24h 活性化率 / 通過率 / Path D 活性化率（v0.4 改訂、 CEO 裁定 2026-05-22）: 0% → 15%（v0.1 後 / N≥10）→ 25%（v2.0 後 / N≥15）→ 40%（Phase 2）
改善判定24h 活性化率 + 通過率の両方が +5pt 以上 → 続行 ／ Path D 15% 以上（N≥10 充足時のみ判定） → 効果あり。 N<閾値は「計測不可・継続観察」（Traction 指摘 / 少サンプル時の偽改善判定回避）
補助指標tp-3 メール開封 → アイテム追加 CVR ／ Path D 専用シーケンス効果
予定2026 年 7 月後半〜 8 月
観察 3
月次継続観察（MARK-40 Playbook と統合）
頻度月 1 回（MARK-40 月次レビュー Playbook で実行）
観察 KPI通過率 / 24h 活性化率 / Path 別活性化率 / スタートガイド完走率 / サンプル削除率（業種別）
異常値検知サンプル削除 50% 超 → 業種マスタ更新 ／ 完走率 30% 未満 → チェックリスト見直し ／ Path D 10% 未満 → MARK-60 見直し
予定2026 年 8 月以降、 継続
各 KPI の改善判定目安
| KPI | 改善判定 | 緊急対応トリガー |
|---|---|---|
通過率（10_register → 30_item_add） | +10pt 以上（26% → 36% 以上） | -5pt 以下で機能ロールバック（48h 以内） |
| 24h 活性化率 | +5pt 以上（34.8% → 40% 以上） | — |
| TTV 中央値 | 2 分以上短縮 | — |
| Path D 活性化率 | 15% 以上（0% から到達） | 10% 未満 → MARK-60 見直し |
| サンプル削除率（業種別） | 50% 以下 | 50% 超 → 業種マスタ即時更新 |
| スタートガイド完走率 | 50% 以上 | 30% 未満 → チェックリスト見直し（1 週間以内） |
v0.1 8 種 + v2.0 14 種 + Knock 5 種
v0.1 イベント（PRD セクション 4.1-4.3）
| イベント名 | 発火タイミング | 主要プロパティ |
|---|---|---|
30_empty_state_shown | アイテム 0 個でダッシュボード表示 | device |
30_empty_state_clicked | エンプティ CTA クリック | cta_type ∈ {photo, barcode, manual, csv_import} |
30_welcome_dialog_shown | 初回ログイン時ウェルカム表示 | device, signup_path |
30_welcome_dialog_action | ウェルカムボタン押下 | action ∈ {primary, later, tour} |
30_tour_started | ツアー開始 | device, entry_point |
30_tour_step | 各ステップ表示 | step ∈ {1, 2, 3} |
30_tour_completed | ツアー完走 | total_duration_sec |
30_tour_skipped | スキップ | at_step ∈ {1, 2, 3} |
v2.0 イベント（PRD セクション 4.4-4.8、 抜粋）
| イベント名 | 発火タイミング | 主要プロパティ |
|---|---|---|
30_setup_q1_answered | Q1 業種回答 | industry |
30_setup_q2_answered | Q2 属性選択 | attributes_selected (array) |
30_setup_completed | 質問 3 問全完了 | total_duration_sec, variant |
30_setup_skipped | スキップ | at_step ∈ {1, 2, 3} |
30_sample_generated | サンプル生成完了 | industry, item_name, folder_name |
30_sample_deleted | サンプル削除 | deleted_within_sec |
30_startguide_menu_clicked | サイドバー「スタートガイド」 クリック | current_progress ∈ {0,1,2,3,4} |
30_checklist_item_completed | チェックリスト項目完了 | item_id ∈ {add_item, in_out, invite, barcode} |
30_checklist_all_completed | 全 4 項目完了 | total_duration_sec |
Knock Webhook イベント（v0.2 追加）
| Knock Webhook | PostHog イベント | 用途 |
|---|---|---|
message.sent | 40_email_sent | 配信成功確認 |
message.read | 40_email_opened | 開封率測定 |
message.link_clicked | 40_email_link_clicked | CTA クリック率測定 |
message.bounced | 40_email_bounced | 配信エラー監視 |
message.unsubscribed | 40_email_unsubscribed | 配信停止率監視 |
主要 HogQL クエリ（抜粋）
クエリ 1: 通過率（コホート別）
WITH cohort AS (
SELECT person_id, timestamp AS register_at, properties.signup_path
FROM events WHERE event = '10_register'
AND timestamp >= '2026-06-15' AND timestamp < '2026-06-29'
),
item_add AS (
SELECT person_id, MIN(timestamp) AS first_add_at
FROM events WHERE event = '30_item_add' GROUP BY person_id
)
SELECT
c.signup_path,
COUNT(c.person_id) AS cohort_size,
COUNT(i.person_id) AS converted,
ROUND(COUNT(i.person_id) * 100.0 / COUNT(c.person_id), 2) AS conversion_rate
FROM cohort c LEFT JOIN item_add i
ON c.person_id = i.person_id
AND i.first_add_at BETWEEN c.register_at AND c.register_at + INTERVAL 24 HOUR
GROUP BY c.signup_path;
クエリ 2: サンプル削除率（業種別）
WITH generated AS (
SELECT person_id, timestamp AS gen_at, properties.industry
FROM events WHERE event = '30_sample_generated' AND timestamp >= '2026-07-15'
),
deleted AS (
SELECT person_id, properties.deleted_within_sec AS deleted_sec
FROM events WHERE event = '30_sample_deleted'
)
SELECT
g.industry,
COUNT(g.person_id) AS generated,
COUNT(d.person_id) AS deleted,
ROUND(COUNT(d.person_id) * 100.0 / COUNT(g.person_id), 2) AS deletion_rate
FROM generated g LEFT JOIN deleted d ON g.person_id = d.person_id
GROUP BY g.industry ORDER BY deletion_rate DESC;
→ 削除率 50% 超の業種は業種マスタ更新のトリガー（onboarding-industry-presets-2026-05.md）
将来、 統計的 A/B テストに戻る条件
復活条件
月次サインアップ 200 人以上（月 100 サンプル/群 × 2 ヶ月で統計的有意）、 もしくは累計 5,000 人以上。 判断は MARK-40 monthly-review Playbook で月次チェック。
| 期待効果 | 必要サンプル数（片群） |
|---|---|
| +15pt | 約 100 |
| +10pt | 約 200 |
| +5pt | 約 600 |
復活時の A/B 対象候補
- 質問内容の最適化（業種 / 規模 / 取捨選択 のバリアント A/B/C）
- チェックリスト項目の組み合わせ（4 項目 vs 5 項目 vs 6 項目）
- ウェルカムメッセージのコピー
- サンプル生成あり vs なし
関連する MARK-* タスク
| タスク | 内容 |
|---|---|
MARK-1 | PRD v2.2 — 本書の観察設計が セクション 5.2 に反映 |
MARK-22 | Layer 2/3 イベント定義 — 月次観察 KPI に Layer 2/3 到達率を追加 |
MARK-60 | Path D オンボ設計 — tp-5-path-d-welcome の効果を観察 |
MARK-40 | monthly-review Playbook — 月次でダッシュボードを読み込み |
MARK-17 | Knock + SendGrid セットアップ — Webhook → PostHog ハンドラー実装 |
NANCO-?? | signup_path プロパティ実装（招待メンバーコホート分割に必須） |