Playwright E2E: front-throttling.spec.ts の fixme 6件を修正する

[nanasess]

概要

PR #6721 で Codeception から Playwright への移行時に test.fixme() としてマークされたスロットリングテスト6件を修正し、CIで実行可能にする。

対象テスト

e2e/tests/front-throttling.spec.ts:

テスト名	仕様書ID
注文確認_非会員購入	EF0901-UC01-T08
注文確認_会員購入	EF0901-UC01-T09
注文完了_非会員購入	EF0901-UC01-T10
注文完了_会員購入	EF0901-UC01-T11
order_お届け先追加	EF0901-UC01-T16
order_お届け先変更	EF0901-UC01-T17

関連

• Migrate plugin E2E tests from Codeception to Playwright #6721 — Codeception から Playwright への移行 PR
• E2Eテスト対応表: 仕様書 / Codeception / Playwright #6725 — Playwright 移行対応表

[ttokoro20240902]

@nanasess 着手の前に現状を調べたところ、6 件はブロッカーが 3 種類に分かれていて一括では進められなさそうでした。方針をご判断いただきたいです。

前提: fixme を外すだけでは CI で走りません

e2e-test-throttling.yml は npx playwright test ... -g "${METHOD}" で 1 method = 1 シャードなので、matrix に 6 行足す必要があります。現在の matrix は 12 method で、所要は各 1m51s〜3m3s です。

（誤って閉じられていた 3 件を PR #7077 で実装したときは plugin-misc が --grep なしで spec 全体を回すため fixme を外すだけで CI 対象になりましたが、こちらは事情が違います）

ワークフローに死んでいる設定があります

Fix limiter limit ステップ（e2e-test-throttling.yml:74-94）が if: startsWith(matrix.method, '注文完了') で書かれていますが、matrix に 注文完了 で始まる method が無いため一度も発火していません。 対象 2 件のための下準備が既に入っている状態です。

ブロッカーの内訳

グループ	ブロッカー
注文確認_非会員購入 / 注文確認_会員購入	CI 時間だけ。 フル購入フロー（カート→レジ→確認）を 25 回 / 10 回。既定値（shopping_confirm_ip: 25 / shopping_confirm_customer: 10）にそのまま当たるので設定変更は不要
注文完了_非会員購入 / 注文完了_会員購入	confirm の上限を上げないと checkout に到達しない。上記の死んでいるステップがまさにこれ（confirm を 1024 に、checkout を 25/10 に設定）なので、matrix 追加で届く見込み
order_お届け先追加 / order_お届け先変更	別物です。 テスト内側に test.skip(true, 'Multiple shipping link not found on shopping page') があり、a[href*="shopping/shipping_multiple"] / shipping_change が見つからなければ即スキップする作りになっています。複数配送フローがテストとして書き切れていません

ご判断いただきたい点

1. グループごとに 4.4.0 / 4.4.x を分けてよいか。 注文完了の 2 件は下準備済みで最も近く、お届け先の 2 件は実装から必要です
2. CI 時間をどこまで許容するか。 6 行足すと 18 シャードになります。既存 12 件は login や会員登録の POST を繰り返すだけで 2〜3 分ですが、対象 6 件はフル購入フローを 10〜25 回回すため同じ時間には収まりません。全 PHP バージョンで回すか 8.5 に絞るかも含めてご判断ください
3. お届け先 2 件の内側 test.skip を消す方針でよいか。 残したまま fixme を外すと、リンクが見つからないだけで緑になり「通ったように見える」状態になります

私の案

注文確認 2 件と注文完了 2 件を 4.4.0、お届け先 2 件を 4.4.x に分ける案を推します。前者 4 件は既定値と既存ステップに乗るので「matrix 追加＋fixme 外し＋CI 時間の確認」で閉じますが、後者は複数配送フローの実装なので性質が異なります。

分け方に同意いただけるなら、前者 4 件から着手します。

[nanasess]

@ttokoro20240902 はい、これらは多くの修正が必要と思われるので、 fixme になっています。単に外すだけでは動作しないのは認識済みです。
スロットリングのテストなので、リリースには必須ではないと思います(もっと優先度の高いタスクがあるはず)

[ttokoro20240902]

@nanasess
Milestoneを4.4.xに付け替えました。