TestPlanの使い道 #testplan #xcode #hakata_test_night

f:id:fromkk:20200122115029p:plain

一昨年の12月に博多に来て以来、丸一年ぶりに博多に来ています。
目的はSwift Days Fukuokaに参加するためです。

Swift Days Fukuokaとは

全国のSwiftに何らかの関係があるエンジニアが、福岡に一斉に集まって情報共有をする3日間(1/24 ~ 26)のイベントです。

第11回 HAKATA.swift x Swift愛好会~福岡と東京のSwift勉強会コラボ~ - connpassより引用

初日の今日は testnight.connpass.com です！
イベントが発表されてすぐ登壇申し込みをしたんですが、特に発表する内容を考えていなかった中頑張って捻り出したのがTest Planの使い道です。

発表資料

Test Planとは

Xcode 11から追加されたテストに関する新たな機能です。
これまでは端末の状態や設定を変更してテストをしようとすると都度スキームの設定を変更する必要がありました。
そういった場合にCIなどで柔軟なテストを実行しようとするとxcodebuildコマンドで頑張る必要がありました。
例) -testLanguageや-testRegionオプション
Test Planを利用するとそういった設定を一つのJSONファイル(.xctestplan)に書いておき実行時にそれらをまとめて実行することができるようになりました。

参考: Testing in Xcode - WWDC 2019 413

Test Planの設定方法

Schemeの編集画面のサイドバーでTestを選択し、左下の＋ボタンからTest Planを追加します。
既にTest Plan未対応のテストが既にある場合は Convert to Test Plans というボタンから変換も可能です。

ターゲットの追加

f:id:fromkk:20200122120822p:plain

続いてテストするターゲットを追加します。

f:id:fromkk:20200122121158p:plain f:id:fromkk:20200122121219p:plain

これでターゲットの追加が完了です。 Configurationを選択してみます。

f:id:fromkk:20200122121427p:plain

全てのテストで共通の設定がある場合はShared Settingsを設定します。
左下の＋ーボタンから構成を追加・削除することができます。構成を追加するとShared Settingsで設定した項目が継承されながら独自の設定が可能になります。

設定項目

f:id:fromkk:20200122121639p:plain

テスト実行時の設定を変更することができます。（引数、環境変数、言語や地域など）また、テストの実行順序やコードカバレッジ、クラッシュ時に関する情報の取得も可能です。

テストの実行

⌘(Command)+Uで選択中の全てのテストが実行されます。
複数のConfigurationが存在する場合でテスト実行ボタンをCtrlキーを押しながらクリックすると特定のConfigurationを選んで実行することができます。

f:id:fromkk:20200122124542p:plain

コマンドラインからはxcodebuild test -testPlan 'TestPlan名'でTest Planを指定して実行することができます。

更に詳細については弊社の@akatsuki174さんが書いた記事も参考にしてください。 qiita.com

本題

ようやくここからが本題です。
なんとなくTest Planはよさそうですが、実際にどういう時に利用するのが有効なのでしょうか。
ここでは2つのテストケースでTest Planを利用することで不具合が見つけられそうというものを考えてみました。

翻訳が正しく設定されているか

と言ってみたものの現状のTest Planで大きく活躍しそうなのは言語と地域にまつわるものかと思います。
前提としてこのような見た目のUIがあるとします。

f:id:fromkk:20200122125701p:plain

（上も下も「登録」になるようなUIは実際には無いと思いますが一旦進めます）

まずは日本語だけでテストをしてみます。

f:id:fromkk:20200122125759p:plain

テストコードはこんな感じにしてみました。
無事テストが通っていることがわかります。

f:id:fromkk:20200122134756p:plain

ここでTest Planに英語設定を追加してみます。

f:id:fromkk:20200122134823p:plain

テストが失敗しました。

f:id:fromkk:20200122134950p:plain

UIを作っていたところのコードの翻訳キーを見ると Register と Registration になっていましたね。
テストを修正して再実行してみます。
成功しましたね。

f:id:fromkk:20200122135057p:plain

偏った環境でだけテストをしてうまくいっていても、新たな環境を追加することで失敗することがあるかもしれないのでこういった場合にTest Planは有効かもしれません。

Localeの未設定を見つける

日付の単位を言語毎に出し分けしたいことがあったとします。
日本語だと数値をそのまま表示して、英語の場合は、1st, 2nd, 3rd...のような表記にしたいということです。
下記のようなコードがあるとします。
引数は数値の日付と言語を受け取って String の値を返します。

import Foundation

struct DayConverter {
    static func convert(day: Int, for languageCode: String) -> String {
        if languageCode == "en" {
            let day = day
            let number = NSNumber(value: day)
            let numberFormatter = NumberFormatter()
            numberFormatter.numberStyle = .ordinal
            return numberFormatter.string(from: number)!
        } else {
            return String(day)
        }
    }
}

英語の場合に正しい値を返してもらえれば良いのでまずは英語でのテストをしてみます。

f:id:fromkk:20200122135929p:plain

問題なさそうですね。

f:id:fromkk:20200122135950p:plain

それでは日本語を追加してテストしてみます。

f:id:fromkk:20200122140010p:plain

失敗しましたね。 is not equal to ("第XX") となっているのが分かります。

f:id:fromkk:20200122140403p:plain

元々のコードを修正してみます。

import Foundation

struct DayConverter {
-    static func convert(day: Int, for languageCode: String) -> String {
+    static func convert(day: Int, for locale: Locale) -> String {
-        if languageCode == "en" {
+        if locale.languageCode == "en" {
            let day = day
            let number = NSNumber(value: day)
            let numberFormatter = NumberFormatter()
+            numberFormatter.locale = locale
            numberFormatter.numberStyle = .ordinal
            return numberFormatter.string(from: number)!
        } else {
            return String(day)
        }
    }
}

これで無事テストが通りました。

f:id:fromkk:20200122140644p:plain