TestFlightの概要

「TestFlightの概要」へ ようこそ App Store Product Managementチームの Aneeshaです 今日は Developer Tools Product Managementチームの Jeromeにも加わってもらいます 今回のセッションは TestFlightについてです まずは テストの重要性について 簡単に説明してから TestFlightの概要を紹介します そのあと TestFlightの 使用方法を説明します ビルドの配信 テスターの追加 フィードバックの確認などです では 始めましょう

優れたApp体験を作り上げるのに テストは欠かせません テストを通じて コードを改良し フィードバックを反映して App Storeでユーザーに提供する Appと体験を 向上させることができます

App Storeは 170以上の地域 15億台以上のデバイス 40以上の言語で利用できます

そのため Appを見つけてもらう 大きな機会となる一方で デバイスや言語 アクセシビリティの ニーズが異なる 多くの人々がアクセスします

Appをテストすることで 世界中のApp Storeユーザーに 優れた体験を確実に提供できます

Appleでは Appのテストを 円滑に進めるのに役立つ 様々なツールを提供しています 例えば XcodeでXCTestを使って ユニットやUIのテストを記述し Xcode Cloudを使って コードの変更後のテストを 自動化できます また シミュレータを使って 異なるデバイスやOS上で コードを手動でテストし Instrumentsで Appのパフォーマンスをテストできます

今日はTestFlightについて紹介します

TestFlightはフィードバックの 収集に役立つAppleのツールです プライバシーに配慮しながら 実際のユーザーの声を集めるため 世界中のApp Storeユーザーが気に入る Appやゲームの制作に役立ちます TestFlightでは App Storeでの公開前に Appのフィードバックを収集し その情報を利用して Appをアップデートできます

TestFlightは Apple Developer Programの メンバーシップに含まれており Appleが提供する最も人気のある デベロッパツールの 1つです TestFlightは すべての Appleプラットフォームで Appを配信するのに役立ち テスト体験の最適化を念頭に 設計されています

簡単にまとめると TestFlightはAppのビルドの アップロード テスターの追加 フィードバックの収集を 継続的に実行できるツールです テスターからのフィードバックを 素早く簡単に収集し 改善事項に反映させ 世界クラスのAppやゲームを開発し App Storeで公開するのに役立ちます それでは例を使って TestFlightの使用方法を 見ていきましょう ここからはJeromeが案内します

TestFlightの 使用方法を説明します 今回は Food Truckという新しいAppを 初めてApp Storeで リリースする準備をしていると しましょう

始めるには まず ビルドをアップロードして テストの準備をする必要があります

ビルドをアップロードする場合 主なステップが3つあります 各ステップについてはあとで 説明しますが App Store Connectへの アップロードとテストの詳細の入力 テスト情報の追加の3つです

最初に XcodeでApp Store Connectにアップロードします App配信の準備のために Xcodeを開いて Appのアーカイブを作成しましょう まずAppをビルドする アーキテクチャを選択します 「Any iOS Device (arm64)」を選択し 一番上の「Product」メニューで 「Archive」を選択します

次に TestFlightに送るAppと ビルドバージョンを選び 右側の「Distribute App」 ボタンをクリックします

配信方法として TestFlightビルド用に 「App Store Connect」を選択します これでビルドを 内部および外部のテスターと 共有できます

テスターのタイプについては あとで説明するので ここでは 「Next」をクリックします App Store Connectに ビルドを自動的に送れるように 「Upload」を選択します

ビルドをアップロードするには 「Next」をクリックしてXcodeで Appレコードを作成します

あと数回クリックするだけで ビルドを提出できます Appをアップロードする際に シンボルファイルを含めておくと XcodeのCrashes Organizerへの クラッシュレポート送信時に シンボル名が追加されるので おすすめです

バージョンとビルド番号を 管理するように選択すると Appのビルド番号が有効かどうかを Xcodeの配信アシスタントが 検出できます

以前に使った番号など 無効な番号の場合 自動的に番号を増やして 有効な番号にするオプションが アシスタントから提示されます

署名の自動管理は デフォルトで選択されます Xcodeがプロファイルと証明書を 管理してくれるので 便利です

これが完了すると Xcodeによって App Store Connectに ビルドがアップロードされます

Appがアップロードされたら TestFlightを使ったテストを 実行できます

Xcodeでビルドを アップロードする場合の ベストプラクティスを いくつか紹介します

TestFlightを使用する場合 配信方法として必ず App Store Connectを 指定してください

バージョンおよびビルド番号に 注意してください 新しいビルドをアップロードする場合 ビルド文字列に 前のビルドよりも大きい番号を 指定する必要があります

証明書とプロファイルが 最新であることを確認してください これが原因でアップロードに 問題が発生することがよくあります 正しい情報を確実に使用するには Xcodeで署名を 自動管理すると便利です ビルドをテストする準備として あと2つのステップがあります テスト情報の追加と テストの開始方法について Aneeshaに説明してもらいましょう

テストの詳細を追加するには まずApp Store Connectで ビルドを表示します

App Store Connectの Appページを開き 一番上の 「TestFlight」をクリックして TestFlightにアクセスします

また App Store Connectの モバイルAppで Appページの 「TestFlight」セクションから TestFlightにアクセス することもできます

これで アップロードしたビルドが Food Truck Appの 「TestFlight」セクションに 表示されました TestFlightにアップロードされた ビルドは 期限切れになるまで 90日間アクティブな状態になります

90日目以降もテストを継続するには 追加のビルドを アップロードしてください

ここに 新たにアップロードした ビルドのステータスや 期限切れ日数などの 詳細が表示されます テストの詳細を追加するには ビルドをクリックします

テストの詳細を追加すると テスターがAppをテストする際に 何に注意すればよいかがわかるため 有益なフィードバックを 収集しやすくなります

今回のビルドの情報を 追加してみましょう

今回のビルドは初回のリリースです そのことを記述しましょう

また ユーザーが Food Truckのデザインを 変更できるようになったので そのこともテストの詳細に 記入しましょう

ビルド固有のテストの詳細を 記入することは重要です テスターがAppをテストする際に 最初に見る情報であるためです 完了したら「保存」をクリックします

テストの詳細を追加する時の ベストプラクティスを いくつか紹介します

テストの詳細はビルドごとに アップデートしてください テストの詳細はビルドと 関連付けられるため そのビルドで どのようなフィードバックが有益かを テスターに伝えるよい機会になります

テストの詳細は簡潔にすることを おすすめします 短い文や箇条書きを使い テスター候補にアピールできる 読みやすい情報にしましょう また テストすべき特定の機能や 気をつける既知の問題について 注意を促すとよいでしょう そうすれば テスターは 何をすればよいか理解し 作業に集中しやすくなります

最後に ビルドを テスターと共有する前に Appのテスト情報を 追加する必要があります

「一般情報」の下の 「テスト情報」セクションを クリックします

ベータ版Appの説明と Eメールアドレスを 追加する必要があります テスターはTestFlight Appから ベータ版Appの説明を 見ることができます Eメールで送られたテスターの フィードバックは ここに入力したフィードバック用 Eメールアドレスに送信されます

現時点では必要ありませんが Appを外部テスターに配信する前に 「ベータ版App Review情報」 セクションも 記入する必要があります テスト情報ページのアップデートは Appごとに1回行い 情報が変わった場合にのみ 再度アップデートが必要です

これで ビルドをテストする 準備が完了しました

ビルドをアップロードして テスト用に設定したら テスターを追加できます

TestFlightに追加できるのは 内部テスターと外部テスターの 2種類です このAppはまだ作成した ばかりであるため 最初はチーム内の小人数から フィードバックを 集めましょう

対象者を内部テスターとして Appに追加します

内部テスターとは あなたの組織のApp Store Connect のチームメンバーです Appの内部テスターとして 最大100人のチームメンバーを 指定できます

各内部テスターは 最大30台のデバイスに ビルドをインストールして テストできます 内部テスターは社内の ユーザーであるため 新しいビルドがすべて 自動的に配信されるように 設定できます

内部テスターを追加するには まず内部グループを 作成する必要があります そのためには App Store Connectの 「TestFlight」セクションで 「内部テスト」の横の プラス記号をクリックして 新しい内部テストグループを 作成します

グループを利用すれば 繰り返し実行できるテストプロセスを 作成できるため とても便利です グループ名を追加して 「自動配信を有効にする」を 選択したままで 「作成」をクリックします

内部グループが作成されました 「自動配信を有効にする」を 選択しているので ビルドはすでにこのグループに 追加されています 今後 この内部グループは アップロードされたすべてのビルドに 自動的にアクセスできます 1つ1つビルドをグループに 追加する必要はありません グループを作成したら 次にテスターを追加します 「テスター」の横の 青いプラスボタンをクリックして 誰を追加できるか確認しましょう

役割がAdminやApp Manager およびDeveloperまたはMarketingの App Store Connect チームメンバー全員が 追加できるテスターとして 表示されます 1つのAppに合計で最大100人の 内部テスターを追加できます

今回は Jerome Melissaと 私を選んで グループに追加します

内部グループにテスターが 追加されました 「ステータス」欄には招待された テスターが表示されます

追加されたテスターには Food Truck Appのテストへの 招待Eメールが送られます メールにはTestFlightでAppを 確認するリンクが含まれています

テスターが招待を受け入れ TestFlight Appを開き Food Truck Appを インストールする際に 最初に「テスト内容」 セクションが表示されます

このセクションには ビルドの設定時に追加した テストの詳細が表示されるため Appをインストールする前に 有益なフィードバックを 提供する方法を テスターに伝えることができます テスターはAppのさらに詳細な 情報も参照できます TestFlightの 「App情報」セクションに 先ほど追加した ベータ版Appの説明が表示されます

JeromeとMelissaが招待を受けて Appをインストールすると 最初のテスターになります

Appをテスターにインストール してもらえたところで TestFlightでのフィードバックの 仕組みを確認しましょう

テスターは複数の方法で フィードバックを提出できます 1つ目の方法は TestFlight Appの 「フィードバックを送信」 ボタンです この方法によるフィードバックは Appの「テスト情報」で指定した Eメールアドレスに送信されます

Appのテスト中にスクリーンショットを 撮影することもできます テスターはスクリーンショット プレビューで 画像を編集してマークアップし 追加情報を提供できます

この方法の場合 テスターは スクリーンショットとコメントを TestFlightに直接共有できます Food Truck Appが クラッシュした場合 テスターはクラッシュレポートを 提出できます テスターがレポートの送信に同意すると クラッシュ時の状況に関する フィードバックを追加できます

グループのページは テスターのエンゲージメントや Appのフィードバックの 概要を知るのに役立ちます

「ステータス」欄を見ると JeromeとMelissaは2人とも ビルドをインストールして テストしていることがわかります

テスターごとのセッション クラッシュ フィードバックの数や ビルドごとのセッション数と クラッシュの回数もわかります

これを見ると 調査が必要な クラッシュとフィードバックが いくつかあるようです 調査してみましょう

まず 左側の「フィードバック」 セクションから 「クラッシュ」ページに行きます

ここには テスターが提出した すべてのクラッシュが表示され クラッシュの詳細をまとめた表で すばやく確認できます 上部にあるフィルターを使えば プラットフォームやビルドごと またはデバイスごとに クラッシュを確認できます このクラッシュを選択すると Jeromeが提出したクラッシュ レポートの詳細が開き タイムゾーン バッテリー残量 接続タイプなどを 確認できます

Appがクラッシュした 理由を理解する上で この詳細情報はとても役立ちます

「スクリーンショット」ページでは テスターから送られた スクリーンショットの フィードバックを参照できます クラッシュのフィードバックと 同じように デバイスやビルド OSバージョンなどのフィールドで フィルタリングして 情報を絞り込むことができます この情報は 次回のビルドで行う 変更を判断するのに 役立ちます

スクリーンショットを選んで 詳しく調べることもできます

スクリーンショットの詳細ビューで 右上隅にある ダウンロードボタンを選択して 画像をデバイスにダウンロードしたり 「Xcodeで開く」ボタンを選択して Xcode Organizerで 開いたりできます

Xcode Organizerでは 選択したスクリーンショットや Food Truck Appに関する その他のビジュアルフィードバックと クラッシュを確認できます ここでは フィードバックに対応する際に 開発チーム宛のメモを記述して 解決済みとマークできます

これで TestFlightを使った テストの第1段階が 完了しました 反映すべき有益なフィードバックが 内部テスターから 得られました

TestFlightはテストの規模を 拡大して ニーズに対応できるように 設計されています

テスト対象者を拡大し 社内チーム以外のテスターと Appを共有してみましょう そのためには外部テスターを ビルドに追加します

外部テスターとは Appのベータ版テストに招待する 社内チームに属さない テスターのことです 1つのAppに合計で最大10,000人の 外部テスターを招待できます 外部テスターを招待する方法は 2つあり 招待するか パブリックリンクを 使用します あとで 2つの方法の 違いについて説明します

外部テスターによるテストを 開始するには まずビルドをApp Reviewに 提出します これは テスターがテストに参加する上で TestFlightが 安全で信頼できる場所であるように するためです

最後にもう1つ 覚えておいてほしいのは TestFlightでは テスターは 実際の課金なしで App内課金をテストできることです この機能は App Storeで Appを公開する前に 課金体験を改善するのに とても便利です

App Reviewでビルドが 承認されたら 外部グループを作成して テスターを追加できます

内部テストの時と同じように 「外部テスト」セクションの横の 青いプラスボタンをクリックして 新しいグループを作成します

シェフを何人か招待して Appをテストしてもらいましょう 「Chef Testers」という グループ名をつけます 「作成」をクリックします

外部グループでは 各テスターがアクセスするビルドを すべて手動で追加する必要があります

外部グループの ほとんどのセクションは 内部グループと似ていますが ご覧のように 「パブリックリンク」という 新しいセクションがあります

パブリックリンクは 外部テスターにAppを配信する Eメール以外の もう1つの方法です

Eメールによる招待と異なり パブリックリンクを使用して テスターを招待する場合 テスターのEメールアドレスは 必要ありません 登録の上限付きの固有リンクを 生成することで リンクをクリックした人が プログラムに登録して Appのテスターになれます リンクを共有する方法は ソーシャルメディアや Eメールのキャンペーンなど 任意の方法を使用できます

登録後 テスターは匿名のまま フィードバックを 提供することもできます

Chef Testersグループ用の パブリックリンクを作成しましょう 「パブリックリンクを有効にする」 ボタンを選択します

もう一度「有効にする」を クリックして このグループ用のパブリックリンクを 作成することを確定したら テスターの上限を設定します

これはリンクを使って登録できる 最大人数です 上限は1人から 最大10,000人まで設定できます 今回 最初は100人から 始めましょう 成功の秘訣は 少人数の テスターから始めて あとでグループを拡大することです グループの作成後 テストが進行中でも 上限はいつでも編集できます

「制限を設定」をクリックすると テスターを招待するための URLが作成されます

リンクをソーシャルメディアで 共有して Food Truck Appのテストに 招待してみます

誰かがリンクをクリックすると まだTestFlightをダウンロード していなければ ダウンロードするよう促され Food Truck Appを ダウンロードできます

外部テスターから提供された フィードバックは 内部テスターからのフィードバックや クラッシュと同じ場所に表示されます 対処方法やApp改善のための 活用方法は すでに説明した通りです この情報と診断を利用して テストをさらに数回繰り返しながら Food Truck Appを改善したら App Storeで公開する 準備が整います

今回はTestFlightを使って テストしたため App Store Connectに ビルドはアップロード済みであり あと数ステップで App Storeに提出して 公開できます

App Store Connectの 「App Store」タブを開き そのページで詳細を入力します ビルドはすでにTestFlightに アップロード済みのため 再度アップデートする 必要はありません 代わりに 画面の指示に従い ドロップダウンメニューで ビルドを選択します 「提出」をクリックして App Reviewに送信すれば 完了です

テストは1回限りの作業ではない ことを覚えておいてください ベストプラクティスは App StoreでAppを公開したあとも 継続的な開発サイクルにテストを 含めておくことです テストとリリースのプロセスで TestFlightを使用することを 検討する上で テストをさらに簡単に行える もう1つの方法を 紹介したいと思います Jeromeに説明してもらいましょう

今年 AppleはTestFlightと App Store Connectに Appをアップロードする 簡単な方法を導入しました Xcode Cloudです Appleデベロッパのために 設計され Xcodeに組み込まれた 継続的インテグレーション およびデリバリーサービスです

Appのビルド 複数の自動テストの並列実行 テスターへのAppの配信に役立つ クラウドベースのツールを 一か所で利用できるため 高品質なAppを迅速に 開発して配信できます

TestFlightと組み合わせて 使用するのに最適です Xcode Cloudでは ワークフローを基に作業が行われます どのようなアクションをいつ行うかを Xcode Cloudに対して指定する 設定です

それでは Food Truck用の ワークフローを作成しましょう

これはデフォルトのワークフローです ワークフローは 開始条件 ビルド環境 実行する一連のアクション デプロイメントや通知などの ポストアクションで構成されます デフォルトでは ポストアクションはありません ワークフローを編集して TestFlightデプロイメント用の ポストアクションを追加しましょう 最初に アーカイブアクションで TestFlightビルドの デプロイメント準備を 変更します このワークフローは 内部の デプロイメントのみに使用するので 「内部テストのみ」 オプションを選択します

外部テストやApp Store用に ビルドを準備する場合は 「TestFlightおよびApp Store」 を選択します

次に「ポストアクション」の プラス記号をクリックして アーカイブステップのあとに 行う処理を選択します 今回は「TestFlight 内部テスト」です

次に このワークフロー用の テスターグループを選択します ここでは 先ほど作成したQAチームを 選んで「追加」をクリックします

指定した開始条件により ワークフローがトリガーされると Xcode Cloudによって Appがビルドされ App Store Connectに 自動的にアップロードされて QAチームにTestFlightの 新しいビルドが通知されます

「保存」をクリックすると 完了です

Xcode Cloudには Xcodeから直接アクセスできます App Store Connectからも TestFlight Appのすぐ横から アクセスできます

Xcode Cloudとワークフローの 詳細については WWDCのビデオをご覧ください

継続的な開発サイクルに TestFlightを組み込む場合の ヒントをいくつか挙げます

小規模に始めて 徐々に拡大します Appの大幅な変更や 新機能の導入では テスターを徐々に追加していき 10,000人のテスター全員に Appを配信する前に 変更をテストできるようにすると よいでしょう

外部テスターは将来の ユーザー候補でもあるため テスター体験にも配慮することを おすすめします

各ビルドとテストで何を達成したいかを 明確にしてください これが円滑なテストプロセス作成に つながります

グループを使用して 繰り返し実行できる テストプロセスを作成しましょう グループは テスターを管理して ビルドを素早く配信できる 優れた方法です グループを設定して テスターを追加したら テストサイクルを開始して より迅速に新しいビルドを テスターと共有できます

そして Xcode Cloudを 開発プロセスで試してみてください TestFlightワークフローを自動化して 次のリリースまでの時間を短縮し Appの品質全般を改善できます

TestFlightで テスターのエンゲージメントを高め ベータ版Appに関する 有益なフィードバックを収集する 方法について みなさんの 理解が深まれば幸いです TestFlightの詳細や ドキュメントのリンクなどについては Apple Developer Webサイトを ご覧ください