Robot Framework は、オープンソースの汎用的な自動化フレームワークです。このフレームワークは、テストの自動化とロボティック プロセス オートメーション (RPA) に利用できます。このチュートリアルでは、TestRail CLI を使用して、Robot Framework の自動テスト実行で生成されたテスト結果を TestRail に統合する方法を説明します。統合によって、自動テストの結果を中央で管理し、TestRail が提供するすべての解析およびレポート機能を活用できます。
概要
このチュートリアルでは、サンプル プロジェクトを使用して、TestRail CLI と互換性がある Robot Framework の自動テスト プロジェクトをセットアップし、生成されたテスト結果をアップロードする手順を案内します。
このチュートリアルを通して読むと、以下のことができるようになります。
-
- Robot Framework プロジェクトから Selenium および Chromedriver を使用してテストを実行する
- TestRail CLI をインストールする
- TestRail インスタンスを設定する
- CLI を実行する
- TestRail でテスト ケースとテスト結果を確認する
前提条件
Selenium を使用してブラウザーを操作する Robot Framework プロジェクトをインストールし、実行するのに必要なものは、Python と Chromedriver だけです。テスト結果をインポートするのに使用する TestRail CLI も Python で開発されたツールであるため、Python があれば TestRail もインストールして実行できます。
| 前提条件 | 説明 |
|---|---|
| Python 3.10.4 | OS に合ったバージョンをダウンロードし、インストール ウィザードの指示に従います。正常にインストールされたことを確認するには、コマンド ラインから python --version および pip --version コマンドを実行します。すると、バージョンが出力されます。 |
| Chromedriver | 使用している Chrome ブラウザーのバージョンに合ったバージョンをダウンロードします。コマンド ラインからアクセス可能なフォルダーに Chromedriver を配置する必要があります。アクセス可能なフォルダーは OS によって異なる場合があります。正常にインストールされたことを確認するには、コマンド ラインから chromedriver --version コマンドを実行します。すると、バージョンが出力されます。 |
サンプル プロジェクトのインストール
まず、サンプル プロジェクトのコードを取得し、必要な依存ライブラリをインストールします。
-
- サンプル プロジェクトをクローンまたはダウンロードします。
- プロジェクトのルート フォルダーでコマンド プロンプトを開いて次のコマンドを実行します。
$ pip install -r "requirements.txt"
| 要件 | 説明 |
|---|---|
| robotframework | Robot Framework – 汎用的なキーワード駆動型自動化フレームワーク |
| robotframework-seleniumlibrary | Selenium Library – ブラウザーを操作するための Web テスト ライブラリ |
サンプル プロジェクトの確認
任意の IDE を使用してサンプル プロジェクトを開き、テスト ファイルを確認します。このチュートリアルでは、実行結果のインポート方法に集中できるよう、自動テストのコードはシンプルにしてあります。これらのテストは、単に Selenium を使用してブラウザーでページを開き、下の例のようにいくつかのアクションと検証を実行します。
サンプル プロジェクトの実行
同じコマンド プロンプトで次のコマンドを実行し、プロジェクトで Robot Framework のテストを実行して結果を JUnit XML 形式で保存します。
$ robot -d reports -x junit-report.xml "./tests"
robot コマンドの呼び出しが正常に実行されると、レポート フォルダーにテスト結果があるのが確認できます。
Robot Framework は 2 つのレポート ファイルを自動生成します。report.html ファイルを開くと、下の図のような見やすいフォーマットの Robot Framework HTML レポートを参照できます。
robot コマンド オプションで指定したとおり、JUnit XML フォーマットのテスト結果を含む junit-report.xml というファイルもあるはずです。次のステップでは、このファイルを TestRail CLI で解析し、テスト ランを作成してテスト結果を TestRail へアップロードします。
<?xml version="1.0" encoding="UTF-8"?>
<testsuite name="Tests" tests="3" errors="0" failures="1" skipped="0" time="18.629" timestamp="2022-05-16T23:47:08.789000">
<testsuite name="Homepage-Links" tests="3" errors="0" failures="1" skipped="0" time="19.961" timestamp="2022-06-13T15:27:14.662000">
<testcase classname="Tests.Homepage-Links" name="Go To My Account Page" time="5.705">
</testcase>
<testcase classname="Tests.Homepage-Links" name="Go To Demo Request Page" time="6.685">
</testcase>
<testcase classname="Tests.Homepage-Links" name="Go To Trial Request Page" time="6.059">
<failure message="Page should have contained text Wrong!!!' but did not." type="AssertionError"/>
</testcase>
<properties>
<property name="Documentation" value="Simple homepage links tests"/>
</properties>
</testsuite>
</testsuite>
TestRail への結果のインポート
テストを実行し、 junit-report.xml ファイルを生成したら、TestRail CLI を使用して簡単にテスト結果 (およびテスト ケース) を TestRail にインポートできます。そうすると、自動テストの実行を可視化し、実際にどのようにアプリケーションがテストされているかに関する概要をすべて TestRail 内で参照できます。
TestRail CLI のインストール
すでにマシンに Python がインストールされている場合、TestRail CLI をインストールするには、コマンド ラインで次のコマンドを実行するだけです。
$ pip install trcli
TestRail の設定
次に、下の手順に従って TestRail インスタンスを設定する必要があります。
-
- [管理] > [サイト設定] に移動して [API] タブをクリックし、[API の有効化] オプションをオンにして TestRail API を有効化します。
- 自動テスト ケースのコードと実際の TestRail のケースをマッピングするためのカスタム フィールドを作成します。それには、[管理] > [カスタマイズ] に移動して [フィールドの追加] をクリックします。フィールド作成画面に移動したら、下記の 2 つの要件に従ってフィールドを作成します。
- システム名は automation_id
- タイプは String
TestRail への結果の送信
TestRail CLI をインストールし、TestRail インスタンスの設定が完了したら、次のような 1 行のコマンドを実行してテスト結果をアップロードできます。
$ trcli -y \ > -h https://INSERT-INSTANCE-NAME.testrail.io \ > --project "My Project" \ > --username INSERT-EMAIL \ > --password INSERT-PASSWORD \ > parse_junit \ > --title "RF Automated Tests" \ > -f junit-report.xml
デフォルトの場所を変更した場合、-f オプションの後のファイル名がレポート ファイルへのパスに一致している必要があります。その他のオプションはすべて TestRail インスタンスおよびプロジェクトに合わせます。他のコマンド ライン オプションについては、プロジェクト リポジトリの TestRail CLI README.md ファイル、TRCLI のマニュアル ページを参照するか、下記のコマンドを実行して CLI の組み込みヘルプを参照します。
$ trcli --help $ trcli parse_junit --help
TestRail での結果の可視化
TestRail プロジェクトのテスト ケース ページに移動すると、テスト結果レポートに含まれていたテストに対応するテストケースが TestRail によって自動的に作成されていることがわかるでしょう。JUnit レポートのテストごとに classname および name 属性を組み合わせて一意の Automation ID を追加していることに注目してください。この Automation ID を使用して自動化コードのテストと TestRail のテスト ケースをマッピングします。つまり、TestRail CLI を実行するたびに、TestRail の既存のテスト ケースと比較し、該当する Automation ID を持つテスト ケースがない場合にだけ新しいテスト ケースを作成します。
テストの名前、ファイル名、またはファイルの場所を変更した場合、テストの Automation ID が変わるため、 TestRail の既存のテスト ケースにマッピングされません。
[テスト ランと結果] ページでは、RF Automated Tests という名前のテスト ランが作成されたのを確認できます。テスト ランを開き、各自動テスト結果の詳細をドリルダウンします。下の図に示すように、テスト自動化フレームワークが出力したエラー メッセージもテスト結果に登録されているため、テストが失敗した理由の高度な解析が可能です。
次のステップ
テスト結果が TestRail に集約されたので、失敗したテストのエラー メッセージも含めて自動テスト実行の結果を確認できるだけでなく、手動テストと自動テストをレポート上で集約し、アプリケーションに関する完全なテスト カバレッジを表示したり、テスト自動化プロセスを追跡したりすることも可能です。また、手動テストの結果だけでなく、自動テストの結果から任意の課題トラッカーに直接バグをレポートすることもできます。
TestRail のレポート機能を活用する方法については、TestRail のレポートおよびテスト メトリクスの動画を参照してください。