Pytest との統合

Pytest は、小規模で可読性の高いテストを容易に作成でき、アプリケーションやライブラリの複雑な機能テストをサポートするようスケールアップも可能な Python テストフレームワークです。このチュートリアルでは、TestRail CLI を使用して、Pytest の自動テスト実行で生成されたテスト結果を TestRail に統合する方法を説明します。統合によって、自動テストの結果を中央で管理し、TestRail が提供するすべての解析およびレポート機能を活用できます。

概要

このチュートリアルでは、サンプルプロジェクトを使用して、TestRail CLI と互換性がある Pytest の自動テストプロジェクトをセットアップし、生成されたテスト結果をアップロードする手順を案内します。

このチュートリアルを通して読むと、以下のことができるようになります。

- Pytest プロジェクトからテストを実行する
- TestRail CLI をインストールする
- TestRail インスタンスを設定する
- CLI を実行する
- TestRail でテストケースとテスト結果を確認する

前提条件

簡単な Pytest テストプロジェクトをインストールし、実行するのに必要なものは、Python だけです。テスト結果をインポートするのに使用する TestRail CLI も Python で開発されたツールであるため、Python があれば TestRail もインストールして実行できます。

前提条件	説明
Python 3.10.4	OS に合ったバージョンをダウンロードし、インストールウィザードの指示に従います。正常にインストールされたことを確認するには、コマンドラインから `python --version` および `pip --version` コマンドを実行します。すると、バージョンが出力されます。

サンプルプロジェクトのインストール

まず、サンプルプロジェクトのコードを取得し、必要な依存ライブラリをインストールします。

1. サンプルプロジェクトをクローンまたはダウンロードします。
2. プロジェクトのルートフォルダーでコマンドプロンプトを開いて次のコマンドを実行します。

$ pip install -r "requirements.txt"

要件	説明
pytest	Pytest – Python 機能テストフレームワーク

サンプルプロジェクトの確認

任意の IDE を使用してサンプルプロジェクトを開き、テストファイルを確認します。このチュートリアルでは、実行結果のインポート方法に集中できるよう、自動テストのコードはシンプルにしてあります。これらのテストは、単に Selenium を使用してブラウザーでページを開き、下の例のようにいくつかのアクションと検証を実行します。

import pytest

def test_sum_two_numbers():
    assert 1 + 1 == 2

def test_sum_two_decimals(record_property):
    record_property("testrail_attachment", "sample_reports/testrail.jpg")
    assert 0.8 + 0.3 == 1.2

@pytest.mark.parametrize("test_input,expected", [("3+5", 8), ("2+4", 6)])
def test_sum_multiple_numbers(test_input, expected):
    assert eval(test_input) == expected

レポートへのファイルの添付

TestRail CLI を使用し、testrail_attachment プロパティにアップロード対象ファイルのパスを指定すると、テスト結果に加えて添付ファイルを追加することができます。JUnit レポートにこのプロパティを追加するには、上記のコードスニペットの test_sum_two_decimals テストのように、Pytest の record_property メソッドを使用し、testrail_attachment キーおよびその値としてパスを渡します。record_property メソッドを呼び出すには、テスト引数にメソッドを挿入する必要があることに注意してください。

サンプルプロジェクトの実行

同じコマンドプロンプトで次のコマンドを実行し、プロジェクトで Pytest のテストを実行して結果を JUnit XML 形式で保存します。

$ pytest --junitxml "junit-report.xml" "./tests"

コマンドが正しく実行されると、コマンドラインオプションで指定したとおり、レポートフォルダーに JUnit XML フォーマットの結果を含む junit-report.xml というファイルがあります。次のステップでは、このファイルを TestRail CLI で解析し、テストランを作成してテスト結果を TestRail へアップロードします。

<?xml version="1.0" encoding="utf-8"?>
<testsuites>
    <testsuite name="pytest" errors="0" failures="1" skipped="0" tests="5" time="0.063"
               timestamp="2022-07-22T11:51:34.060104" hostname="LAPTOP-09USROG2">
        <testcase classname="tests.test_subtraction" name="test_subtract_two_numbers" file="tests\test_subtraction.py"
                  line="0" time="0.001"/>
        <testcase classname="tests.test_sum" name="test_sum_two_numbers" file="tests\test_sum.py" line="3"
                  time="0.000"/>
        <testcase classname="tests.test_sum" name="test_sum_two_decimals" file="tests\test_sum.py" line="7"
                  time="0.000">
          <properties>
            <property name="testrail_attachment" value="sample_reports/testrail.jpg"/>
          </properties>
            <failure message="assert (0.8 + 0.3) == 1.2">def test_sum_two_decimals():
                &gt; assert 0.8 + 0.3 == 1.2
                E assert (0.8 + 0.3) == 1.2

                tests\test_sum.py:9: AssertionError
            </failure>
        </testcase>
        <testcase classname="tests.test_sum" name="test_sum_multiple_numbers[3+5-8]" file="tests\test_sum.py" line="11"
                  time="0.001"/>
        <testcase classname="tests.test_sum" name="test_sum_multiple_numbers[2+4-6]" file="tests\test_sum.py" line="11"
                  time="0.000"/>
    </testsuite>
</testsuites>

TestRail への結果のインポート

テストを実行し、 junit-report.xml ファイルを生成したら、TestRail CLI を使用して簡単にテスト結果 (およびテストケース) を TestRail にインポートできます。そうすると、自動テストの実行を可視化し、実際にどのようにアプリケーションがテストされているかに関する概要をすべて TestRail 内で参照できます。

TestRail CLI のインストール

すでにマシンに Python がインストールされている場合、TestRail CLI をインストールするには、コマンドラインで次のコマンドを実行するだけです。

$ pip install trcli

TestRail の設定

次に、下の手順に従って TestRail インスタンスを設定する必要があります。

1. [管理] > [サイト設定] に移動して [API] タブをクリックし、[API の有効化] オプションをオンにして TestRail API を有効化します。
2. 自動テストケースのコードと実際の TestRail のケースをマッピングするためのカスタムフィールドを作成します。それには、[管理] > [カスタマイズ] に移動して [フィールドの追加] をクリックします。フィールド作成画面に移動したら、下記の 2 つの要件に従ってフィールドを作成します。
  - システム名は automation_id
  - タイプは String

TestRail への結果の送信

TestRail CLI をインストールし、TestRail インスタンスの設定が完了したら、次のような 1 行のコマンドを実行してテスト結果をアップロードできます。

$ trcli -y \
>  -h https://INSERT-INSTANCE-NAME.testrail.io \
>  --project "My Project" \
>  --username INSERT-EMAIL \
>  --password INSERT-PASSWORD \
>  parse_junit \
>  --title "Pytest Automated Test Run" \
>  -f junit-report.xml

デフォルトの場所を変更した場合、-f オプションの後のファイル名がレポートファイルへのパスに一致している必要があります。その他のオプションはすべて TestRail インスタンスおよびプロジェクトに合わせます。他のコマンドラインオプションについては、プロジェクトリポジトリの TestRail CLI README.md ファイル、TRCLI のマニュアルページを参照するか、下記のコマンドを実行して CLI の組み込みヘルプを参照します。

$ trcli --help
$ trcli parse_junit --help

TestRail での結果の可視化

TestRail プロジェクトのテストケースページに移動すると、テスト結果レポートに含まれていたテストに対応するテストケースが TestRail によって自動的に作成されていることがわかるでしょう。JUnit レポートのテストごとに classname および name 属性を組み合わせて一意の Automation ID を追加していることに注目してください。この Automation ID を使用して自動化コードのテストと TestRail のテストケースをマッピングします。つまり、TestRail CLI を実行するたびに、TestRail の既存のテストケースと比較し、該当する Automation ID を持つテストケースがない場合にだけ新しいテストケースを作成します。

テストの名前、ファイル名、またはファイルの場所を変更した場合、テストの Automation ID が変わるため、 TestRail の既存のテストケースにマッピングされません。

[テストランと結果] ページでは、Pytest Automated Test Run という名前のテストランが作成されたのを確認できます。テストランを開き、各自動テスト結果の詳細をドリルダウンします。下の図に示すように、テスト自動化フレームワークが出力したエラーメッセージもテスト結果に登録されているため、テストが失敗した理由の高度な解析が可能です。

次のステップ

テスト結果が TestRail に集約されたので、失敗したテストのエラーメッセージも含めて自動テスト実行の結果を確認できるだけでなく、手動テストと自動テストをレポート上で集約し、アプリケーションに関する完全なテストカバレッジを表示したり、テスト自動化プロセスを追跡したりすることも可能です。また、手動テストの結果だけでなく、自動テストの結果から任意の課題トラッカーに直接バグをレポートすることもできます。

TestRail のレポート機能を活用する方法については、TestRail のレポートおよびテストメトリクスの動画を参照してください。

概要

前提条件

サンプル プロジェクトのインストール

サンプル プロジェクトの確認

レポートへのファイルの添付

サンプル プロジェクトの実行

TestRail への結果のインポート

TestRail CLI のインストール

TestRail の設定

TestRail への結果の送信

TestRail での結果の可視化

次のステップ

目次

サンプルプロジェクトのインストール

サンプルプロジェクトの確認

サンプルプロジェクトの実行