NUnit との統合

NUnit 自身の定義によれば、NUnit はすべての .NET 言語向けの単体テストフレームワークであり、元は JUnit から移植されたものです。NUnit は単体テスト用に設計されていますが、ライブラリを利用することで、統合テストやエンドツーエンドテストなど、他のレベルのテストを実装および実行できる能力があり、実際に使用されています。

このチュートリアルでは、TestRail CLI を使用して、NUnit の自動テスト実行で生成されたテスト結果を TestRail に統合する方法を説明します。統合によって、自動テストの結果を中央で管理し、TestRail が提供するすべての解析およびレポート機能を活用できます。

概要

このチュートリアルでは、サンプルプロジェクトを使用して、TestRail CLI と互換性がある NUnit の自動テストプロジェクトをセットアップし、生成されたテスト結果をアップロードする手順を案内します。

このチュートリアルを通して読むと、以下のことができるようになります。

- NUnit プロジェクトからテストを実行する
- TestRail CLI をインストールする
- TestRail インスタンスを設定する
- CLI を実行する
- TestRail でテストケースとテスト結果を確認する

前提条件

簡単な NUnit テストプロジェクトをインストールし、実行するのに必要なものは、.NET SDK だけです。

また、TestRail への結果のインポートに使用する TestRail CLI をインストールし、実行するには、Python も必要です。

前提条件	説明
.NET SDK	適切な .NET フレームワークをダウンロードし、インストールウィザードに従います。正常にインストールされたことを確認するには、コマンドラインから `dotnet –version` コマンドを実行します。すると、バージョンが出力されます。
Python 3.10.4	OS に合ったバージョンをダウンロードし、インストールウィザードの指示に従います。正常にインストールされたことを確認するには、コマンドラインから `python --version` および `pip --version` コマンドを実行します。すると、バージョンが出力されます。

サンプルプロジェクトのインストール

まず、サンプルプロジェクトのコードを取得し、必要な依存ライブラリをインストールします。

1. サンプルプロジェクトをクローンまたはダウンロードします。
2. プロジェクトのルートフォルダーでコマンドプロンプトを開いて次のコマンドを実行します。

$ dotnet restore
$ dotnet build

要件	説明
NUnit	.NET 言語用のテストフレームワークです。テストケースを実装するためのルールを定義し、アサーションメカニズムを提供します。
NUnit.ConsoleRunner	NUnit テストを実行するツールです。

サンプルプロジェクトの確認

任意の IDE を使用してサンプルプロジェクトを開き、テストファイルを確認します。このチュートリアルでは、実行結果のインポート方法に集中できるよう、自動テストのコードはシンプルにしてあります。これらのテストは、単に Selenium を使用してブラウザーでページを開き、下の例のようにいくつかのアクションと検証を実行します。

using NUnit.Framework;

namespace SimpleTestProject
{
    [TestFixture]
    [Category("SimpleMaths")]
    public class SumTests
    {
        [Test]
        public void SumTwoNumbers()
        {
            Assert.AreEqual(2, 1+1);
        }

        [Test]
        public void SumTwoNumbersWithDecimals()
        {
            Assert.AreEqual(2.5, 1 + 1.49);
        }

        [Category("SimpleMaths")]
        class SumMultipleNumbersTests
        {
            [Test]
            public void SumThreeNumbers()
            {
                Assert.AreEqual(3, 1 + 1 + 1);
            }
        }
    }
}

サンプルプロジェクトの実行

同じコマンドプロンプトで次のコマンドを実行し、プロジェクトで NUnit のテストを実行して結果を JUnit XML 形式で保存します。

$ .\NuGet\nunit.consolerunner\3.15.0\tools\nunit3-console ` 
>  SimpleTestProject\bin\Debug\net6.0\SimpleTestProject.dll ` 
>  --where "cat == SumAndSubtract" ` 
>  --result "reports/junit-results.xml;transform=SimpleTestProject/nunit3-junit.xslt"

result コマンドラインオプションの transform=SimpleTestProject/nunit3-junit.xslt に注目してください。NUnit には独自のネイティブレポートフォーマットがありますが、XSLT ファイルを使用して XML を変換することで、独自フォーマットを JUnit 形式のレポートに変換することもできます。そのため、NUnit チームは GitHub リポジトリに nunit3-junil.xslt transform file をホストし、誰でも利用できるようにしています。

nunit3-console の呼び出しが正常に実行されると、レポートフォルダーにテスト結果があるのが確認できます。NUnit コマンドオプションで指定したとおり、JUnit XML フォーマットの結果を含む junit-report.xml というファイルがあるはずです。次のステップでは、このファイルを TestRail CLI で解析し、テストランを作成してテスト結果を TestRail へアップロードします。

TestRail への結果のインポート

テストを実行し、unit-report.xm ファイルを生成したら、TestRail CLI を使用して簡単にテスト結果 (およびテストケース) を TestRail にインポートできます。そうすると、自動テストの実行を可視化し、実際にどのようにアプリケーションがテストされているかに関する概要をすべて TestRail 内で参照できます。

TestRail CLI のインストール

すでにマシンに Python がインストールされている場合、TestRail CLI をインストールするには、コマンドラインで次のコマンドを実行するだけです。

$ pip install trcli

TestRail の設定

<testsuites tests="7" failures="2" disabled="0" time="0.758739">
  <properties>
    <property name="_PID" value="16964"></property>
    <property name="_APPDOMAIN" value="nunit-agent"></property>
  </properties>
  <testsuite tests="3" time="0.079189" errors="0" failures="1" skipped="0" timestamp="2022-06-13T14:22:57.4201483Z" name="SimpleTestProject.MultiplicationTests.">
    <testcase name="MultiplyDataset(2,1,2)" assertions="1" time="0.007227" status="Passed" classname="SimpleTestProject.MultiplicationTests" />
    <testcase name="MultiplyDataset(2,2,4)" assertions="1" time="0.000076" status="Passed" classname="SimpleTestProject.MultiplicationTests" />
    <testcase name="MultiplyDataset(2,3,5)" assertions="1" time="0.070076" status="Failed" classname="SimpleTestProject.MultiplicationTests">
      <failure message="  Expected: 5&#xD;&#xA;  But was:  6&#xD;&#xA;">   at SimpleTestProject.MultiplicationTests.MultiplyDataset(Int32 a, Int32 b, Int32 expected) in C:\Github\automation-frameworks-integration\samples\dotnet\nunit\SimpleTestProject\Tests\MultiplicationTests.cs:line 19
      </failure>
    </testcase>
  </testsuite>
  <testsuite tests="1" time="0.000395" errors="0" failures="0" skipped="0" timestamp="2022-06-13T14:22:57.5001385Z" name="SimpleTestProject.SubtractionTests.">
    <testcase name="SubtractTwoNumbers" assertions="1" time="0.000312" status="Passed" classname="SimpleTestProject.SubtractionTests" />
  </testsuite>
  <testsuite tests="2" time="0.001553" errors="0" failures="1" skipped="0" timestamp="2022-06-13T14:22:57.5005518Z" name="SimpleTestProject.SumTests.">
    <testcase name="SumTwoNumbers" assertions="1" time="0.000061" status="Passed" classname="SimpleTestProject.SumTests" />
    <testcase name="SumTwoNumbersWithDecimals" assertions="1" time="0.001433" status="Failed" classname="SimpleTestProject.SumTests">
      <failure message="  Expected: 2.5d&#xD;&#xA;  But was:  2.4900000000000002d&#xD;&#xA;">   at SimpleTestProject.SumTests.SumTwoNumbersWithDecimals() in C:\Github\automation-frameworks-integration\samples\dotnet\nunit\SimpleTestProject\Tests\SumTests.cs:line 18
      </failure>
    </testcase>
  </testsuite>
  <testsuite tests="1" time="0.000144" errors="0" failures="0" skipped="0" timestamp="2022-06-13T14:22:57.5021166Z" name="SimpleTestProject.SumTests+SumMultipleNumbersTests.">
    <testcase name="SumThreeNumbers" assertions="1" time="0.000082" status="Passed" classname="SimpleTestProject.SumTests+SumMultipleNumbersTests" />
  </testsuite>
</testsuites>

次に、下の手順に従って TestRail インスタンスを設定する必要があります。

1. [管理] > [サイト設定] に移動して [API] タブをクリックし、[API の有効化] オプションをオンにして TestRail API を有効化します。
2. 自動テストケースのコードと実際の TestRail のケースをマッピングするためのカスタムフィールドを作成します。それには、[管理] > [カスタマイズ] に移動して [フィールドの追加] をクリックします。フィールド作成画面に移動したら、下記の 2 つの要件に従ってフィールドを作成します。
  - システム名は automation_id
  - タイプは String

TestRail への結果の送信

TestRail CLI をインストールし、TestRail インスタンスの設定が完了したら、次のような 1 行のコマンドを実行してテスト結果をアップロードできます。

$ trcli -y \
>  -h https://INSERT-INSTANCE-NAME.testrail.io \
>  --project "My Project" \
>  --username INSERT-EMAIL \
>  --password INSERT-PASSWORD \
>  parse_junit \
>  --title "NUnit Automated Test Run" \
>  -f junit-report.xml

デフォルトの場所を変更した場合、-f オプションの後のファイル名がレポートファイルへのパスに一致している必要があります。その他のオプションはすべて TestRail インスタンスおよびプロジェクトに合わせます。他のコマンドラインオプションについては、プロジェクトリポジトリの TestRail CLI README.md ファイル、TRCLI のマニュアルページを参照するか、下記のコマンドを実行して CLI の組み込みヘルプを参照します。

$ trcli --help
$ trcli parse_junit --help

TestRail での結果の可視化

TestRail プロジェクトのテストケース ページに移動すると、テスト結果レポートに含まれていたテストに対応するテストケースが TestRail によって自動的に作成されていることがわかるでしょう。JUnit レポートのテストごとに classname および name 属性を組み合わせて一意の Automation ID を追加していることに注目してください。この Automation ID を使用して自動化コードのテストと TestRail のテストケースをマッピングします。つまり、TestRail CLI を実行するたびに、TestRail の既存のテストケースと比較し、該当する Automation ID を持つテストケースがない場合にだけ新しいテストケースを作成します。

テストの名前、ファイル名、またはファイルの場所を変更した場合、テストの Automation ID が変わるため、 TestRail の既存のテストケースにマッピングされません。

[テストランと結果] ページでは、NUnit Automated Test Run という名前のテストランが作成されたのを確認できます。テストランを開き、各自動テスト結果の詳細をドリルダウンします。下の図に示すように、テスト自動化フレームワークが出力したエラーメッセージもテスト結果に登録されているため、テストが失敗した理由の高度な解析が可能です。

次のステップ

テスト結果が TestRail に集約されたので、失敗したテストのエラーメッセージも含めて自動テスト実行の結果を確認できるだけでなく、手動テストと自動テストをレポート上で集約し、アプリケーションに関する完全なテストカバレッジを表示したり、テスト自動化プロセスを追跡したりすることも可能です。また、手動テストの結果だけでなく、自動テストの結果から任意の課題トラッカーに直接バグをレポートすることもできます。

TestRail のレポート機能を活用する方法については、TestRail のレポートおよびテストメトリクスの動画を参照してください。

概要

前提条件

サンプル プロジェクトのインストール

サンプル プロジェクトの確認

サンプル プロジェクトの実行

TestRail への結果のインポート

TestRail CLI のインストール

TestRail への結果の送信

TestRail での結果の可視化

次のステップ

目次

サンプルプロジェクトのインストール

サンプルプロジェクトの確認

サンプルプロジェクトの実行