---
schema_version: "1"
id: e57818ec2d4c8098f14d4e5f94d1b4de35791bd93fe26bb5d9e88d0b116923d6
title: Image Search
collection: mulesoft
version: current
locale: ja-jp
portal_url: https://docs.salesforce.com/mulesoft/current/ja-jp/rpa-builder/6.2/toolbox-checks-image-search.md
canonical_url: https://docs.mulesoft.com/jp/rpa-builder/6.2/toolbox-checks-image-search
source_site: docs.mulesoft.com
content_type: documentation
content_hash: efb93457d09f60f1aab533c3c980e19ed3008a004f42876323b24816a566db32
description: MuleSoft Documentation Site
release: "6.2"
latest: false
---
# Image Search

_Image search_​ アクションステップは、ユーザー定義の画像を検索し、画像が表示されるか、非表示になるまで待機します。また、マウスクリックの相対的なアンカーポイントとして使用することもできます。この場合の画像には、写真だけでなく、レタリングやコントロール要素 (ボタンなど) の視覚的な表現も含まれます。

_Image search_​ の最も一般的なユースケースには次のようなものがあります。

- 読み込み時間の計算
    
    Web ページの読み込み時間やアプリケーションが遠隔サーバーからデータを取り込む時間を計算するには、ウィンドウが表示されるまで待機するだけでは不十分です。そのような場合、コンテンツが表示されたとき、つまり画像が表示されたときにのみ Web ページやアプリケーションが読み込まれたと言えます。
- リモートアプリケーションからのフィードバックの確認
    
    測定対象アプリケーションが遠隔システムで実行されていて、ワークフローで Citrix クライアントや VCN のような、ユーザーインターフェースをグラフィカルに表示するが制御を返さないリモート接続ツールを使用する必要がある場合、Image search は、目的のコンテンツが画面上に表示されたことを確認する唯一のツールになります。
- 画像を基準とする相対的な位置へのマウスの配置
    
    最後に、画像の位置を使用すると、画像に対して相対的にマウスクリックを配置できます。たとえば、Web ブラウザーのアドレスバーに URL を入力したり、ユーザーおよびパスワード項目にログイン情報を入力したりできます。

_Image search_​ で実際に行われている作業は、​_検索領域_​全体に対して記録された​_パターン画像_​を比較することです。実行時に、​_検索領域_​のスクリーンショットを撮り、選択した​_画像検索_​アルゴリズムを適用し、​_パターン画像_​と比較します。実行するコンピューターと​_ワークフロー_​が最初に作成されたコンピューターで画面解像度が異なる場合、​_検索領域_​は自動的に調整されます。また、最低限の共通の色深度設定が使用されるため、たとえば、色深度が 32 ビットの​_画像検索_​を作成したが、実行するコンピューターの色深度が 16 ビットの場合、元の​_パターン画像_​はその場で現在のシステムの色深度に合わせて変換されます。これは、ワークフロープロパティ内で調整できます。

## [](#プロパティ)プロパティ

- **Compare Precision (比較精度)**
    
    これは、検索アルゴリズムモード ​_\[Color (色)\]_​ および ​_\[Gradient (グラデーション)\]_​ の追加設定です。これらのモードでは、実際のピクセルの色の値が記録されます。ピクセル値は GPU によって計算されますが、各計算結果のピクセル値は完全には一致しません。比較精度を 98% または 97% に下げることで、最下位ビットの値の変動を許容できます。
- **Edge detection threshold (エッジ検出しきい値)**
    
    エッジの検出につながる色間の違い (距離) のしきい値。しきい値が低いと、隣接するピクセルと比較したときの色の値の違いが小さくてもエッジとして検出されるため、検出されるエッジが多くなります。一方、しきい値が高いと、アルゴリズムで検索される​_パターン画像_​のエッジが少なくなります。
- **Hide Mouse (マウスを非表示)**
    
    このオプションが有効になっていると、​_画像検索_​中にデスクトップのマウスポインターが左上隅に移動します。これを有効にすると、アプリケーションや Web サイトのフロート表示効果がトリガーされることを回避できます。 これにより、マウスポインターが部分的に検索される画像に変換されないようになります。その後、マウスポインターは前の位置に戻ります。
- **Image search algorithm (画像検索アルゴリズム)**
    
    使用する​_画像検索_​アルゴリズム。​_\[Color (色)\]_​、​_\[Gradient (グラデーション)\]_​、​_\[Contour (輪郭)\]_​、​_\[Contour Plus (輪郭+)\]_​ オプションを使用できます。
    
    これらのモードについての詳細は、「​[さまざまな検索モード](#search-modes)​」を参照してください。
- **Image search type ​_Search for picture appear_​ (画像検索種別 画像の表示を検索)**
    
    表示されるまで画像を検索します。検出できるようになるとすぐに​_画像検索_​が成功とみなされます。
- **Image search type ​_Search for picture disappear_​ (画像検索種別 画像の非表示を検索)**
    
    画像を検出できなくなるとすぐに​_画像検索_​が成功とみなされます。画像は最初に検出される必要はないため、画像を検出する必要がある場合は、​_\[Appear (表示)\]_​ 種別の​_画像検索_​を最初に実行する必要があります。
- **Original desktop color depth (元のデスクトップの色深度)**
    
    (​_プロパティグリッド_​のみ): 画像が記録されたときの色深度 (ビット単位)。
- **Original desktop height (元のデスクトップの高さ)**
    
    (​_プロパティグリッド_​のみ): 画像が記録されたときのデスクトップの高さ (ピクセル単位)。
- **Original desktop width (元のデスクトップの高さ)**
    
    (​_プロパティグリッド_​のみ): 画像が記録されたときのデスクトップの幅 (ピクセル単位)。
- **_Pattern Image_​ File Path (パターン画像のファイルパス)**
    
    (​_プロパティグリッド_​のみ): 記録された画像のファイルの場所。
- **_Pattern image_​ rect (パターン画像の長方形)**
    
    (​_プロパティグリッド_​のみ): 検索する画像を囲む、デスクトップ上の長方形領域の元の座標 (左上隅、右下隅)。
- **Percentage required (必要なパーセント)**
    
    _画像検索_​の許容度 (画像を正常に識別するために必要な最小品質 (パーセント) のしきい値など) を決定します。 値が低いほど許容度が高くなりますが、偽陽性の可能性も高くなります。偽陽性を回避するため、この値を 90% 未満に設定しないでください。
- **Relative To (相対的)**
    
    _Mouse Clicks アクションステップ_​と同様に​_検索領域_​を前の​_画像検索_​に対して相対的にします。
- **_Search area_​ rect (検索領域の長方形)**
    
    (​_プロパティグリッド_​のみ): _検索領域_​を囲む、デスクトップ上の長方形領域の元の座標 (左上隅、右下隅)。
- **Wait time \[ms\] (待機時間 (ミリ秒))**
    
    2 つの後続の画像検索間の一時停止 (​_\[Wait until image is steady (画像が安定するまで待機)\]_​ がアクティブ化されている場合にのみ使用)。
- **Wait until image is steady (画像が安定するまで待機)**
    
    この機能は、画像の検出後に追加の​_待機時間_​を取り入れてから 2 番目の​_画像検索_​を実行する場合に使用されます。この 2 番目の実行の結果と前の実行の結果を比較することで、画像がまだそこにあり、位置が変更されていないことを確認できます。結果が同じ場合、​_画像検索_​が成功とみなされます。結果が同じでない場合、2 つの後続の画像検索の結果が同じになるか、タイムアウトに達するまで追加の​_画像検索_​が実行されます。
- **Interrupt time \[ms\] (中断時間 (ミリ秒))**
    
    主に ​_Java_​ アプリケーションで使用される: パフォーマンスの悪いアプリケーションに CPU リソースを提供するためにサービスが画像の検索を停止するミリ秒単位の時間 (​_\[Load Optimizer (負荷オプティマイザー)\]_​ がアクティブ化されている場合にのみ適用)。
- **Load Optimizer (負荷オプティマイザー)**
    
    有効になっている場合、画面上の画像を検索するために各試行間に ​_\[Interrupt time (中断時間)\]_​ 設定で定義された一時停止が実行されます。 シングルコアコンピューターで実行されている場合、この一時停止によって他のプログラムの作業時間を確保できます。
- **Performance Limit (%) (パフォーマンス制限 (%))**
    
    _画像検索_​でどの程度の CPU パフォーマンスを使用できるのかを定義します (​_\[Load Optimizer (負荷オプティマイザー)\]_​ がアクティブ化されている場合にのみ適用)。

## [](#変数)変数

- **Find Coordinate (検出座標)**
    
    画像が検出された場所の X および Y 座標。

## [](#ウィザード)ウィザード

![画像検索ウィザード](/mulesoft/current/ja-jp/rpa-builder/6.2/_images/image-search-wizard.png)

- **Start from scratch (最初から開始)**
    
    すべてのステップを使用して設定を開始します。
- **_Search area_​ (検索領域)**
    
    以前にキャプチャした画像を使用して、​_検索領域_​のみを再設定します。
- **_Pattern Image (パターン画像)_**
    
    検索する画像のみを再キャプチャします。
- **Refresh ​_Search area_​ (検索領域を更新)**
    
    ウィザードの右側にある​_検索領域_​フレームを現在のデスクトップ状況で更新します。これにより、定義された​_検索領域_​にまだ画像が含まれているかどうかを確認できます。
- **Show borders (境界線を表示)**
    
    アクティブな場合、​_パターン画像_​が青い境界線でマークされ、​_検索領域_​フレームの​_検索領域_​が赤い境界線でマークされます。
- **_Pattern Image (パターン画像)_**
    
    検索で使用する記録済みの画像を表示します。
    
    - **Check search (検索をチェック)**
        
        キャプチャされた画像が検出される可能性を評価します。結果は、​_パターン画像_​フレームの前にあるボックスに表示され、検出された画像の位置や一致精度 (パーセント単位) で構成されます。この機能では、​_検索領域_​フレームに表示される画像ではなく、現在のデスクトップが使用されます。
- **_Search area (検索領域)_**​ 画面上の画像がキャプチャされたときのデスクトップの状況を表示します。 _\[Show Borders (境界線を表示)\]_​ がアクティブな場合、検索画像の境界線が青で表示され、​_検索領域_​の境界線が赤で表示されます。 _\[Check search (検索をチェック)\]_​ を実行して画像が検索可能である場合、その位置が緑の境界線でマークされます。

## [](#キャプチャプロセスの開始)キャプチャプロセスの開始

ウィザードを使用して​_画像検索_​の設定を開始する手順は、次のとおりです。

1. **\[Start from scratch (最初から作成)\]**​ をクリックします。
2. 検索する画像が含まれるデスクトップセクションに青い選択フレームをドラッグします。
    
    ![「Select pattern image (パターン画像を選択)」 ダイアログ](/mulesoft/current/ja-jp/rpa-builder/6.2/_images/image-selection-frame.png)
    
    この選択フレームは常にデスクトップビューの一番上に表示されるため、見失うことなく画像が含まれる任意のデスクトップセクションに切り替えることができます。
3. コンテンツに合わせて選択フレームのサイズを調整します。
    
    選択フレームを関連するコンテンツに絞り込むには、エッジをドラッグしてサイズを変更します。キーボードの矢印キーを押してフレームを調整することもできます。矢印キーを押すとフレームが 1 ピクセルずつ移動し、​_Ctrl_​ + 矢印キーを押すと 5 ピクセルずつ移動します。 _Shift_​ + 矢印キーを押すと、フレームが 1 ピクセルずつサイズ変更されます。

安定した​_ワークフロー_​を作成するには、正しいパターンを選択してキャプチャすることが不可欠です。​_ワークフロー_​の実行で使用されるすべての画面解像度で最初に表示され、(理想的には) 位置があまり変わらない不変の一意のパターンを選択する必要があります。

### [](#デスクトップの一時停止)デスクトップの一時停止

短時間または特定の条件でしか表示されない​_パターン画像_​をキャプチャする場合、現在の状態のままデスクトップを一時停止して、​_パターン画像_​を選択できます。デスクトップを一時停止するには、キーボードの ​_Pause_​ キーを押します。​_\[Hover or click here to freeze Desktop (デスクトップを一時停止するには、ここにマウスポインターを置くかクリックしてください)\]_​ というバーをクリックして、タイマーを開始することもできます。 その後、キャプチャするデスクトップの状況を作成するための時間 (5 秒) が確保されます。一時停止機能を使用して、マウスの直接入力 (フロート表示効果など) でのみ表示される画像をキャプチャします。

デスクトップが一時停止すると、選択フレームに大きな ​_\[Unfreeze (一時停止解除)\]_​ ボタンが表示されます。このボタンをクリックすると、一時停止が再度解除されます。

### [](#小さい選択部分でのズームビューの使用)小さい選択部分でのズームビューの使用

画面の非常に小さい部分をキャプチャする必要がある場合 (どのような場合でも、この部分が識別に使用するのに十分に一意である方が良い)、​_パターン画像_​コンテンツの拡張ビューが必要になる可能性があります。青いフレームの ​_\[Show Zoom View for small selections (選択部分が小さい場合にズームビューを表示)\]_​ チェックボックスを有効にすると、ズームビューウィンドウが画面上に表示されます。このウィンドウは選択部分が小さい場合にのみ表示され、選択部分が大きすぎる場合は非表示になります。

### [](#画像のキャプチャ)画像のキャプチャ

100% の確度で画面の目的の部分を識別するには、必要な数の輪郭が画像に含まれていることを確認してください。小さい画像の方がすばやく検索でき、CPU パフォーマンスを必要としないため、画像はできる限り小さくしてください。画像の周囲の空白スペースが多くなりすぎないようにしてください。選択内容に問題がなければ、​`F10`​ を押すか、​_\[Capture (キャプチャ)\]_​ をクリックするか、フレームの任意の場所をダブルクリックして、選択した領域を​_パターン画像_​として保存します。

適切で安定した検索パフォーマンスを得るために、​_パターン画像_​のサイズは常に「必要なだけ大きく、できる限り小さく」のルールに従う必要があります。

### [](#検索領域のキャプチャ)検索領域のキャプチャ

_パターン画像_​をキャプチャすると、検索領域を定義する赤いフレームが表示されます。

![検索領域のキャプチャの例](/mulesoft/current/ja-jp/rpa-builder/6.2/_images/capturing-search-area.png)

これは、後で​_パターン画像_​が検索される画面の領域です。繰り返しになりますが、この選択部分は「必要なだけ大きく、できる限り小さく」する必要があります。常に​_パターン画像_​が含まれる十分な大きさが必要ですが、検索時の CPU 負荷を低減するためにできる限り小さくする必要があります。​_検索領域_​が大きくなるほど、CPU 負荷が高くなり、応答時間が長くなります。ただし、識別される​_パターン画像_​のデスクトップ上の表示位置は異なる可能性があるため、​_検索領域_​を絞り込みすぎないようにしてください。

_検索領域_​は​_パターン画像_​と同じ方法で保存できます。

_パターン画像_​を選択して​_検索領域_​を選択したら、RPA Builder は、定義された画像の現在の検索精度を評価します。

![画像検索の精度の例](/mulesoft/current/ja-jp/rpa-builder/6.2/_images/example-image-search-accuracy.png)

新しく記録された画像検索は、常に 100% の精度で検索されます。

## [](#search-modes)さまざまな検索モード

_Image Search_​ アクションステップでは次の検索モードがサポートされます。

- **_Color (色)_**​  
    最も単純で高速な検索アルゴリズム。デフォルト設定では、検索される画像の色が記録された画像の色と完全に一致している必要があります。ただし、画像の色の値は​_ワークフロー_​が実行されるマシンで (使用されるグラフィックスハードウェアによって) 異なる可能性があるため、画像検索を安定化するために ​_\[Compare Precision (比較精度)\]_​ 設定をダウンスケールする場合があります。色の一致精度は、100% (完全一致) から 88% (色の値の最下位 4 ビットを無視) までダウンスケールできます。
    
    _ワークフロー_​が実行されるハードウェアと、ワークフローが作成されたハードウェアが同じ場合にのみ ​_\[Color (色)\]_​ 検索アルゴリズムを使用します。
- **_Gradient (グラデーション)_**​  
    エッジを使用して​_パターン画像_​を検出しますが、実際のエッジ検索が実行される前に濃淡値をチェックします。そのため、同様の精度を使用する \[contour (輪郭)\] モードよりも高速に画像の有無を検出できます。濃淡値を使用すると、色のバリエーションに関する耐性が \[contour (輪郭)\] モードよりも低くなるという副作用があります。また、同じ濃淡値になる色は区別できません。
- **_Contour (輪郭)_**​  
    デフォルトの推奨検索アルゴリズム。これは色のバリエーションに関して非常に安定性が高く、色深度の変化やさまざまなデスクトップ解像度を処理できます。すべての色を減らして黒い領域にすることで (エッジは白いラインになる)、​_パターン画像_​の異なる色の値間の変化に基づいて輪郭検索画像を作成します。
- **_Contour Plus (輪郭+)_**​  
    この検索アルゴリズムは、文字と文書を識別することに特化して作成されました。​_\[Contour (輪郭)\]_​ モードと同じ手法が使用されますが、フォントスムージングの補正が追加されています。

## [](#contour-輪郭-および-contour-plus-輪郭-モードのしきい値の調整)\[Contour (輪郭)\] および \[Contour Plus (輪郭+)\] モードのしきい値の調整

いずれかの輪郭モードを使用する場合、黒/白のしきい値を調整できます。デフォルト値は 10 で、一般的に高コントラストの画像の最適な設定です。特にテキストを検索する場合は、調整する必要はありません。ただし、低コントラストの​_パターン画像_​や実際の画像を検索する場合は、輪郭が明確になるまでスライダーを調整することが必要になる場合があります。

![輪郭の検出を調整するための白と黒のしきい値スライダー](/mulesoft/current/ja-jp/rpa-builder/6.2/_images/contour-threshold.png)

たとえば、次の画像の 2 人の人物を ​_\[Contour (輪郭)\]_​ モードの​_パターン画像_​として使用するとします。

![2 人の人物と Max the Mule が表示されている画像の例](/mulesoft/current/ja-jp/rpa-builder/6.2/_images/example-image-contour-mode.png)

画像を記録すると、デフォルトのしきい値によって次の​_パターン画像_​が生成されます。

![輪郭があまりはっきりしないパターンの例](/mulesoft/current/ja-jp/rpa-builder/6.2/_images/pattern-image-1.png)

この画像では、多数の微妙な色のバリエーションにより輪郭画像のエッジが作成されたことを確認できます。

黒/白のしきい値を増加すると、画像検索では微妙な色のバリエーションが無視され、輪郭が明確になるため、画像検出の信頼性を高めることができます。

![しきい値設定を高くしたことで輪郭が明確になったパターンの例](/mulesoft/current/ja-jp/rpa-builder/6.2/_images/pattern-image-2.png)

## [](#トラブルシューティング)トラブルシューティング

異なるマシンの同じ画像を検索するときに問題が発生した場合、これらのシステムのシステムパラメーターがすべて同じであることを確認します。

問題を解決できない場合は、必要な一致精度を減らすことができます。ただしこれは慎重に行ってください。必要なパーセントが低すぎると、Image Search アクションステップでは、存在しない​_パターン画像_​が検出される可能性があります。

![画像検索の一致精度設定](/mulesoft/current/ja-jp/rpa-builder/6.2/_images/image-search-match-precision.png)

<table><tbody><tr><td class="icon"><i class="fa icon-warning" title="Warning"></i></td><td class="content">偽陽性を回避するため、一致精度を 90% 未満に設定しないでください。</td></tr></tbody></table>

## [](#関連情報)関連情報

- [ワークフロープロパティ](https://docs.mulesoft.com/jp/rpa-builder/6.2/workflow-configure-properties#properties)
- [システムパラメーターの確認](https://docs.mulesoft.com/jp/rpa-builder/6.2/checking-system-parameters)
- [1 つの設定を使用したシステムパラメーターの設定](https://docs.mulesoft.com/jp/rpa-builder/6.2/configure-system-parameters-one-setting)
- [Windows フォントの一致の確認](https://docs.mulesoft.com/jp/rpa-builder/6.2/ensure-windows-fonts-match)