BigQueryでクエリ処理のフローを制御する方法にはいくつかのアプローチがありますが、複雑な処理実装や大規模な環境構築を必要とせず、視認性を保ちながら手軽に管理したい場合、GUI上で直感的に依存関係を定義できる「BigQuery パイプライン」が最も適した選択肢となります。また、クエリ処理の依存関係がなく、単発のクエリ処理を日次実行する目的でも「BigQuery パイプライン」は活用できます。ここでは「BigQuery パイプライン」の基本的な使い方を解説します。

クエリ処理の定期実行

複雑なワークフローを伴わない処理であれば、BigQuery パイプラインで必要十分であることが多いです。ここでは単一のクエリを定期実行する手順について解説します。

[BigQuery パイプラインの作成]
       ↓
[クエリタスクの追加と依存関係の設定]
       ↓
[パイプラインのスケジュール設定]
       ↓
[実行履歴とログの確認]

BigQuery パイプラインの作成

BigQuery パイプラインは、データ処理の目的や用途に合わせて個別に新規作成して管理します。処理対象のデータや更新頻度ごとに独立したパイプラインを用意し、その中で必要なクエリやタスクの依存関係を定義していく運用が基本となります。

クエリ タスクの追加

クエリを追加した後は、定期実行したいクエリを記述します。クエリの名称やBigQuery パイプラインの名称は適切な名称に変更してください。

設定したクエリは、通常の保存済みクエリとは異なり、独立したアセットとしてではなく作成した BigQuery パイプライン内のタスク（構成要素）として組み込まれます。そのため、クエリの管理や修正はすべて対象のパイプライン内で行う形となります。

パイプラインのスケジュール設定

パイプライン内に配置したクエリ群を定期実行するために、パイプライン全体のスケジューリング設定を行います。なお、「パイプラインをトリガー」と表記されていますが、どちらもパイプラインの実行条件を設定する同一のメニューとなります。

▼ 構成タイプ
　スケジュール（時間ベースの繰り返し）
▼ スケジュールの頻度
　繰り返しの頻度：毎日
　時刻：12:00
　タイムゾーン：日本標準時（JST）

実行履歴の確認

パイプラインをデプロイした後、上部の「実行」ボタンから「実行履歴」タブですぐに成功可否を検証する、という一連の開発ワークフローが直感的に行えるUIになっています。