ゲノミクスとプロテオミクスにおけるデータマイニングのジャーナル

概要

ノード指向ワークフロー (NOW): 高スループットデータ分析パイプラインのためのコマンド テンプレート ワークフロー管理ツール

 エリック・B・リプスキー、ブライアン・R・キング、ジェラルド・トロンプ

次世代シーケンシング（NGS）システムは、膨大な量のデータを生成するため、 一般的な分析タスクに必要な計算リソースが不足しています。また、異なる NGS システムによって生成されるデータは均一ではありません。さらに、一般的なタスクを実行するために利用できるツールは膨大にあります。NGS ワークフローの管理には、すぐに複雑になるカスタム スクリプトの作成が伴い、その結果、一般的な高性能コンピューティング リソースが十分に活用されない扱いにくいワークフローになり、これらのワークフローを管理するスタッフの要求が高まります。私たちは、高性能分散コンピューティング (HPC) システム用の動的コマンド テンプレート ワークフロー エンジンである Node-Oriented Workflow (NOW) を紹介します。私たちのシステムは、複雑なワークフローを設計および管理するための使いやすいブラウザーベースのフロント エンドを提供します。ワークフローは、シンプルなブラウザー インターフェイスを使用して構成され、統合されたジョブ エンジンによって管理されます。このジョブ エンジンは、ノードを初期化し、ノードの状態を監視し、HPC 構成内のノード間で個々のジョブの結果を処理します。私たちは、システム間での過剰なメッセージングを削減します。 依存関係が満たされたときにワークフローでタスクを開始する負荷をノードに課すことによって、ノードの負荷を軽減します。つまり、ノード指向のワークフローです。当社のシステムは、臨床研究環境での NGS 処理用に設計されており、ユーザーのシンプルさ、ツールのスケーラビリティ、ワークフローの冗長性の最小化を重視しながら、HPC 環境でのスループットを最大化します。さらに、NOW は NGS パイプライン管理に限定されず、あらゆる計算パイプラインの管理に使用できます。