機械学習システムの技術準備レベル

May 25, 2024

Nature Communications volume 13、記事番号: 6039 (2022) この記事を引用

25,000 アクセス

9 件の引用

114 オルトメトリック

メトリクスの詳細

機械学習システムの開発と展開は、最新のツールを使用して簡単に実行できますが、通常、プロセスは急いでおり、手段を講じて目的を達成する必要があります。 勤勉さが欠けていると、技術的負債、範囲のクリープと目標のずれ、モデルの誤用と失敗、そして高価な結果につながる可能性があります。 一方、エンジニアリング システムは、明確に定義されたプロセスとテスト基準に従って、高品質で信頼性の高い結果を得るために開発を合理化します。 その極端なものは、ミッションクリティカルな対策とプロセス全体にわたる堅牢性を備えた宇宙船システムです。 宇宙船エンジニアリングと機械学習 (ドメイン領域にわたる製品を通じた研究) の両方の経験を活用して、当社は機械学習と人工知能のための実証済みのシステム エンジニアリング アプローチを開発しました。機械学習テクノロジー準備レベル フレームワークは、堅牢な、従来のソフトウェア エンジニアリングとの主な違いや、チームや組織を超えた人々が機械学習と人工知能テクノロジに協力して取り組むための共通語など、機械学習ワークフロー向けに合理化されながら、信頼性が高く責任あるシステムです。 ここではフレームワークについて説明し、物理研究からコンピューター ビジョン アプリ、医療診断に至るまでのユースケースを用いて説明します。

ソフトウェア、ハードウェア、データ、および人々のシステムにおける人工知能 (AI) および機械学習 (ML) テクノロジーの使用が加速しており、動的で信頼性の低い動作による脆弱性とリスクが生じています。 基本的に、ML システムはデータから学習し、これらのシステムがどのように動作し、環境と相互作用するかについて既知および未知の課題をもたらします。 現在、AI テクノロジーを構築するアプローチはサイロ化されています。モデルとアルゴリズムは現実世界の環境から隔離されたテストベッドで開発され、大規模なシステムや広範な製品のコンテキストなしで、展開のために統合されます。 主な懸念は、モデルが通常、厳選された少数のデータセットのみでトレーニングおよびテストされ、将来のシナリオに備えた対策や保護策がなく、下流のタスクやユーザーのことを考慮していないことです。 さらに、モデルとアルゴリズムは、隠れた ML コンポーネントの固有の確率性や障害モードを考慮せずにソフトウェア スタックに統合されることがよくあります。 たとえば、ランダム シードが深層強化学習モデルのパフォーマンスに与える多大な影響を考えてみましょう1。

土木や航空宇宙などの他のエンジニアリング分野では、明確に定義されたプロセスとテスト基準に従って、高品質で信頼性の高い結果を得るために開発を合理化しています。 Technology Readiness Level (TRL) は、ディープ テクノロジー 2 および大規模な科学的取り組みのためのシステム エンジニアリング プロトコルであり、相互依存する多くのコンポーネントと部門横断的な人々のチームを統合するのに理想的です。 TRL が NASA3 および DARPA4 の標準プロセスおよび用語であることは驚くべきことではありません。

宇宙飛行プロジェクトには、コンセプト前からプロトタイピング、展開された運用、そして製品寿命に至るまで、いくつかの定義されたフェーズがあり、それぞれに一連の厳密な開発サイクルとレビューが必要です。 これは、迅速な反復、迅速な導入、単純な線形進行を促進する一般的な機械学習やソフトウェアのワークフローとはまったく対照的です。 しかし、NASA の宇宙船システムの技術準備プロセスはやりすぎです。 ソフトウェア、ハードウェア、データ、人間からなる大規模システムと統合された堅牢な ML テクノロジーが必要ですが、火星へのミッションには必ずしも必要ではありません。 私たちは、リーン機械学習テクノロジー準備レベル (MLTRL) フレームワークを定義して実行することで、システム エンジニアリングを AI と ML に導入することを目指しています。 当社は、研究から生産に至る数十年にわたる AI および ML 開発を、さまざまなドメインおよび多様なデータ シナリオに活用しています。たとえば、医療診断や消費者向けアプリのコンピューター ビジョン、自動運転車や工場ロボットの自動化、科学的発見と因果関係を解明するためのツールなどです。推論、予測メンテナンスおよび財務における時系列のストリーミング。