クラウド コンピューティングに必要な 5 つの機械学習スキル

クラウド コンピューティングに必要な 5 つの機械学習スキル

機械学習と人工知能は、IT サービス分野に浸透し続け、ソフトウェア エンジニアが開発したアプリケーションを補完するでしょう。 IT チームが追いつきたいのであれば、機械学習のスキルを向上させる必要があります。

クラウド コンピューティング サービスは、人工知能や機械学習アプリケーションの構築と展開に必要なさまざまな機能をサポートします。多くの点で、AI システムは、IT プロフェッショナルがクラウド内で使い慣れている他のソフトウェアとほぼ同じように管理されます。しかし、アプリケーションをデプロイできるからといって、機械学習モデルを正常にデプロイできるとは限りません。

[[351383]]

これらの共通点は移行を容易にする可能性がありますが、大きな違いもあります。ソフトウェア エンジニアリングのスキルに加えて、IT チームのメンバーは特定の機械学習と AI の知識も持つ必要があります。技術的な専門知識に加えて、チームの取り組みをサポートするために現在利用可能なクラウド コンピューティング ツールを理解する必要があります。

IT プロフェッショナルは、クラウドで AI を効果的に使用するために必要な 5 つの機械学習スキルを調査し、それらをサポートする Amazon、Microsoft、Google の製品について学習する必要があります。これらのスキルには重複する部分もありますが、すべての人に当てはまる万能のスキルはありません。これらのスキルを持つチームメンバーを育成することで、組織はクラウドベースの機械学習を活用するメリットを享受できます。

1. データエンジニアリング

IT プロフェッショナルがクラウドであらゆる種類の AI 戦略を実装したい場合は、データ エンジニアリングを理解する必要があります。データ エンジニアリングには、データ ラングリングとワークフロー開発、およびソフトウェア アーキテクチャに関する知識を必要とする一連のスキルが含まれます。

IT 専門知識のさまざまな領域は、IT プロフェッショナルが達成すべきさまざまなタスクに分類できます。たとえば、データ ラングリングには通常、データ ソースの識別、データの抽出、データ品質の評価、データの統合、およびパイプラインの開発が含まれ、運用環境でこれらの操作を実行します。

データ エンジニアは、リレーショナル データベース、NoSQL データベース、オブジェクト ストレージ システムの操作に慣れている必要があります。 Python は、Apache Beam などのバッチおよびストリーム処理プラットフォームや、Apache Spark などの分散コンピューティング プラットフォームで使用できる人気のプログラミング言語です。 IT スタッフが Python プログラミングの専門家でなくても、この言語に関する知識があれば、データ エンジニアリングや機械学習のための幅広いオープン ソース ツールにアクセスできるようになります。

データ エンジニアリングは、すべての主要なクラウド プラットフォームで十分にサポートされています。 AWS は、AWS Glue、Apache Kafka 向け Amazon Managed Streaming (MSK)、さまざまな Amazon Kinesis サービスなど、データエンジニアリングをサポートする包括的なサービスを提供しています。 AWS Glue は、スケジュールされたジョブのサポートを含むデータカタログおよび抽出、変換、ロード (ETL) サービスです。 MSK はデータ エンジニアリング パイプラインの便利な構成要素であり、Kinesis サービスはスケーラブルなストリーム処理パイプラインのデプロイに特に役立ちます。

Google Cloud Platform は、バッチ処理とストリーム処理の両方をサポートするマネージド Apache Beam サービスである Cloud Dataflow を提供しています。 ETL プロセスの場合、Google Cloud Platform は Hadoop に基づくデータ統合サービスを提供します。

Microsoft Azure では、Azure Cosmos DB、Data Catalog、Data Lake Analytics などの管理されたデータ ツールもいくつか提供されています。

2. モデルを構築する

機械学習は常に進化し進歩している分野であり、IT プロフェッショナルは機械学習アルゴリズムの研究と開発でキャリアを築くことができます。

IT チームは、エンジニアが提供するデータを使用してモデルを構築し、推奨事項の作成、値の予測、アイテムの分類が可能なソフトウェアを作成します。モデル構築プロセスの多くはクラウドで自動化されていますが、機械学習の基礎を理解することが重要です。

モデルビルダーは、データとビジネス目標を理解し、問題に対する解決策を策定し、それを既存のシステムと統合する方法を理解する必要があります。

市場に出回っている製品の中には、Google の Cloud AutoML があります。これは、機械学習についてあまり知らなくても、構造化データや画像、動画、自然言語を使用して組織がカスタム モデルを構築できるようにするサービスです。 Microsoft Azure は、モデルの構築、トレーニング、およびデプロイのためのインターフェイスを提供する Visual Studio の ML.NET モデル ビルダーを提供します。 Amazon SageMaker は、クラウドで機械学習モデルを構築およびデプロイするためのもう 1 つのマネージドサービスです。

これらのツールは、アルゴリズムを選択し、データ内のどの機能または属性が最も有用であるかを判断し、ハイパーパラメータ調整と呼ばれるプロセスを使用してモデルを最適化できます。これらのサービスにより、機械学習と人工知能戦略の潜在的な用途が拡大します。車を運転するのに自動車整備士である必要がないのと同様に、IT プロフェッショナルは効果的なモデルを構築するために機械学習の大学院の学位を取得する必要はありません。

3. 公平性と偏りの検出

アルゴリズムによって下された決定は、個人に直接かつ重大な影響を及ぼします。たとえば、金融サービスでは AI を使用して信用に関する決定を下しますが、その決定が意図せず特定のグループの人々に対して偏見を持つ可能性があります。これにより、個人への信用が拒否される可能性があるだけでなく、金融機関が信用機会均等法などの規制に違反するリスクも生じます。

これらの一見困難なタスクは、人工知能や機械学習モデルにとって不可欠です。モデル内のバイアスを検出するには、統計および機械学習のスキルが必要になる場合がありますが、モデル構築と同様に、面倒な作業の一部は機械で行うことができます。

FairML は予測モデルを監査するためのオープンソース ツールであり、開発者が作業中の偏りを特定するのに役立ちます。モデルのバイアス検出の経験は、データ エンジニアリングおよびモデル構築プロセスにも役立ちます。 Google Cloud の公平性ツールは、what-if 分析ツール、公平性指標、説明可能な AI サービスなど、市場をリードしています。

4. モデルのパフォーマンス評価

モデル構築プロセスの一部は、機械学習モデルのパフォーマンスを評価することです。たとえば、分類器は精度と再現率に基づいて評価されます。住宅の販売価格を予測するモデルなどの回帰モデルは、平均誤差率を測定することによって評価されます。

現在パフォーマンスが良好なモデルでも、将来はパフォーマンスが低下する可能性があります。問題は、モデルが何らかの形で壊れているかどうかではなく、モデルが使用されているコンテキストを反映していないデータでトレーニングされたことです。突然の大きなイベントがなくても、データドリフトが発生する可能性があります。モデルを評価し、運用環境で継続的に監視することが重要です。

Amazon SageMaker、Azure Machine Learning Studio、Google Cloud AutoML などのサービスには、さまざまなモデルパフォーマンス評価ツールが含まれています。

5. ドメイン知識

ドメイン知識は特定の機械学習スキルではありませんが、成功する機械学習戦略にとって最も重要な要素の 1 つです。

どの業界にも、何らかの形で研究しなければならない一定の知識体系があり、特にアルゴリズムを構築する意思決定者にとってはそれが当てはまります。機械学習モデルは、トレーニングに使用されるデータを反映するように制約されます。ドメイン知識を持つ IT スタッフは、AI をどこに適用するかを把握し、その有効性を評価する上で非常に重要です。

<<:  アントファイナンシャルの「テクニカルミドルプラットフォーム」:1億レベル分散システムアーキテクチャの実践

>>:  ウエスタンデジタルとDropboxが協力し、今日のデータ世界に向けた最先端のクラウドインフラストラクチャの導入を加速

推薦する

あまり知られていない VMware の 6 つのトリック

[[242514]] 1. VMware が esxi ネットワーク カード ドライバーをアップグレ...

最適化と入札の違いを分析する

「百度で検索すればわかる」は、今やインターネット上でよく知られたスローガンとなっている。「何千回もあ...

名誉毀損と騒乱の疑いのあるネット有名人「秦火火」の裁判が4月11日に始まる

中国新聞社、4月8日。北京市朝陽区人民法院の公式微博によると、北京市朝陽区人民法院は、2014年4月...

企業のマイクロブログ運営者が犯すよくある間違い

現在、多くの企業がWeiboプロモーションの重要性を認識し、この新しいツールの助けを借りて自社のマー...

Alibaba CloudとMagic Cube Lifeの最先端技術が連携し、スマートで安全な生活環境を創出

キーやパスワードは必要ありません。3 秒間スキャンするだけでコミュニティ アパートメントに入ることが...

インターネット PR コミュニティの皆様へ: ソフト コピー マーケティングには「読者を理解し、メディアを尊重する」ことが必要です

近年のセルフメディアの流行により、テクノロジーメディアはセルフメディアの影響を受けて繁栄しており、イ...

ソフト記事を通じてウェブサイトのSEO最適化を実現するテクニックを分析する

ソフト記事には多くの機能があり、ウェブサイトの SEO 最適化を支援するのはその 1 つにすぎません...

onevps: シンガポール直接接続 VPS レビュー、1Gbps 帯域幅/10T トラフィック

onevpsはどうですか? onevps ping、onevps テスト、onevps の速度はどれ...

ネットデバイスのイングレスとエグレスという二重の役割を理解する

この記事は、「Illustrated VPC & K8s Network Model」という...

なぜ多くの人がウェブサイト構築に MiTo テンプレートを選択するのでしょうか?

2018年最もホットなプロジェクト:テレマーケティングロボットがあなたの参加を待っています2018 ...

出会い系サイト MiniDates: 出会いは宝くじのようなもの

他の出会い系アプリと比較して、MiniDatesはリアルな出会いを促進することに力を入れていますデー...

用友経智が厦門橋星を「2017年産業インターネット優秀応用事例」に選出

(北京、2018年2月2日) 本日、工業情報化部の指導の下、中国情報通信研究院とインダストリアルイン...

Changeip: 遅ればせながら20%割引/Windows対応/防御対応/シャークデータセンターVPS/無制限トラフィック

changeipについては長い間ニュースがありませんでした。Sharkに正式に買収されて以来、割引情...

デッドリンクはウェブサイトの進行に影響します。ウェブマスターはデッドリンクをどのように対処すればよいでしょうか?

インターネット業界に参入する新しいウェブマスターが増えているのを見て、私は彼らを喜ばしく思いますが、...

インターネット上で最も血なまぐさい戦場: 2013 年に予測される 5 つの大きな変化

2012 年はオンライン ストレージにとって活発な発展の年であり、節目の年でした。海外では、世界最大...