TDSEマガジン データ分析の記事

はじめに 1)学習 2)検証/予測 3)まとめ はじめに みなさんは学習データの前処理はどのように管理しているでしょうか。また、学習済みモデルを本番運用するとき、予測データの前処理はどのように実装しているでしょうか。学習時と予測時で異なる前処理をしてしまうと予測結果が意図しないものになってしまい大変です。それを防ぐためにも前処理フローの管理は非常に大切です。そこで今回は、「予測データの前処理はどのように実装するのか」に焦点を当て、その基本的な管理方法について記事に…

A/Bテストの概要（マーケター向け） A/Bテストに必要な統計学（分析者向け） 信頼性の高いA/Bテストを行うために（分析者向け） A/Bテストの概要（マーケター向け） A/Bテストとは 「ウェブサイトのレイアウトを変更して、売上が逆に落ちてしまい後悔する」 「ウェブサイトに新しい機能を追加したが、ユーザーがどのような反応するか心配になる」 などを経験したことがありますでしょうか。このような状況を防ぐには、A/Bテストを行うことが重要です。 　A/Bテストと…

前回は公平性の規準をいくつか定式化し、不公平性の緩和アルゴリズムを紹介しました。 第3部では、公平性のためのいくつかのツールを紹介した後、Fairlearnを用いて不公平性の緩和アルゴリズムの1つである閾値最適化アルゴリズムを実装していきます。その中で、モデル間の予測精度と公平性のトレードオフや各モデルの精度指標および公平性指標の可視化についても扱っていきます。 公平性とは何か 不公平が起こる原因 公平性の定義 不公平性の緩和 公平性のためのツール Fairle…

前回は不公平なAIシステムの活用事例を紹介し公平性とはどんなものかを概観しました。また、不公平の原因はバイアスにあることを述べ、いくつかのバイアスを紹介しました。 第2部では、いよいよ公平性の定義を扱います。また、いくつかの不公平性の緩和アルゴリズムも紹介します。ここで登場したアルゴリズムの1つを第3部で実際に実装していきますので楽しみにしていてください。 公平性とは何か 不公平が起こる原因 公平性の定義 不公平性の緩和 公平性のためのツール Fairlear…

日常生活の中に機械学習を活用したAIシステムやアプリケーションが浸透して久しいですが、それらは本当に適切な動作をしているのか、差別的な振舞いはしていないか、ということに疑問を持ち始めた方もいらっしゃるのではないでしょうか。余暇に鑑賞する映画のレコメンドや海外の記事を読むために用いる機械翻訳ツールなどの身近なものから、ローン申請や雇用など人生を変えるような重大な意思決定の中にも機械学習アルゴリズムは使用されています。例えば、雇用の場合を考えてみると、性別によって採用か否かの意思決定の結果…

はじめに Jupyter Notebook 計算資源の共有 ファイル共有、データ共有 Jupyter Hubとの連携 まとめ はじめに 機械学習に必要なマシンリソースをどのように管理されていますか？ クラウド上の仮想マシンやサービスを利用するケース、ローカルPCでなんとか頑張るなど、各個人でリソースを確保しているというケースも多いのではないでしょうか。 ここでは、TDSEで活用しているJupyter Notebookの実行環境としての計算資源の共有について…

深層学習の登場によってAI（人工知能）の計算能力が飛躍的に向上したことで、現在では音声認識からデータ分析、画像処理など、様々な分野でAIが精度を上げています。 特に画像認識・解析はAIが得意とする分野であり、高精度で画像や映像から特徴量を抽出することができます。 このようなAIによる高度な画像認識・画像解析は医療から生産、マーケティングに至るまで研究開発や実用化が進んでおり、結果、様々な業務を自動化することが可能になっています。このことから各分野ではコストや時間の削減、業務プロセスの…

人間のような知的活動をコンピュータプログラムとして行う人工知能（AI）は、広く一般的になりました。その流れに比例するようにディープラーニング、もしくは機械学習といった言葉を聞くことも増えてきています。しかし、中には言葉こそ知っていても、その意味を十分に理解していない方もいることでしょう。ここでは、ディープラーニング（Deep Learning）について解説します。 ディープラーニング（Deep Learning）が注目されている理由 Deep Learning（ディ…

AI（人工知能）の進歩において欠くことのできない「機械学習」と「ディープラーニング」。この二つについて、等号、つまりイコールのイメージをお持ちの方もいるのではないでしょうか。しかし、そこには大きな違いがあります。 ここでは、機械学習とディープラーニングの違いについて解説していきます。 AI、機械学習、ディープラーニングとは 機械学習とディープラーニングの違い ニューラルネットワークとは ニューラルネットワークの学習方法 PythonやMicros…

最近触っているCNTKパッケージですが、分散処理も行えるみたいです。 今まで分散深層学習をやってみたことはありませんでしたが、ドキュメントを見る限りでは 実装難易度が低そうで、簡単に並列計算ができそうな印象を持ちました。 https://docs.microsoft.com/en-us/cognitive-toolkit/Multiple-GPUs-and-machines 早速実装方法について上のドキュメントとサンプルコードを元に調査を行いましたので、 CNTKパッケー…