前処理フロー管理
はじめに ①学習 ②検証/予測 ③まとめ はじめに みなさんは学習データの前処理はどのように管理しているでしょうか。また、学習済みモデルを本番運用するとき、予測データの前処理はどのように実装しているでしょうか。学習時と予測時で異なる前処理をしてしまうと予測結果が意図しないものになってしまい大変です。それを防ぐためにも…さらに詳しく
A/Bテスト
A/Bテストの概要（マーケター向け） A/Bテストに必要な統計学（分析者向け） 信頼性の高いA/Bテストを行うために（分析者向け） A/Bテストの概要（マーケター向け） A/Bテストとは 「ウェブサイトのレイアウトを変更して、売上が逆に落ちてしまい後悔する」 「ウェブサイトに新しい機能を追加したが、ユーザーがどのよ…さらに詳しく
社内研修
今回の記事では、入社4年目のデータサイエンティストが弊社の新人研修について簡単にご紹介いたします。 TDSEの新人研修で身に着けるスキルとは 一般社団法人データサイエンティスト協会の定義によれば、データサイエンティストには「ビジネス力」「データサイエンス力」「データエンジニアリング力」の3つが求められるとされています(参照：データサイ…さらに詳しく
社内イベントレポート
こんにちは。今回は、社内イベント「TDSE night」の参加レポートを新入社員からお送りします。技術的な話はほとんど出てこないですが、会社の雰囲気をお伝えできればと思い執筆いたしましたので、気軽に読んでいただけると思います。 そもそも「TDSE night」とは？ 「TDSE night」は、「お酒や食事を楽しみながら気軽に技術…さらに詳しく
fairness
前回は公平性の規準をいくつか定式化し、不公平性の緩和アルゴリズムを紹介しました。 第3部では、公平性のためのいくつかのツールを紹介した後、Fairlearnを用いて不公平性の緩和アルゴリズムの1つである閾値最適化アルゴリズムを実装していきます。その中で、モデル間の予測精度と公平性のトレードオフや各モデルの精度指標および公平性指標の可視化…さらに詳しく
