TDSEマガジン データ分析の記事

海外では、最先端のAI技術を活用したサービスを提供するベンチャー企業が、続々と生まれています。そのなかでも、今回は弊社TDSEが注目している海外ベンチャー企業を4社紹介します。 小売、社会インフラ、通信・メディア、金融の4つの業界に合わせて企業を厳選しましたので、ぜひ最後までご覧ください。 1.【小売】RILLA｜アメリカ   出典：RILLA RILLAは「実店舗における顧客と従業員の会話データ」を分析するサービスを提供している企業です。従業員のタブレットから顧客と…

深層学習の登場によってAI（人工知能）の計算能力が飛躍的に向上したことで、現在では音声認識からデータ分析、画像処理など、様々な分野でAIが精度を上げています。 特に画像認識・解析はAIが得意とする分野であり、高精度で画像や映像から特徴量を抽出することができます。 このようなAIによる高度な画像認識・画像解析は医療から生産、マーケティングに至るまで研究開発や実用化が進んでおり、結果、様々な業務を自動化することが可能になっています。このことから各分野ではコストや時間の削減、業務プロセスの…

差分の差分法の実装編になります。実装編本文中の数式は理論編のものとなります。理論編を合わせて御確認頂けますと幸いです。 理論編はこちら 4.Pythonによる実装 この節では実際にPythonを用いて、差分の差分法にもとづいた回帰分析及び集計を実装するコードを説明していきます。なお、筆者のPython及び各モジュールのバージョンは下記の通りです。 Python：3.7.7 numpy：1.21.5 pandas：1.3.5 matplotlib：3.5.1 statsm…

コロナ禍やインフレで物価が上昇し続けている昨今、消費者のモノやサービスの価格への関心が強まっている状況です。従来通りの価格設定では多様化するニーズに対応しきれず、消費者離れも懸念されます。 今回は小売業が価格戦略を変革すべき理由や、実施すべき戦略について解説します。 今、小売業が価格戦略を変革すべき4つの理由 小売業が価格戦略を変革すべき理由は、下記の4つです。 SDGsへの取り組みが求められているため 世の中の変化が激しく、従来の価格戦略では追いつかないため …

今回は差分の差分法という手法を解説します。理論編と実装編に分けての解説になります。 1.はじめに ビジネスにおいて何らかの施策を行ったときにその効果を検証することは重要です。施策の結果の良し悪しにもとづいて、施策を継続する、あるいは施策を中止して改善策を検討するといった意思決定を行う必要があるためです。しかし、データに潜むバイアスを考慮せずに施策の効果検証を行うと、施策の効果を過大評価/過小評価してしまう場合があります。 ここからは当社が得意とするマーケティングを例にとり解説をし…

はじめに 1)学習 2)検証/予測 3)まとめ はじめに みなさんは学習データの前処理はどのように管理しているでしょうか。また、学習済みモデルを本番運用するとき、予測データの前処理はどのように実装しているでしょうか。学習時と予測時で異なる前処理をしてしまうと予測結果が意図しないものになってしまい大変です。それを防ぐためにも前処理フローの管理は非常に大切です。そこで今回は、「予測データの前処理はどのように実装するのか」に焦点を当て、その基本的な管理方法について記事に…

A/Bテストの概要（マーケター向け） A/Bテストに必要な統計学（分析者向け） 信頼性の高いA/Bテストを行うために（分析者向け） A/Bテストの概要（マーケター向け） A/Bテストとは 「ウェブサイトのレイアウトを変更して、売上が逆に落ちてしまい後悔する」 「ウェブサイトに新しい機能を追加したが、ユーザーがどのような反応するか心配になる」 などを経験したことがありますでしょうか。このような状況を防ぐには、A/Bテストを行うことが重要です。 　A/Bテストと…

前回は公平性の規準をいくつか定式化し、不公平性の緩和アルゴリズムを紹介しました。 第3部では、公平性のためのいくつかのツールを紹介した後、Fairlearnを用いて不公平性の緩和アルゴリズムの1つである閾値最適化アルゴリズムを実装していきます。その中で、モデル間の予測精度と公平性のトレードオフや各モデルの精度指標および公平性指標の可視化についても扱っていきます。 公平性とは何か 不公平が起こる原因 公平性の定義 不公平性の緩和 公平性のためのツール Fairle…

前回は不公平なAIシステムの活用事例を紹介し公平性とはどんなものかを概観しました。また、不公平の原因はバイアスにあることを述べ、いくつかのバイアスを紹介しました。 第2部では、いよいよ公平性の定義を扱います。また、いくつかの不公平性の緩和アルゴリズムも紹介します。ここで登場したアルゴリズムの1つを第3部で実際に実装していきますので楽しみにしていてください。 公平性とは何か 不公平が起こる原因 公平性の定義 不公平性の緩和 公平性のためのツール Fairlear…

日常生活の中に機械学習を活用したAIシステムやアプリケーションが浸透して久しいですが、それらは本当に適切な動作をしているのか、差別的な振舞いはしていないか、ということに疑問を持ち始めた方もいらっしゃるのではないでしょうか。余暇に鑑賞する映画のレコメンドや海外の記事を読むために用いる機械翻訳ツールなどの身近なものから、ローン申請や雇用など人生を変えるような重大な意思決定の中にも機械学習アルゴリズムは使用されています。例えば、雇用の場合を考えてみると、性別によって採用か否かの意思決定の結果…