け日記

最近はPythonでいろいろやってます

Python: 回帰モデルで市場反応分析

これまで緑本などで学んできた統計モデルを、マーケティングに応用するための勉強を行っています。 今回は市場反応分析を線形回帰モデルとポアソン回帰モデルで行います。 市場反応分析に関する理論や使用するデータは、マーケティングの統計モデル (統計解…

Python: statsmodelsでガンマ回帰

これまで読み進めてきた緑本を改めて復習するために、statsmodelsで一般化線形モデル(GLM)を作り、糖尿病に関するデータの回帰分析を行います。 実装はこちらです。 blog/statsmodels_gamma.ipynb at master · ohke/blog · GitHub データセット 今回はscikit…

Pythonで実装しながら緑本を学ぶ (第10章 階層ベイズモデル)

データ解析のための統計モデリング入門(通称、緑本)を読み進めています。 述べられている理論を整理しつつ、Rでの実装をPythonに置き換えた際のポイントなども深掘りしていきます。 今回は第10章です。PyMC3を使って階層ベイズモデルを表現します。実装は以…

Pythonで実装しながら緑本を学ぶ (第9章 GLMのベイズモデル化と事後分布の推定)

データ解析のための統計モデリング入門(通称、緑本)を読み進めています。 述べられている理論を整理しつつ、Rでの実装をPythonに置き換えた際のポイントなども深掘りしていきます。 今回は第9章です。PyMC3を使って、GLMをベイズモデルで表現します。実装は…

Python: foliumで地図を描画する

Jupyter Notebook上で、緯度経度の情報を地図へ簡単にプロットできる方法を探していたところ、foliumの使い勝手が良かったので紹介します。 folium PythonからLeaflet.jsで地図をプロットするパッケージです。 https://github.com/python-visualization/foli…

Pythonで実装しながら緑本を学ぶ (第8章 マルコフ連鎖モンテカルロ(MCMC)法とベイズ統計モデル)

データ解析のための統計モデリング入門(通称、緑本)を読み進めています。 述べられている理論を整理しつつ、Rでの実装をPythonに置き換えた際のポイントなども深掘りしていきます。 今回は第8章です。実装は以下で公開しています。 introduction_to_machine_…

Pythonで実装しながら緑本を学ぶ (第7章 一般化線形混合モデル(GLMM))

データ解析のための統計モデリング入門(通称、緑本)を読み進めています。 述べられている理論を整理しつつ、Rでの実装をPythonに置き換えた際のポイントなども深掘りしていきます。 今回は第7章です。実装は以下で公開しています。 introduction_to_machine_…

Pythonで実装しながら緑本を学ぶ (第6章 GLMの応用範囲を広げる -ロジスティック回帰など-)

データ解析のための統計モデリング入門(通称、緑本)を読み進めています。 述べられている理論を整理しつつ、Rでの実装をPythonに置き換えた際のポイントなども深掘りしていきます。 今回は第6章です。実装は以下で公開しています。 introduction_to_machine_…

Pythonで実装しながら緑本を学ぶ (第5章 GLMの尤度比検定と検定の非対称性)

データ解析のための統計モデリング入門(通称、緑本)を読み進めています。 述べられている理論を整理しつつ、Rでの実装をPythonに置き換えた際のポイントなども深掘りしていきます。 今回は第5章です。実装は以下で公開しています。 introduction_to_machine_…

Pythonで実装しながら緑本を学ぶ (第4章 GLMのモデル選択)

前回から引き続き、データ解析のための統計モデリング入門(通称、緑本)を読み進めています。 述べられている理論を整理しつつ、Rでの実装をPythonに置き換えた際のポイントなども深掘りしていきます。 今回は第4章です。実装は以下で公開しています。 introd…

Pythonで実装しながら緑本を学ぶ (第3章 一般化線形モデル(GLM))

データ解析のための統計モデリング入門(通称、緑本)を読み始めました。 述べられている理論を整理しつつ、Rでの実装をPythonに置き換えた際のポイントなども深掘りしていきます。 今回は第3章です(前回の投稿はこちら)。実装は以下で公開しています。 introd…

Pythonで実装しながら緑本を学ぶ (第2章 確率分布と統計モデルの最尤推定)

データ解析のための統計モデリング入門(通称、緑本)を読み始めました。 述べられている理論を整理しつつ、Rでの実装をPythonに置き換えた際のポイントなども深掘りしていきます。 今回は第2章です。実装は以下で公開しています。 introduction_to_machine_le…

Python: レコメンドの行列分解を確率的勾配降下法で実装してMovieLens100Kに適用する

前々回の投稿( Python: レコメンドの行列分解を確率的勾配降下法で実装する - け日記 )では、欠測値やバイアスを考慮した行列分解を、確率的勾配降下法(SGD)で求める実装を行いました。 今回はおなじみMovieLens100K Datasetへ、このアルゴリズムを適用しま…

Python: scipy.sparseで疎行列計算する

疎行列計算用のモジュール scipy.sparse について解説します。 https://docs.scipy.org/doc/scipy/reference/sparse.html 疎行列クラス 疎行列とは要素のほとんど(90%以上)が0で構成される行列です。 レコメンドやソーシャルグラフなどの分野ではしばしば現…

Python: レコメンドの行列分解を確率的勾配降下法で実装する

過去3回の投稿で、行列分解(SVDとNMF)によるレコメンドを実装してきました。 Pythonで特異値分解(SVD)を理解する - け日記 SVDでMovieLensのレコメンドを実装する - け日記 NMFでMovieLensのレコメンドを実装する - け日記 ですが、いずれも欠測値やユーザご…