2018-04-01から1ヶ月間の記事一覧

SQL ServerでJSON文字列の値の取得・設定を行なう

SQL Server 2016からJSON用の関数がいくつか追加されていますので、使い方を備忘録にしておきます。 ここでは以下のようにカラムにJSONの値が入っているテーブルを例にします。 値がJSONフォーマットかどうか 値がJSONフォーマットかどうか確認するには、ISJ…

Apache AirFlowをDocker環境で構築して簡単なジョブを作る

仕事でApache AirFlowを使う機会がありましたので、調査がてらに、Dockerで環境を構築し、簡単なジョブを定義します。 AirFlow AirFlowはジョブのスケジューリング・監視を、コード(主にPython)で定義・制御するためのプラットフォームです。ワークフロー、…

Python: Luigiの実行結果をCentral Schedulerで見やすくする

前回の投稿(Python: Luigiでデータパイプラインを作る - け日記)では、Pythonのデータパイプラインフレームワーク Luigi を使って依存関係のあるタスクを定義しました。 前回は1つ1つコマンドライン上で実行結果を見ていましたが、今回はCentral Schedulerを…

Python: Luigiでデータパイプラインを作る

バッチ処理の実装にLuigiを使う機会があり、少し調べて整理しました。 irisデータセットをダウンロードしてきて、scikit-learnで学習したモデルをS3にアップロードする、簡単なサンプルも作ります。 Luigi Luigiは、データパイプラインを記述するためのPytho…

C# クエリストリング(?var=hoge&...)を作る

C#

C#でクエリストリングを作る方法の備忘録です。 クエリストリングは、URLのパスの後ろに?変数名1=値1&変数名2=値2&...といった形で任意の値が渡される文字列です。例えば以下のような文字列です。 http://ohke.hateblo.jp/search?q=Python&page=1504879200 L…