データ解析の実務プロセス入門を読んだ
きっかけ
自分が今勤めているのが小売をやってる会社なんですが、 社内から「しっかり利益出すためにもデータ分析が大事だよね！情シスとしても色々提案して！」という声が上がってきたことがきっかけ。 ディープラーニングとかAIとか流行りのワードでの外からの提案などもあるので、検討する会社は多いのでは？と思ったり。
社内SEとして商品マスタやPOSデータと接する機会も多いです。自分の入社前から店舗や商品のデータ分析系ツールもある程度は用意されているんだけど、「店舗売上ランキング」「ABC分析」など集計値を見る程度。 売上低迷している店舗や商品に対する施策を練る目的で使うかというと、分析ツールの機能が多すぎて現場もどう使っていいか分からない模様。(つらい)
自分自身も商品開発や店舗運営の知識がある訳でもないので、提案と言われてもどう手をつけたらいいのか分からず、現場まできちんと落とし込めるようにするアプローチを学びたいと思って手に取ったわけです。
感想
実務プロセス入門というだけあって、目的設定からデータ収集、分析、検証までの道筋が示されていて、自分の求めていた内容。いい本に出会えてありがたい。 特に、分析だけやってればいい、他で問題があっても関係ないみたいな考え方は間違っているとか、仕事する上でのマインドセットが書かれていたのは印象的。(これ、データ解析以外でも通用する話だと思うので、若手に読んでもらいたいな。)
データ解析のアプローチについても、ドメイン知識が無くても出来る探索的データ解析についてはまさに知りたかった内容でした。早速自社のデータ使って分析してみたい。 ただ、今社内で持っていて分析に使っているのが本当に良いデータなのか、だいぶ不安。一つ一つを精査する必要がありそう。
新しいデータを集めるにしても、使えないデータにならないか慎重に進めるべきだなと。 読んでて思い出したけど、少し前にコンビニで客層ボタンやめるって記事になってた件、納得がいった。忙しくて適当に打ってるようなら分析に使うにも躊躇する。ポイントカードで客層データ集めた方が効率的で確実だし…
テキストマイニングも未経験の領域なのでやってみたい。TwitterやInstagramで自社関連のエゴサはよくやってるけど、活用できるレベルまで持ってこられるといいな。
まとめ
AIでデータ分析！とか華々しいキーワードで飾られていても、実際に運用するには泥臭いやり方で進めていくしかないなと改めて感じました。 技術の進歩も凄いですけど、新しいことにばかり向いていると現場とのギャップで辛さが増す(そして現場の人からの期待感はかなり大きい)ので、そういう現場にいきなり入る前の心構えとして、この本を読んでおくのも良いのかなと思いました。
関連書籍読みたくなりました。深掘りしていきたいです。
- 作者: あんちべ
- 出版社/メーカー: 森北出版
- 発売日: 2015/06/20
- メディア: 単行本（ソフトカバー）
- この商品を含むブログ (3件) を見る
子供用ハーネス試してみた感想
子供もそろそろ２歳になります。早い。 歩くのも達者になってきて嬉しい半面、ちょっと目を離すと遠くに行ってしまいそうなので、リストバンドタイプのハーネスを買いました。
↓これです。
迷子防止紐 ハーネス 子ども 迷子防止縄 お出かけ用品 事故防止 伸び縮可 超軽量（長めの2.5m オレンジ）
リュックタイプのハーネスを初めてみた時は、そこまで必要なのかなーと少し面食らったのですが、最近考えを改めました。 手をつないでいても、振り払って自分の好きな所に行ってしまうので、本当に命綱だと思いました。
最初はめちゃくちゃ嫌がっていたけど、付けているとそんなに気にならなくなったみたい。 芯にワイヤーが入っていて付け根が金属なので、ちょっと重いなという感じ。 あと、子供側のリストバンドはマジックテープが二重になっているので付けたり取ったりが手間ではある。 テープが固いので巻き方気をつけないと食い込んで痛くなりそうだなと思いました。
手をつなぐのが前提ではあるんですが、万が一のことを考えると安心感があって良いと思います。
.net, sqlserverで時間を扱う時のTipsとか
時間の計算とか、保存をする際に色々ハマったので。
はじめに
時間を扱うにあたって、実世界ではよくある「25時」とか「40時間」みたいな表記を.net frameworkやSQL Serverなどで用意されている時刻型データではうまく扱うことができず、文字列型で保持するような記事が散見されるのだけど、できるだけ時刻型データを使う方向で調査し得られた知見を残す。
.net編
日時データはDateTime、時間はTimeSpanを利用する。
25時とか非実在の時刻を表現するために
一度、TimeSpanに入れて、DateTimeに加算する。
giste189915923de3dbbd94503b4e67dfc57
TimeSpanをLinqで扱うとき
TimeSpanのList等を使う際には、Ticksを使う。
LinqでTimeSpanは使えず、プリミティブな数値型しか受け付けてくれないので、Ticks(long型)を介して集計等を行う。
↓例
SQL Server編
TimeSpanはTicksにしてbigintで保持
SQL Serverにはtime型があるが、有効範囲は00:00:00.0000000〜23:59:59.999999なので、24時間以上の時間は保持できない。(MySQLは838:59:59まで保持できるのに)
数時間ならばいいが、24時間を超えた経過時間を持つ際にはTicksでの保持になる。
既にTime型で持っている場合は、次の関数でbigintに変換すればよい。
参考：
T-SQLでカレンダーを作る
日付をキーとするようなデータを1ヶ月分表示するようなときに使える。 レコードが毎日作られるとは限らない場合、テーブルに保存されているデータだけではどこが欠けているのか分からないが、これを使えば全日分並べることができる。
declare @d as date = '2017-01-01'; with _month(i) as ( select 0 as i union all select i+1 from _month where i < datediff(day, @d, EOMONTH(@d))) select * from (select cast(DateAdd(day, i, @d) as date) as 日付 from _month) as A
何をしているのか
変数でその月の初日を用意しておく
そのまんま。
declare @d as date = '2017-01-01';
再帰CTE（共通テーブル式）を使って、その月の日数を列挙していく
そのテーブル式にwith句で_monthと名前をつけた。
EOMONTH関数を使うとその月の末日を返してくれるので、datediff関数で１日から末日までの日数差を出す。
結果、1月ならば列iに0〜30の値が入ったテーブル_monthができる。
with _month(i) as ( select 0 as i union all select i+1 from _month where i < datediff(day, @d, EOMONTH(@d)))
用意した変数に、DateAdd関数で日数を足していく
intervalをdayにして、0〜その月の日数-1 を足していけばカレンダーの出来上がり。
select * from (select cast(DateAdd(day, i, @d) as date) as 日付 from _month) as A
あとは、別のテーブルの日付とjoinすれば完了です。
「あなたのセキュリティ対応間違っています」を読んだ
僕が辻さんを知ったのは@ITの連載「セキュリティ・ダークナイト」だった。 当時、情報技術者試験のために覚えた付け焼き刃程度の知識しかなくて、辻さんの活きた話をなんだかドキドキしながら読んだ記憶がある。
そこから数年の間に、社内で勉強会やったりSECCONの地方大会でいいとこまで行けたりして、情報セキュリティについて人より詳しくなったきっかけを与えてくれた人だと思う。
転職してからは今まで以上に周りの人のセキュリティ意識が無い環境…周りに相談できる人も居ないので、どうやればダウンロードサイトのDownload Now!みたいな明らかに怪しいボタンを押さないように教育伝えていったら良いんだろうとか、パスワード管理の現実的な運用ルールとは？とか考えることが多くなった。
そんな時に僕の前に現れたのが…一冊の本だった。
＜ここまで前フリ＞
- 作者: 辻伸弘
- 出版社/メーカー: 日経BP社
- 発売日: 2016/10/21
- メディア: 単行本
- この商品を含むブログ (2件) を見る
内容としては、最近話題になったセキュリティ事故を挙げて、なぜ起こったのか？事故に対してどうするべきだったのか？背景も含めて詳しく解説されている。 いつうちで起きてもおかしくないなーというケースばかりだったし、どう対応するべきか？という部分は理想を押し付けるのでなく、現実的なアドバイスを提示してくれていて、セキュリティに詳しくない人に寄り添いたいという辻さんの思いがとても感じられました。
さっくり読める分量だったし、みんな読んだらいいんじゃないかな。
子育ては大変だ
先週息子が誕生し、奥さんの実家で家族3人になって初めての一夜を過ごしているのですが…
3時間間隔でおむつ交換、授乳サポート、布団の保温、げっぷが出るまで縦抱きとやってると約1時間はかかるので、2時間睡眠時間×3セットくらいでしょうか。
リアル「マジ2時間しか寝てないわー」状態。
抱いてて寝たな…と思って布団に入れるとハプハプ言い出すので、いつ寝てくれるか(僕はいつ寝られるのか)と時の長さを感じてこれがまた(´・ω・｀)
世の中のお母さんたちはご苦労されてるなと、改めて思う次第です。
でも息子は可愛いんですよね。
お雛巻き(奥さんは「たけのこ太郎」とか「春巻きちゃん」と呼んでる)してあげると、実にかわいい。
そのまま寝てるとマジ天使。無駄に写真撮っちゃう。
いいカメラが欲しくなりますね。
独自ブラウザ実装メモ
C#.netで独自ブラウザ組んでるんだけど、いろいろメモ
全体像
Windows FormアプリにWebBrowserコントロールを貼るだけ。
でもタブにも対応したいので、TabControlを貼ってWebBrowserコントロールをもつTabPageを都度増やす。
タブのカスタマイズ
CodeProjectのCustomTabControlが手軽に使えて良いと思います。
Painting Your Own Tabs - Second Edition - CodeProject
WebBrowserコントロールのブラウザ変更
デフォルトはIE7です。不安になります。 レジストリで変更可能。アプリ名がKeyで、IEのバージョンがValue。
IEのバージョンは次の値を指定。
Internet Feature Controls (B..C) (Internet Explorer)
新しいタブで開く機能
これ、結構面倒。 WebBrowserコントロールで新しいウインドウ開くときはIEが開く。やめてくれー。
WebBrowserで新しいウインドウを開くイベントをキャッチして、ウインドウを開く処理を奪い取ります。 アクティブなHTMLタグ（aタグ）を特定し、URLを指定して新しいTabPageを開くようにすると同時にIEを開くイベントをキャンセルします。
今回はIFrameにも対応。ページ遷移しないWebアプリではIFrameを使うことも多い（と思っている）ので。 Document.ActiveElementを取得しても、IFrameの中身のどのタグがアクティブかまではわからず、もう一手間必要。 Document.Window.Framesからフレームを指定して、内部のActiveElementを見ればよい。
今回作りきれてない部分
javascriptのwindow.openとか使ったとき。
[System.Runtime.InteropServices.ComVisibleAttribute(true)]
で、COM扱えるようにして、public void MethodA()をC#で実装したら、
javascript側でwindow.external.MethodA()みたいに呼び出してあげればよい。
できればC#のメソッドを呼び出すためのjavascriptはブラウザ側から注入してあげるのが良い。
まとめ
こんな感じ。
