小さなエンドウ豆

まだまだいろいろ勉強中

ラズパイをアラームに 2回目

季節外れの

こんばんは、最近季節外れの風邪にかかり体調が優れません。周りにも風邪ひきが結構いて季節外れでもないのかもしれないがこんな大事な時期にと気を落としております。
私にはまだ就職活動や研究などやらねばならぬことがいろいろとあるというのに…幸いキーボードはタイプできるのでやりかけていたラズパイアラーム化の計画を進めまとめていきたい

ラズパイを喋らせる

ラズパイに喋ってもらわないとアラームにもならないし独り身の僕が寂しいので喋らせることにした。参考したのはコチラである。
Raspberry Pi | ラズパイに喋ってもらう作戦(Open JTalk1.08のインストールと音声出力設定)

記事のタイトルがすごく気に入ってこれを参考にラズパイを喋らせる作戦に僕も成功しました!
ここで私は初めてbin直下のファイルを作るということを経験しましたがシェルの知識が皆無なので勉強しないとファイルの内容は理解できないと新たな課題を見つけることができました。
そして実行です!

jsay お大事に!

ちなみに第一声は「お大事に!」です。デフォルトで女性の声になっていたので安心しました。しかし作業感が拭えなかった アレンジなどできるならやってみたい。

ちっさい蛇

次に前回書いたスクリプトで天気を取得してきたのでその結果をラズパイに喋らせたい、あの事務的な声で天気を明日明後日の天気を喋らせたいと思いすこしスクリプトに編集を加えいざ実行…
しかし動かなかった。原因はPythonのバージョンにあった。Python2でどうやら実行していたみたいでスクリプトはPython3系の文法で書かれているため動かなかったみたい。

ではPython3で実行すれば良いではないかと思わるかもしれないがそもそも僕のラズベリパイ上でろくにPythonを各環境が整っていなかったことがわかったのでまずそれからしようと決意した。

いままでPythonを書くとき頼ってきたのがAnacondaである。今回はMinicondaというものを使いたいと思う。理由はanacondaがRaspbian上で動くか怪しかったためである。

まずはMinicondaのインストールを行うシェルスクリプトのファイルをダウンロードしてきて実行する

$ wget http://repo.continuum.io/miniconda/Miniconda3-latest-Linux-armv7l.sh
$ bash Miniconda3-latest-Linux-armv7l.sh

あとはAnacondaと同じ要領でインストールを行う。

これで環境は整った!以下が実行したスクリプトである

import urllib.request
import json
import os

city = '330010'

res = urllib.request.urlopen('http://weather.livedoor.com/forecast/webservice/json/v1?city=%s'%city).read()

res = res.decode('utf-8')

res = json.loads(res)

text = res['title']
text = "".join(text.split(" ")[1:])

for forecast in res['forecasts']:
        text = text + forecast['dateLabel'] + forecast['date'] + forecast['telop']

print(text)

cmd = "jsay " + text

os.system(cmd)

読み上げる文字列がコチラである

岡山の天気今日2016-04-24晴れ明日2016-04-25晴れ明後日2016-04-26晴のち曇

ここで必要なのが文字列中にスペースがあると続けて読まれないので注意! そのために14行目あたりにスペース除去のための処理を書いているのだがもっとよい書き方はないかと模索中
あと日付だが数字をそのまま読むためフォーマットを変える必要がある。

  • 14行目の書き方の改善
  • 年月日の形式の変更
  • 天気以外にも何か読ませる(一応予定ではgoogleカレンダーの予定を読ませるつもり)

これらを次までの目標としたい

新企画! ラズパイをアラームに

単位をください

こんばんは、4年生になった今でも講義を取らなくてはいけない大学生です...

意識の高い私大学生は1,2限の講義をとってしまった。というよりその講義しか興味なかったという方が正しいかも

というわけで起きれる目覚まし時計を作りたいのだが、大学生とはいえ多忙()な私にとってただの目覚ましじゃ物足りなくその日の予定なんかも同時に知りたい。更に言うなら天気なんかも知りたい。

ではどうするかとなったときそこにあったのはケース無しのラズパイ!(買ってSSHとかで使ってたけどほぼ使ってないw) これ使って「今日の予定+今週の天気をしゃべる」ものを作ろうと今日決意した。

これから何回かに分けてその経過をここに綴っていきたい…(3日坊主にならないようにしよ)

今日明日くらいの天気

天気を知るために便利なAPIがあるのは知っていたが今回はlivedoorのお天気APIであるWeather Hacksを使うことにした。

リクエストする際のURLは以下である
http://weather.livedoor.com/forecast/webservice/json/v1
これに都市を表すパラメータを付与しリクエストする。例えば岡山だったら
http://weather.livedoor.com/forecast/webservice/json/v1?city=330010
である。
返ってくるレスポンスはリンク先のとおりである。

次に実際に書いたスクリプトである。

import urllib.request
import json

city = '330010' # 岡山

res = urllib.request.urlopen('http://weather.livedoor.com/forecast/webservice/json/v1?city=%s'%city).read()

res = res.decode('utf-8') # レスポンスがバイト列であったためutf-8にデコード

res = json.loads(res) # json形式のレスポンスをデコード

text = res['title']

for forecast in res['forecasts']:
    print(forecast['dateLabel']+'('+forecast['date']+')' )
        print(forecast['telop']) 

これで岡山の今日の天気と明日の天気を得ることができた!

今日は花金なので早く休んで明日あたりでこれを喋らせることにしようと思う

Tensorflow入門

最近

最近は就職活動で忙しくしていたためなかなかブログを書くことができませんでした。
これから頑張って自分のスキルアップのため頑張りたいと思います。。。

Tensorflow

しかし就活中ながら隙間の時間に勉強会などに参加するようには心がけていた。そこでTensorflowの話題が上がった。私もずっとさわってみたいと興味はあったのだが何もしていない状態だったので今回入門してみることにした。

まずAnacondaのvirtualenvを使ってTensorflow用の環境を作る。 pythonのバージョンは最新?の3.5.1を使うことにした。

$ pip install virtualenv
$ conda create --name tensorflow_env python=3.5.1
$ source activate tensorflow_env

次にpipを使ってTensorflowをインストールするのだが...

(tensorflow_env)$ pip install --upgrade https://storage.googleapis.com/tensorflow/mac/tensorflow-0.6.0-py3-none-any.whl

…

Collecting setuptools (from protobuf==3.0.0a3->tensorflow==0.6.0)
  Using cached setuptools-20.9.0-py2.py3-none-any.whl
Installing collected packages: six, setuptools, protobuf, numpy, tensorflow
  Found existing installation: setuptools 20.7.0
Cannot remove entries from nonexistent file /home/nori/anaconda3/envs/tensorflow/lib/python3.5/site-packages/easy-install.pth

調べてみるとsetuptoolsがコンフリクトしているのが問題らしくconda removeでsetuptoolsをリムーブすれば大丈夫かと思いいろいろ試行錯誤してみたもののうまく行かず…

結局2系でTensorflowを使ってみることにした。

同じ要領でpython2.7.11の環境を作りTensorflowをインストールする。

$ conda create --name tensorflow_env2 python=2.7.11
$ source activate tensorflow_env2
(tensorflow_env2)$ pip install --upgrade https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.5.0-cp27-none-linux_x86_64.whl 

インスト−ルが完了すると早速インポートして試してみる

(tensorflow_env2)$ python
>>> import tensorflow
>>>

成功!
また最近jupyter notebookを使ってコードを管理しているためTensorflowのテストコードをipynbのファイルで残したいと思った。
そのままではjupyterでインポートはできなかったため調べてみるとカーネルを設定しなければならないらしい。pyenv-virtualenv + TensorFlow 環境設定覚書を参考にしてみる。
Tensorflow用のカーネルを追加する。

$ cd ~/.ipython/kernels
$ mkdir tensorflow && cd tensorflow
$ vim kernel.json
{
  "display_name": "TensorFlow (Python 2)",
  "language": "python",
  "argv": [
    "/home/User/anaconda3/envs/tensorflow_env2/bin/python",
    "-c", "from IPython.kernel.zmq.kernelapp import main; main()",
    "-f", "{connection_file}"
  ],
  "codemirror_mode": {
    "version": 2,
    "name": "ipython"
  }
}

これでjupyterでもTensorflowが使えた!
ちなみにテストコードはこんな感じ

import tensorflow as tf

hello = tf.constant("Hello Tensorflow!")
a = tf.constant(10)
b = tf.constant(20)
sess = tf.Session()

print sess.run(hello)
print sess.run(a+b)

今後の課題

今後の課題をいかに列挙しておく

  • Python3でなぜTensorflowが使えなかったのか?
  • jupyter notebookで作成したノートブックをはてなブログに埋め込めないのか
  • Tensorflowを使った応用プログラムの作成

これらのことについて今週中に頑張りたい

追記

linuxでpython3.5用のTensorflowをインストールするためにはTensorflowの公式ページにあった以下のコマンドを打てばよかった
(tensor_env)$ pip install --ignore-installed --upgrade https://storage.googleapis.com/tensorflow/linux/gpu/tensorflow-0.8.0rc0-cp27-none-linux_x86_64.whl

Challenge1をデータで見る!

気が気じゃない!

こんにちは、就職活動ってなんか気が気じゃなくいろいろ大変だなーと感じる
息抜きに趣味に没頭してみようとするも頭の片隅にいて集中できない
仕方なくコード書いてみるもうまく行かずにストレスが溜まる
はやく終わらせたいものです。

今日はそんな就職活動を忘れるべくChallenge1について書きたいと思います。

Challenge1 とは

Challenge1とはJリーグのJ2に所属しているファジアーノ岡山が掲げている目標である。
その内容は大きく言うといろいろな'1'を目指すものであるが、中でも数字が絡んでくるのが「平均入場者数1万人」という目標である。
私もその目標を達成すべく微力ながら毎試合ホーム戦は足を運んでいる。しかしその目標は大変でChallenge1初年の去年は8,412人という結果で終わった。
サポータの間でも知り合いを誘ったり、クラブ側もいろいろな施策を行っているように伺えたが数字が1万には達さなかった。
ここで岡山の地で平均1万人はそもそも無謀なのではないかという疑問が湧いた。 まず岡山が平均1万人呼べるポテンシャルがあるか調べてみた。

岡山のポテンシャル

岡山県の人口は全体で192万人で男性が922,294人、女性は999,887人である。(平成27年度国勢調査)意外にも女性の方が多いのがわかった。
数字だけ見ると平均1万人は楽勝に見えるが岡山県域すべての地域の人が毎試合見に行くとは考え難い。
次にスタジアムがある岡山市の人口を調べると、 全体で720,034人、男性は346,276人、女性は373,758人である。
更に岡山市岡山市でもスタジアムは北区にあるので北区の人口を調べてみると、全体で309,685人、男性は 151,163人、女性158,522人であった。
ちょっとわかりづらいので表にまとめると、

地域 男性 女性 全体
岡山県 922,294 999,887 192万
岡山市 346,276 373,758 720,034
北区 151,163 158,522 309,685

(単位は人である)
今回は男性と女性でしか分けていないが意外にも岡山県岡山市北区の男性だけでも毎試合来れば目標が達成できてしまうのである。
まあすべての人がサッカーに興味があるわけでも無いためここから削られて今のような人数になっているのだと思う。 しかし北区だけでも3人に1人、市内では7人に1人と考えると難しいと私は感じた。 しかし平均1万人は無理ではないと感じ、岡山はChallenge1を達成する能力があるとわかった。

では何をすればよいか

岡山県の人口がわかったところで試合にきてくれそうな県民192万人に向けどのように集客を試みればよいか僕なりに考えてみたいと思います。
まずは現状把握をしたいと思います。現在ホーム戦3試合終わり1万人越えた試合がなく、それぞれこのような結果となっている。

相手 入場者(人)
千葉 9288
京都 9098
北九州 7050

なぜこのような結果となっているかは分からないがまだ始まったばかりで判断がしにくい・・・
そこで前年度の結果の分析をしてみることにしてみました。
去年私はこのような分析のために試合後にいろいろなデータを保存してきた。まずはいろいろな属性のデータの中から入場者数と関係があるものを調べたいと思います。
f:id:h-piiice16:20160331001558p:plain
こんな感じである。描画したデータは

  • 日時(x軸のラベル)
  • 曜日(x軸のラベル)
  • 気温(青いグラフ)
  • 勝点(棒グラフの上のテキストの色 青:0点 黒:1点 赤:3点)
  • 入場者数(棒グラフ)

あと10000人を表すx軸に平行な赤い線を追加してみました。

分析

  • 昨季は1万人越えた試合は開幕戦の岐阜戦、セレッソ大阪戦、札幌戦、東京ヴェルディ戦の4試合でした。セレッソ戦では16000人近くの入場者を記録している。今季も幸いセレッソ戦はあるので期待できそうです。

  • 気温が上がると入場者が減っているように思えます。何か関係があるのかもしれません。去年の夏、毎試合うちわを配っていたのを思い出しましたが、それ意外にも何か取り組むと良いかもしれませんね・・・

  • 平日開催のゲームはやはり入場者数が落ちています。今季も3試合?くらいあるので覚悟が必要ですね。

  • 中四国のチーム(愛媛、讃岐、徳島)との試合は比較的入場者数が多い。これはPRIDE OF 中四国のPRのおかげかもしれません。今季はやJ2に所属するチームが昨季から1つ増え5チームとなっているため集客は見込めそうです。

  • あと意外にも勝ち試合で観客が少ないんですね。やっぱり私は勝つ試合が見たいと思うのでせっかくなら観客の多い試合で勝ちいろいろな方に次も見に行きたいと思って欲しいです。今季のホーム戦3試合では2勝1分けで負け無しなのでこれを続け集客にも繋がって欲しいです。


いろいろ偉そうに言ってきましたが本当にこの目標を達成しJ1という1にチャレンジしてほしいという気持ちであります。

matplotlibで書いた図をD3で可視化

なんてったってPython

こんばんは、このブログも長いもので2ヶ月くらい続いています。当初は3日坊主で終わるのだろうと思っていたのだが、案外書くのが楽しくなった。 ここ最近はデータ分析というよりデータの可視化に力を注いでおり、D3.jsを使って大変スマートな図を描画する術を勉強している私ですが、読み込むデータ(主にcsv)を作る作業も必要なのでその部分は大好きなpython(pandas)を用いて行っている。 ここで俺少年は考えた。Pythonにもmatplotlibという図を描画する有名なパッケージがあるではないか! matplotlibでD3書けないかなー そんなこんなで探してみるとmpld3という便利なパッケージがあった。

mpld3

早速使ってみることにした。まずはmatplotlibで普段通りグラフなりを描画する。

import matplotlib.pyplot as plt, mpld3
import numpy as np

a = np.aragen(20)
plt.plot(a, a**2)
plt.grid()
plt.xlabel('x')
plt.ylabel('y')

次にplt.show()ではなくmpld3.show()とするとデフォルトでlocalhost:8888に図が描画される。  

f:id:h-piiice16:20160329234124g:plain

こんな感じです。gifでキャプチャしてしまった…

Pythonなんでもできちゃうなーすごい(ステマ

ABテストで推しメン選び!?

推しメン選びと就職活動 苦労しますよね

こんにちは、相変わらず絶賛就活中の私です。また企業選びもそうですがなかなか推しメンも決めることができません。
しかし趣味を疎かにはしたくわありません。だったら就職活動に活きるかつ趣味にもなるものを作ろう!   今日はABテストの要領であるアイドルグループから推しメンを選ぶものを作ったのでそれについて説明します。

ABテストとは

ABテストとはAとB、2つのうちから良い物を選ぶために判断をするものである。よくウェブサイトのアクセスを最適化するため古いデザインとのサイト(A)と新しいデザインのサイト(B)をある指標、アクセス数だったりで比べ改善していくものである。
この要領であるアイドルグループの中から推しメンを決めるものを作りたいと思います。

乃木坂46

今一番乗りに載ってるグループだと思います。私も昔から興味があったのですが皆さん魅力的で推しメンを決めれずにいました。そのためおなじCDを何枚も買う羽目になったことが多々あります。しかし私は学生、金銭的にもそのような行為は避けたいのです。そのため私がどのメンバーに重きをおいているのか知りたいと思いABテストで推しメンを決めようと思いました。

完成形?

基本JavaScriptで裏も表も書きました。サーバーサイドのnode.jsのexpressで簡易サーバーをかきました。

// import express module

var express = require('express');
var fs = require('fs');
var app = express();

app.use(express.static('public'));

app.get('/', function (req, res) {
  res.send(fs.readFileSync("index.html", "utf-8"));
});

app.listen(3000);
console.log('Server running');

こんな感じですね。app.use()で静的ファイルを指定することができました。あとはindex.htmlを書き3000番ポートで僕みたいなやつを待ち受けるだけであるw
完成したものがこんな感じである。
f:id:h-piiice16:20160326224035g:plain

仕組み

最初AとBにランダムでメンバーの画像を表示します。次にいいと思うメンバーの画像をクリックします。

  • Aを押した場合…Bの画像に別のメンバーの画像を表示する
  • Bを押した場合…Bの画像をAの画像として表示し、Bの画像を別の画像に変える

これを繰り返し残ったメンバーを推しメンとする。

gifアニメ

私はChromebookというPCを用いて最近開発を行っている。ChromeOSで画面キャプチャを撮りgifのアニメーションにするのに苦労したのでそれについてもまとめたい。
てっとり早くいうとこれを使った。
Animated gif Capture これはChrome拡張機能で画面の動作をキャプチャしgifでローカルに保存できるのだ!最大5秒位だった気がする

まとめ

ABテストについてイメージを掴むことができたと思います。良い物が残っていき悪いものは捨てられる、残酷な世界です。
アイドルの皆さんもこのような残酷な世界で生活されているのだと改めて思うと尊敬します。
ちなみに本来の目的である推しメンを決めるテストは星野みなみちゃんでした。乃木坂ではこの子に注目することとしました!

Javascriptで書くプレゼン資料

OpenDataDay

今日はオープンデータデイということでデータ分析にチャレンジした結果を発表してきた。発表した内容に関してはまたいつか書き記したい。

使ったデータなどを可視化する際にD3.jsなどを利用した。実際にプレゼンするときそのまま載せたいと思いJavascriptでプレゼン資料が書けないかと思った。探してみるとreveal.jsという便利なものが見つかったので今回はそれの紹介をしたい。

reveal.js

簡単にいうとプレゼン資料を作るJSで比較的簡単に作ることができた。
まず、githubの方からreveal.jsをクローンする。

そのリポジトリの中身が以下のとおりである。

$ tree -d reveal.js
reveal.js/
├── css
│   ├── print
│   └── theme
│       ├── source
│       └── template
├── js
├── lib
│   ├── css
│   ├── font
│   └── js
├── plugin
│   ├── highlight
│   ├── leap
│   ├── markdown
│   ├── math
│   ├── multiplex
│   ├── notes
│   ├── notes-server
│   ├── postmessage
│   ├── print-pdf
│   ├── remotes
│   ├── search
│   └── zoom-js
└── test
    └── examples
        └── assets

この中のindex.htmlを編集していくのだがスライド一枚の内容を次のように記述していく。

<section>
プレゼンの内容
</section>

sectionの中身にはscriptも書け無事目的であるD3を使った図をのせることに成功した。
更に何よりうれしかったのがプレゼンをMarkdownで記述することができたことである。記述の仕方は次のとおりである。

<section data-markdown=""
            data-separator="^\n---$"
            data-separator-vertical="^\n>>>$">
        <script type="text/template">
        
   (内容)

        </script>
<section>

またスライドの移動の動きを変えることができ上の記述だと---横移動のスライド、>>>は縦移動するスライドを書くことができる。その他にもcssファイルをいじると違ったデザインのものを書くことができたり拡張性はあることが確認できた。
また機会があったら使ってみたい。てか使う!