pythonでMySQLに保存した日経先物データからチャートを作成する。
こんな感じ。日経先物の日足チャートをpythonで作成。グダグダしながらやってたから5時間くらいかかった。pythonのドキュメント少ない。。
出力のグラフはこれ。
ソースコードはこれ。
%matplotlib inline import pandas as pd import numpy as np import mysql.connector import pandas_datareader.data as pdr import matplotlib.pyplot as plt import datetime #データベース「nikkei」の「nk225days」テーブルから日時順に並び替えて、「年月日、時刻、終値」のデータを取り出す。 conn = mysql.connector.connect(user='root', password='xxxxxx', host='localhost', database='nikkei') cur = conn.cursor() cur.execute("select date,time,end from nk225days order by date asc,time asc;") year_array = [] price_array = [] #終値がゼロ(取引がない)ときを除いて、データを配列に格納する。 for row in cur.fetchall(): if not row[2] == 0: year_array.append(row[0]) price_array.append(row[2]) plt.plot(year_array, price_array) plt.show() cur.close conn.close
pythonで日経先物分析をするために、データを格納するmysqlを作成する②
前回MySQLを作成しましたが、データベースを作るだけではあまり意味がありません。中にデータを入れなきゃ使えません。ということでwebサイトから日経先物のデータを取得して、そのデータをMySQLに格納することにようやく成功しました。ちなみに言語はRubyでやりました。分析はpythonでやるんだからデータ取得、格納もpythonでやればよかったかなとちょっと後悔してますが、Rubyのほうが馴染みがあったので。今回はつまづいたポイントをいくつかメモとして残しておきます。
ruby on railsではMySQLを利用したことあったんだけど、単純なrubyプログラムからのMySQL利用はやったことありませんでした。そのため割と時間がかかりました。ていうか、railsと同じくActiveRecordで出来るんやね。知らなったよ。てっきり「MySQL2」ライブラリとか使ってinsertするのかと思ってたよ。時間かかった。(そもそもpythonでやればもっと簡単だったのかも)
require "active_record" class Nk225day < ActiveRecord::Base end # スクレイピングで取得した項目を「nk225day」テーブルの各項目に格納して、保存する。 nk225day = Nk225day.where(date: date, time: time).first_or_create nk225day.start = start nk225day.high = high nk225day.low = low nk225day.end = endx nk225day.volume = volume nk225day.value = value nk225day.save
TOPIX先物のデータを格納するMySQLのテーブルを日経先物と同じように作成していました。で、データを格納した後に気づいたこと。。小数点が落ちてる。。てっきり忘れてました。ターミナルから以下のコマンドで型を変更
#「tpdays」テーブルの「start」カラムをFLOAT型に変更。FLOATの後ろのカッコは6桁表示でうち2桁は小数点という定義。 mysql> ALTER TABLE tpdays CHANGE start start FLOAT(6,2);
3,売買代金が格納できない。
以下のエラーメッセージ。
`ensure_in_range': 7395934775 is out of range for ActiveRecord::Type::Integer with limit 4 (RangeError)
ふむふむ、どうやらint型では桁数が足りないとのこと。調べているとrubyのint型の範囲は「-2147483647〜2147483648」らしい。うん、これじゃ売買代金多い日は足りない。もっと大きな範囲を指定できる型にしないといけないようだ。
ということで「int」型を「bigint」型に変更します。mysqlのコマンドで「days」テーブルの売買代金「value」の型変更。
mysql> alter table days change value value bigint;
ちなみにTOPIXの売買代金は小数点を表示しないといけないので以下のようになる。
#topixの売買代金は12桁、うち2桁は小数点以下で指定。 mysql> alter tpdays days change value value DOUBLE(12,2);
4,CSVのインポート
csv名を指定するときにパス名が必要って多くのサイトに記載あったけど、パス名は不要。(パスつけるとエラーになる。)
#「n225.csv」を「nk225days」テーブルにインポート。 mysql> LOAD DATA LOCAL INFILE 'n225.csv' INTO TABLE nk225days FIELDS TERMINATED BY ','
結局csvのインポートは使いませんでした。
5,CSVの出力
MySQLで色んなエラーが出てえらい時間かかった。解決方法をメモ。
mysql> SELECT * FROM nk225fifteens INTO OUTFILE 'nikkei.csv' FIELDS TERMINATED BY ',';; ERROR 1290 (HY000): The MySQL server is running with the --secure-file-priv option so it cannot execute this statement
ここを真似した。ちなみに/usr/はターミナルで「open /usr」で開く。
qiita.com
#/usr/local/etc/my.cnfに追記 # *** upgrade to a newer version of MySQL. [mysqld] secure-file-priv = ""
上を解決したら、次は以下のエラー
$ mysql -uroot -p Enter password: xxxxxx ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2)
とか
ERROR! MySQL server PID file could not be found!
これは
$ ps ax | grep mysql 76560 ?? S 0:00.03 /bin/sh /usr/local/opt/mysql/bin/mysqld_safe --bind-address=127.0.0.1 --datadir=/usr/local/var/mysql 76780 ?? S 0:01.21 /usr/local/Cellar/mysql/5.7.17/bin/mysqld --basedir=/usr/local/Cellar/mysql/5.7.17 --datadir=/usr/local/var/mysql --plugin-dir sudo kill TERM 76560 sudo kill TERM 76780
で解決。
ERROR! MySQL server PID file could not be found! - 世界を疑え
で、普通にMySQLを起動してようやくcsv化の完了。
mysql> SELECT * FROM nk225fifteens INTO OUTFILE 'nikkei.csv' FIELDS TERMINATED BY ','; #格納場所は「/usr/local/var/mysql/nikkei」
疲れた。。
さて、ようやくpythonで分析しよう。
日経先物のデータをmysqlに格納しようとしたら売買代金でエラーになった
とあるwebサイトからスクレイピングして、日足の「始値」「高値」「安値」「終値」を取得。そしてmysqlに格納しようとしています。プログラムも作成し(なぜかプログラム作成はruby。。)いざデータベースに取り込む時に、、途中で異常終了しました。ターミナルのエラーメッセージ見てると以下のようなもの。(「7395934775」は、とある日の日経先物の売買代金です。)
`ensure_in_range': 7395934775 is out of range for ActiveRecord::Type::Integer with limit 4 (RangeError)
ふむふむ、どうやらint型では桁数が足りないとのこと。調べているとrubyのint型の範囲は「-2147483647〜2147483648」らしい。うん、これじゃ売買代金多い日は足りない。もっと大きな範囲を指定できる型にしないといけないようだ。
ということで「int」型を「bigint」型に変更します。mysqlのコマンドで「days」テーブルの売買代金「value」の型変更。
mysql> alter table days change value value bigint;
これで売買代金が多い日でもエラーなくmysqlに格納できるようになりました。
pythonで日経先物分析をするために、データを格納するmysqlを作成する①
pythonで日経先物のデータ分析をするためにはデータが必要です。普通の日経平均だとyahoo等のサイトから取ってこれるのですが、日経先物のデータを取ってこれるサイトは現状中々ありません。いくつかサイトはあるのですが、そのサイトが無くなったらオシマイ!って状況は避けたいので、自分用にmysqlを使って日経先物のデータを保存することにしました。ちなみに保存しようかなあと考えてるのは5分足、15分足、30分足、1時間足、日足くらいです。ということでデータベース構築を以下の手順でやりましたのでメモ。
ちなみにこの先の展望としては、「スクレイピングで先物データ自動取得→データベースに格納」「そのデータを使ってpythonで分析」ってところでしょうか。しかし、まだ日経先物データのpythonでの分析はサイトがあまりないですね。素人がどれだけやってもしれてると思うけど楽しいし頑張ろうっと。正直、rubyよりも楽しいです。
$ brew install mysql
mysqlのスタート
$ mysql.server start
パスワードの設定。いくつか質問でてきますが、全部YESでよいはずです。
$ mysql_secure_installation
mysqlを使用。このコマンド入れるとパスワード入力されるよう求められるので先程設定したパスワードを入力。これでmysqlのコマンドが入力できるようになります。
$ mysql -uroot -p
データベースを作成します。テーブル名は「nikkei」。これでデータベースが作成されました。確認は「Sequel Pro」を使ってます。」
mysql> CREATE DATABASE nikkei;
「nikkei」を選択します。
mysql> USE nikkei
データベースにテーブルを作成して項目を追加します。まずは日足(日中とナイトで分割)のテーブル(テーブル名:day)を作成します。必要な項目は「年月日」「日中・ナイト区分」「始値」「高値」「安値」「終値」「出来高」「売買代金」でしょうか。とりあえず年月日のみデータベースにカラムを作ってみます。(レコードのユニークキーになるidも指定します。)
mysql> CREATE TABLE day( -> id INTEGER NOT NULL AUTO_INCREMENT, -> date DATE NOT NULL, -> PRIMARY KEY(id) -> );
dayテーブルにカラムが出来ていることを確認します。
mysql>DESCRIBE day;
+-------+---------+------+-----+---------+----------------+ | Field | Type | Null | Key | Default | Extra | +-------+---------+------+-----+---------+----------------+ | id | int(11) | NO | PRI | NULL | auto_increment | | date | date | NO | | NULL | | +-------+---------+------+-----+---------+----------------+
データベースにまず始値(カラム名:start)のカラムを追加します。
ALTER TABLE day ADD start INTEGER;
カラムが追加されていることを確認します。
(startのNULLがYESでいいのかは疑問だけど)
mysql> DESCRIBE day; +-------+---------+------+-----+---------+----------------+ | Field | Type | Null | Key | Default | Extra | +-------+---------+------+-----+---------+----------------+ | id | int(11) | NO | PRI | NULL | auto_increment | | date | date | NO | | NULL | | | start | int(11) | YES | | NULL | | +-------+---------+------+-----+---------+----------------+
全項目追加したらこんな感じ。
mysql> DESCRIBE day; +-----------+---------+------+-----+---------+----------------+ | Field | Type | Null | Key | Default | Extra | +-----------+---------+------+-----+---------+----------------+ | id | int(11) | NO | PRI | NULL | auto_increment | | date | date | NO | | NULL | | | day_night | int(1) | YES | | NULL | | | start | int(11) | YES | | NULL | | | high | int(11) | YES | | NULL | | | low | int(11) | YES | | NULL | | | end | int(11) | YES | | NULL | | | volume | int(11) | YES | | NULL | | | value | int(11) | YES | | NULL | | +-----------+---------+------+-----+---------+----------------+
ちなみに「日中・ナイト区分(day_night)」は、カラム追加するの忘れていたので、後から追加しました。そのときのコマンドはこちら。dateカラムの後に1桁で追加してます。
mysql> ALTER TABLE day ADD day_night INTEGER(1) after date;
「Sequel Pro」で見るとこんな感じ。「nikkei」データベースの「day」テーブルに各項目が出来てるのが確認できます。
次は日中足のテーブルを作成してみようと思います。以下は15分足。日足に時間だけ追加してます。それ以外はまったく同じ。同じように5分足、30分足、1時間足のテーブルも作成します。
mysql> CREATE TABLE minute_15( -> id INTEGER NOT NULL AUTO_INCREMENT, -> date DATE NOT NULL, -> time TIME NOT NULL, -> day_night INTEGER, -> start INTEGER, -> high INTEGER, -> low INTEGER, -> end INTEGER, -> volume INTEGER, -> value INTEGER, -> PRIMARY KEY(id) -> );
テーブル名の変更は以下。
mysql> alter table salestable rename to salestable_back;
paizaでスキルチェックをやってみてるけど、おもしろい
転職活動中の30代既婚男子です。
僕は社会人歴10年位ですが、そのうちシステム開発の仕事をしていたのは5年ほどです。人によってはシステム開発ってあまりおもしろく無いのかもしれないけど、僕にとってはとても面白いものでした。いやね、決して自分が向いてるとは思わないですよ。でもプログラム読んで理解したり、それを人と話したり、そもそも何かを作っていくってことがとても面白かったんですよ。ということで現在転職活動中なんですが、システム関係の仕事に絞って探しています。システム開発やってなかったら、まじで転職できない30代になってたよ。(まだ転職できると決まったわけじゃないけど)
ということで転職活動の一環でpaizaをやってみてます。
これのスキルチェックが結構面白いんですよ。自分のレベルを上げようと必死になってやってしまう感じです。で、そのレベルに応じて求人も紹介してくれるという。なかなか面白いサービスですね。ソースコードをpaizaに提出するので、企業側がプログラマ欲しいときは最適ですね。ちなみに僕は現在Bランクでした。ランクは中級プログラマ。
Aランクの問題もやってみましたが、中々難しかったです。自分は万年B級だ。。苦笑
ということで、これからrubyの復讐して何か新しいサービス作ってみます。休職中の人がもう少し生きやすくなるようなインターネットを目指してます。
東京タラレバ娘はNANAの再現か
kindleで東京タラレバ娘の漫画は読んでたんだけど年始からドラマも見ている。よくある恋愛話ではあるのだけれど、これを読んでいると、「女性がいかに男(恋愛対象になる男)に振り回されるのが好きか」といことがよく分かる。
僕はいま30代の前半(タラレバの主人公と同世代)で、僕が学生の時はアラサーが主人公の恋愛漫画はあまり無かった。正確に言うと、あったんだろうけど僕の目には入らなかった。僕が若かったから興味が無かっただけなのかもしれない。それと同じように今アラサーの僕は東京タラレバ娘を割と楽しんで見ることが出来るが、20代前半の人にはまったく興味のないものなのかもしれない。
僕が学生である10年ほど前の代表的な恋愛漫画に「NANA」という漫画がある。この漫画も東京タラレバ娘とまったく同じ構造だ。20代前半の主人公ナナ(通称ハチ。このブログではハチと呼ぶ)が色んな男に振り回される物語。一言で言えばそれだけ。女性として一番モテる時期に周りのイケメンバンドマンと恋に落ちてセックスしては傷ついて、ってのを繰り返す。ほんとにただそれだけの物語。
10年前に流行った「NANA」の主人公が20代前半で主な読者ターゲットも20歳前後だったはず。 だ。そして東京タラレバ娘は主人公が30代前半で主な読者ターゲットはアラサー。
あれ、10年前のダメ女であるハチが東京タラレバ娘になって帰ってきただけちゃうん
繰り返すが僕は10年前には「NANA」のハチと、そして現在は「東京タラレバ娘」の主人公と同世代だ。どうやら僕の世代の女性は(僕の世代に限らないかもしれないけれど)男に振り回されるのが本当に好きらしい。
そう考えると、ある程度のスペックの男性であれば、恋愛工学が一番効果的なのもいまの30代前半の女性なのかもしれない。恋愛工学やる人が30代前半女性をターゲットにするかはまた別の話だけれど。
※この文章での男とは女の恋愛対象になる男(セックスに困らない男)で、全男性の2割程度と思われる。女性は8割の男のことは男と思っていない悲しい現実がある。
※何も調べずに思ったことを書いたので、ネット界隈では当たり前の事実かもしれません。これを書き終わった後も特に調べるつもりはないです。興味ないので。
転職エージェントに行ってきて、人生について考える事(30代前半・男の場合)
rubyやpythonを勉強中(トレードはお休み中)の僕ですが、今日ついに転職エージェントに行ってきました。あれだけサラリーマン嫌だって言ってたのに、また会社で働くのかよという感じですが。実家の近くでサラリーマンとして働きながら実家の仕事も手伝って覚えていくというのが一番無難かなと。「お前は無難を選ぶのか、面白くねーな一」という声が自分の中から聞こえてきそうですが、無難じゃない人生が面白いとも限りません。結局、僕はなんだかんが言いながら無難にしか生きることができない人生かもしれません。
誰かが「人の沿ったレールに乗って生きるのは嫌だ」と言っていましたがレールに乗り続けるってのも大変です。僕は一つの会社で勤め続けるというレールから降り、どこかに乗り換えすることになりそうです。それでも普通に大学を卒業させてもらって就職するっていうレールに乗っていなかった人生は想像できないし、自分にレールをイチから作り出していく力があるとも思えません。僕みたいな凡人は結局、地道に努力していくしか無いのです。そして人生では、地道に努力できたり、なぜか人より有能になれる場所や分野を自分で探していくことが大事かなあと思ってます。間違っても自分が努力出来なかったり、人より有能になれない場所で生き続けてはダメだと思ってます。
「今の会社でダメなやつは他行ってもダメだ」とは言いますが、絶対そんなことないです。活躍できる場所はきっとあるはず。ダメそうなら早く逃げる勇気も大切です。トレードで言う損切です。ただし、損切貧乏になる可能性もあるのでその辺は自己責任で。
何はともあれ一歩前進という感じです。さて休職は3月末までとしているんだけど、問題は内定出た後(内定出るかどうかも分からんが)の会社への報告だな。4ヶ月くらい休職してて復職のタイミングで退職ってあまりにも常識ない奴か?まあ、しょうがないです。当然ですが会社への忠誠よりも、僕と家族の人生のほうが大事です。普通に復職してそれから転職活動してたら時代がどうなってるか分かりませんし。2017年中にはちょっと不景気の芽が出てくるかもしれないですし。3月末まで頑張ります。(将来チャンスがあったときのためにrubyとpythonの勉強も少しずつやっていきます)