PyCharmのProでの機能有効化(JS構文チェックとDjangoプロジェクトの有効化)

PyCharm Django Python

いままでPyCharmのコミュニティエディション(CE)を使っていましたが、Djangoとかを書くならProがいいらしいのでとりあえず体験版で始めてみました。ちょっと気になったことや設定等をメモしていきます。

2017-11-23

退職しました(DBエンジニアからPythonのWEBエンジニアへ転職しました)

Oracle Python PostgreSQL

新卒から7年間務めた会社を今年いっぱいで退職することにしました。11/22には最終出社をすませました。(引継ぎで忙しくてブログが1か月近く途絶えてました…) 次の職場も楽しみですが、やはり7年もいた会社にも思い入れはあり、いろいろ思うところがあるので…

2017-10-29

Pythonでシンプルな文章の類似度判定をやってみた

自然言語処理機械学習 Python

会社の後輩に、社内のFAQの利用率を高めたいからなんとかしたいといわれ、自然言語の入力を受け付けて近いFAQのリンクを戻すコードを書いてみました。後輩に説明しながらという点と元データも70件程度と少なかったことや、そもそも自分がちゃんと理解してな…

2017-10-29

scouty 機械学習講習会　〜自然言語処理入門「Pythonでつくる言語モデル」〜に参加してきた

機械学習 Python イベント参加記録自然言語処理

ISUCONショックから1週間ほど更新が空いてしまいました。先日表題のイベントに参加してきたのでその備忘録です。 scouty.connpass.com

2017-10-21

WEBアプリケーションにおいて「あなたはどこにいますか？」(Flask, Bottleでのセッションデータの格納先)

Bottle ISUCON Python Flask uWSGI redis

WEBアプリケーションを作ると、ログインしているか？や買い物かごに何が入っているのか？といった状態を管理する必要があります。通常はセッション(session)データに格納しますが、そもそもこのセッションデータがどこにあるのかを調べました。

2017-10-20

Redisの永続化とパフォーマンスのバランスを考えてみる(redis-pyを添えて)

ISUCON Python redis

ISUCONに関わって初めて真面目にRedisと向かい合ってます。RedisはオンメモリのKVSですが、デフォルトの設定では、再起動後もその内容が失われないように永続化されています。しかし、ISUCONというパフォーマンス重視の環境で永続化を考える場合、いくつか検…

2017-10-17

Flaskで書かれたWEBアプリをBottleに書き換えるときの勘所

Bottle ISUCON Python

今週はISUCON7予選ですね。ここのところ毎回ですが今回もISUCON関連のネタです。ISUCONのPython実装はFlaskで作成されているケースが多いですが、これをBottleに書き換えるとパフォーマンスが上がるケースがあります。しかし書き換えにはいくつか注意点があ…

2017-10-15

uWSGI caching frameworkを試してみる(PythonのWEBアプリケーションでのプロセス間情報共有)

ISUCON Python redis uWSGI

今回はuWSGIのワーカプロセス間でキャッシュを共有できる、cache frameworkを試してみます。ISUCONをPythonで戦うとなると、大抵はRedisあたりだと思うのですが、それだと1プロセスで動作するGoやNode.jsに対してディスアドバンテージをもつことになるので、…

2017-10-08

PythonでRedisを効率的に使う(redis-pyのパフォーマンスをあげるには)

ISUCON Python redis

前回書いたようにISHOCONというプライベートなISUCONに出てきました。MySQLの思いクエリをRedisに変えることでスコアは伸びたのですが、Redis自体もプロセスローカルのメモリに比べると遅いのでできるだけ効率的な使い方を模索しました。いつになく記事が長…

2017-10-07

PythonでRedisを扱う(redis-pyの基本)

ISUCON Python redis

先日、ISUCONの練習としてISHOCONに参加してきました。ISUCONもそうですが初期実装のRDBMS部分をどれだけRedis等に移せるかでスコアの伸び方が違う気がします。少なくとも今回の問題はRedisを上手に使えるかが鍵です(少なくともPythonではしかし、イマイチR…

2017-10-05

Pythonのunittestで標準出力のテストを作る

Python

最近やたらunittestを書いているのですが、標準出力部分のテストをしなければいけなくなり、やり方を確認したのでメモとして残します。どういうことかこういう標準出力に内容を書き出す関数についてunittestを作成したかったという話です。 def hoge(): pr…

2017-09-30

PyPIにコマンド実行可能なパッケージを登録した話

Python

自分で作ったwsgi_lineprof_reporterをPyPIに登録した際の備忘録です。ぐぐると記事は多いのですが時期ごとに手順が異なったりするので2017/09時点で一旦まとめておきます。また、今回はpip installするだけでOSコマンドとして実行できるようにしたかったの…

2017-09-29

DIVE INTO EXAMのPython3エンジニア認定基礎模擬試験 β版をやってみた

Python 資格

なんかFacebook眺めてたら流れてきました。 Dive into Code、「Python3エンジニア認定基礎試験」の模擬問題β版を無料公開すでにPython3エンジニア認定基礎試験は持っているのですが、無料らしいのでとりあえず受けてみました。

2017-09-28

Pythonできれいに揃ったテキストのレポートを作りたかった

Python

要は、SQLの結果とかでよくあるこういう整ったレポートを作るには。という話です。 EMPNO ENAME JOB MGR HIREDATE SAL COMM DEPTNO ------ -------- ---------- ---------- -------- ---------- ---------- ---------- 7369 SMITH CLERK 7902 80-12-17 800 2…

2017-09-27

Pythonで一番小さいWEBフレームワークbottle.py その5(response,mimetype)

Bottle Python

今回はGENERATING CONTENTを中心にまとめます。純粋なwsgiはファンクションがiterableなbyte stringを戻すように定められています。厳密にはPythonで使用されるstr(Unicode)も戻すことはできませんが、Bottleではそういった戻り値をいいかんじに変換してく…