yoraba build

備忘録を兼ねた技術ブログ

2020-01-01から1年間の記事一覧

PyConJP 2020で登壇しました

pycon.jp Python(Cython) & OpenMPで高速並列処理 発表資料 https://colab.research.google.com/drive/1Ep3pi3vrgEtxtRc84aPhXNeL-y3rSVWD?usp=sharing 感想 初めての登壇でしたが、コロナ禍の影響で初のオンライン開催でした。 オフライン登壇の経験はありま…

ステートフルな再帰型ニューラルネットワークでビットコイン価格予測

内容 時系列データということで、ステートフルなモデルを構築しました。 データのダウンロード、前処理、学習、予測までを全てGoogle Colab上で行いました。 ドライブのマウントが以前よりも簡単になったので、まるでLinuxマシンを動かしているような使用感です。 予…

GoogleColabで自然言語処理

ソースコード https://colab.research.google.com/drive/1sHM12qz854_PJaB1JE0Pl_x-rzLQb_0A?usp=sharing 内容 mecabのインストール 形態素解析と分かち書き 青空文庫からの書籍ダウンロード gensim word2vec

tensorboard使用法

今まであまり使いこなせていなかったtensorboardについて少し調べました。 GoogleColab GoogleColabでもtensorboardを実行可能です。トンネルを作る必要はなく、マジックコマンドで簡単に起動できます。出力セル内に表示してくれるのも嬉しいです。ブラウザのタブ…

Pythonで理解する緑本 第三回「GLMのモデル選択」

colab.research.google.com

python-docxでWord文書を作成する

実用的なケース Wordをプログラムで操作する上で実用的なケースを考えました。やはり、テンプレートが指定されている文書をcsvなどからデータを取り込んで自動編集する、という局面で役に立つのではないでしょうか。今回はネットで拾ってきたサンプルの請求書フ…

boto3でDynamoDBを操作する

DynamoDBのセットアップ DockerでローカルにDynamoDBを構築しました。 docs.aws.amazon.com JavaScript Shell ブラウザでhttp://localhost:(ポート番号)/shell/にアクセスすると、CUIでDynamoDBを操作できます。 設定ダイアログを開いてdocker composeで設定し…

PythonでExcelマクロを作成する

概要 Excelの作業を自動化したいけど、VBはあまり書きたくないなぁ、という場合はxlwingsを使いましょう。 アドインも用意されていて、main関数を実行する、VBマクロを経由して任意の関数をコールする、数式内で使えるカスタム関数を定義するといったことができま…

Gitコマンドチートシート

Git

AWSのEC2インスタンスでnginx+uwsgiサーバーを立てる

AWS

EC2インスタンスの作成 AMIとしてAmazon Linux 2を選びました。 Elastic IP EC2インスタンスは再起動の度に動的にパブリックIPが変動するとのことで、 Elastic IPというサービスで固定IPを作成し、EC2インスタンスに関連付けます。 インスタンスを複製して冗長性…

Pythonで理解する緑本 第二回「一般化線形モデル」

colab.research.google.com

AWSのサービスと設計の諸元

AWS

5Gの普及に伴い、高速な通信を活かしたシステムが増えていき、 仕事でもプライベートでもクラウドサービスに触れる機会が増えていくと考えております。 中でも知名度が高いAWSについて学習していく方針を立てました。 サービス AWSは数十種類のサービスを提供し…

Python3.8新機能

データ解析のための統計モデリング入門(緑本)

統計モデルを学ぶ教材として有名な緑本に登場する数式やグラフをPythonで書いていきます。n番煎じですが、同じ本でも人によって読み解き方が違ってくるので、無価値ではないと思っています。 確率分布と統計モデルの最尤推定