pycon.jp Python(Cython) & OpenMPで高速並列処理 発表資料 https://colab.research.google.com/drive/1Ep3pi3vrgEtxtRc84aPhXNeL-y3rSVWD?usp=sharing 感想 初めての登壇でしたが､コロナ禍の影響で初のオンライン開催でした｡ オフライン登壇の経験はありま…
内容 時系列データということで､ステートフルなモデルを構築しました｡ データのダウンロード､前処理､学習､予測までを全てGoogle Colab上で行いました｡ ドライブのマウントが以前よりも簡単になったので､まるでLinuxマシンを動かしているような使用感です｡ 予…
ソースコード https://colab.research.google.com/drive/1sHM12qz854_PJaB1JE0Pl_x-rzLQb_0A?usp=sharing 内容 mecabのインストール 形態素解析と分かち書き 青空文庫からの書籍ダウンロード gensim word2vec
今まであまり使いこなせていなかったtensorboardについて少し調べました｡ GoogleColab GoogleColabでもtensorboardを実行可能です｡トンネルを作る必要はなく､マジックコマンドで簡単に起動できます｡出力セル内に表示してくれるのも嬉しいです｡ブラウザのタブ…
colab.research.google.com
実用的なケース Wordをプログラムで操作する上で実用的なケースを考えました｡やはり､テンプレートが指定されている文書をcsvなどからデータを取り込んで自動編集する､という局面で役に立つのではないでしょうか｡今回はネットで拾ってきたサンプルの請求書フ…
DynamoDBのセットアップ DockerでローカルにDynamoDBを構築しました｡ docs.aws.amazon.com JavaScript Shell ブラウザでhttp://localhost:(ポート番号)/shell/にアクセスすると､CUIでDynamoDBを操作できます｡ 設定ダイアログを開いてdocker composeで設定し…
概要 Excelの作業を自動化したいけど､VBはあまり書きたくないなぁ､という場合はxlwingsを使いましょう｡ アドインも用意されていて､main関数を実行する､VBマクロを経由して任意の関数をコールする､数式内で使えるカスタム関数を定義するといったことができま…
EC2インスタンスの作成 AMIとしてAmazon Linux 2を選びました｡ Elastic IP EC2インスタンスは再起動の度に動的にパブリックIPが変動するとのことで､ Elastic IPというサービスで固定IPを作成し､EC2インスタンスに関連付けます｡ インスタンスを複製して冗長性…
colab.research.google.com
5Gの普及に伴い､高速な通信を活かしたシステムが増えていき､ 仕事でもプライベートでもクラウドサービスに触れる機会が増えていくと考えております｡ 中でも知名度が高いAWSについて学習していく方針を立てました｡ サービス AWSは数十種類のサービスを提供し…
統計モデルを学ぶ教材として有名な緑本に登場する数式やグラフをPythonで書いていきます｡n番煎じですが､同じ本でも人によって読み解き方が違ってくるので､無価値ではないと思っています｡ 確率分布と統計モデルの最尤推定
短い秋が過ぎ去り､身も心も凍えさせる乾いた風が吹き始めた頃｡ふと､動画解析がしたくなりしました｡ まずデータを調達するところから始まるわけですが､色々と品を変えたい場合はネットから拾うのが便利という発想からyoutubeを選択しました｡ 今回使った動画は…
GitHubのソースをクローン 繰り返し実行する処理はモジュール化したいですよね｡ 毎回ごりごりと車輪の再開発なんてしたくないです｡ Google Colabでpythonファイルを利用する際､今まではGoogle Driveにマウントしていたのですが､ 認証コードをコピペするとい…
FX予測の評価を行う際に、損益の概算を知りたくなりスクリプトを作成しました。 シグナルフラグ class Flag(Enum): BUY = 1 HOLD = 0 SELL = -1 BUYが買い、SELLが売り、HOLDはシグナル無しです。 予測結果をこの3個のフラグで表現し、リストを作成しておき…
方針 投資予測の手段として、テクニカル分析が多く使われますが、 どの分析が効果的かを検証するのは非常に難しく、多大な時間を割くことになります。 人為的に行う作業が多くを占めているため、拘束時間が長くなります。 出来ることなら、自動化を進めてい…
形態素解析 形態素解析は日本語の自然言語処理を行う上でよく使われる技術です｡掻い摘んで言うと､文を品詞分解するというものです｡ 分解した後は文章を英語のようにスペースで区切る､所謂分かち書きを行ったり､単語の出現回数を数えたり､といった処理を行う…
WSL単体ではCUI環境しか使用出来ません｡ しかし遅ればせながら､X serverを導入することでGUI環境も使えることを最近知り､WSLに更なる可能性を感じた次第です｡ 導入のきっかけ WSL上のpython venvで仮想環境を作ったのですがWindows版pycharmではインタープリ…
以前､VSCodeのターミナルをWSLに変更する方法を紹介しました｡今回はもう少し踏み込んだ使い方を御紹介します｡ リモートエクスプローラーを開くとインストールされているディストリビューションが表示されます｡右側のConnect to WSLをクリックするとVSCodeが…
実践xonsh第一回 xonshをインストールしたのはいいですが､CUIに慣れていないこともあり､ 如何に活用するか､という壁にぶつかってしまいました｡ 思うに､これは一朝一夕で片付くような課題ではなく､ 日々実践を重ね､少しずつ習熟していくものなのでしょう｡ と…
Windows環境でWSLを導入して､ターミナルを使うとなった段に､まず機能を有効にしてストアからディストリビューションをインストールします｡それだけでターミナルを使える状態になるのですが､更に追加の手順を踏むことで､VSCodeからWSLをリモートすることも出…
今まではVisual Studioでの開発を行っていたのですが、 Linux環境ではVisual Studio Codeがエディタとして提供されているので、 試しに使ってみました。 使用感は悪くありません。そしてとても軽量です！ CSVパーサ ちょっとしたツールを作りたい時にCSVファ…
今度Subversionを使うことになったので、 練習がてら公開リポジトリを作成することにしました。 まずはホスティングサービスを探したのですが、 なんと、GitHubでもSubversionをサポートしているとの情報がありました。qiita.comまずはGitリポジトリを作って…
多くのオブジェクト指向言語には拡張メソッドというものがあります。 端的に言えば、クラスの外部からメソッドをつけ足すというものです。 拡張メソッドには以下のような特徴があります。 メリット ドット演算子で関数を繋げていくことが出来るので、実行順…
データのセキュリティを高めるためには暗号化処理が不可欠となります。 AES、DES、MD5など方式は色々とありますが、まずはAES暗号化に挑戦してみたいと思います。 暗号化パッケージ 暗号化パッケージとして有名なのはPyCryptoというものらしいです。必要なパ…
たまに耳にしますが、使う機会が無くて全く内容を理解していない、 コルーチンというものについて調査します。 定義 ルーチンの一種で、任意のタイミングで処理の中断と再開が出来るもの、とwikiにありました。 並列処理が出来るとのことですが、同期制御は…
単体テストをコードベースで行う際に便利なクラスやスクリプトを作成しました。 単体テストメソッドのアスペクト指向デコレータ 前に作成したアスペクト指向デコレータを利用して、単体テスト用のデコレータを作成しました。 コンソールに経過時間等を出力し…
