pycon.jp Python(Cython) & OpenMPで高速並列処理 発表資料 https://colab.research.google.com/drive/1Ep3pi3vrgEtxtRc84aPhXNeL-y3rSVWD?usp=sharing 感想 初めての登壇でしたが､コロナ禍の影響で初のオンライン開催でした｡ オフライン登壇の経験はありま…

内容 時系列データということで､ステートフルなモデルを構築しました｡ データのダウンロード､前処理､学習､予測までを全てGoogle Colab上で行いました｡ ドライブのマウントが以前よりも簡単になったので､まるでLinuxマシンを動かしているような使用感です｡ 予…

ソースコード https://colab.research.google.com/drive/1sHM12qz854_PJaB1JE0Pl_x-rzLQb_0A?usp=sharing 内容 mecabのインストール 形態素解析と分かち書き 青空文庫からの書籍ダウンロード gensim word2vec

今まであまり使いこなせていなかったtensorboardについて少し調べました｡ GoogleColab GoogleColabでもtensorboardを実行可能です｡トンネルを作る必要はなく､マジックコマンドで簡単に起動できます｡出力セル内に表示してくれるのも嬉しいです｡ブラウザのタブ…

実用的なケース Wordをプログラムで操作する上で実用的なケースを考えました｡やはり､テンプレートが指定されている文書をcsvなどからデータを取り込んで自動編集する､という局面で役に立つのではないでしょうか｡今回はネットで拾ってきたサンプルの請求書フ…

DynamoDBのセットアップ DockerでローカルにDynamoDBを構築しました｡ docs.aws.amazon.com JavaScript Shell ブラウザでhttp://localhost:(ポート番号)/shell/にアクセスすると､CUIでDynamoDBを操作できます｡ 設定ダイアログを開いてdocker composeで設定し…

概要 Excelの作業を自動化したいけど､VBはあまり書きたくないなぁ､という場合はxlwingsを使いましょう｡ アドインも用意されていて､main関数を実行する､VBマクロを経由して任意の関数をコールする､数式内で使えるカスタム関数を定義するといったことができま…

統計モデルを学ぶ教材として有名な緑本に登場する数式やグラフをPythonで書いていきます｡n番煎じですが､同じ本でも人によって読み解き方が違ってくるので､無価値ではないと思っています｡ 確率分布と統計モデルの最尤推定

短い秋が過ぎ去り､身も心も凍えさせる乾いた風が吹き始めた頃｡ふと､動画解析がしたくなりしました｡ まずデータを調達するところから始まるわけですが､色々と品を変えたい場合はネットから拾うのが便利という発想からyoutubeを選択しました｡ 今回使った動画は…

GitHubのソースをクローン 繰り返し実行する処理はモジュール化したいですよね｡ 毎回ごりごりと車輪の再開発なんてしたくないです｡ Google Colabでpythonファイルを利用する際､今まではGoogle Driveにマウントしていたのですが､ 認証コードをコピペするとい…

FX予測の評価を行う際に、損益の概算を知りたくなりスクリプトを作成しました。 シグナルフラグ class Flag(Enum): BUY = 1 HOLD = 0 SELL = -1 BUYが買い、SELLが売り、HOLDはシグナル無しです。 予測結果をこの3個のフラグで表現し、リストを作成しておき…

方針 投資予測の手段として、テクニカル分析が多く使われますが、 どの分析が効果的かを検証するのは非常に難しく、多大な時間を割くことになります。 人為的に行う作業が多くを占めているため、拘束時間が長くなります。 出来ることなら、自動化を進めてい…

形態素解析 形態素解析は日本語の自然言語処理を行う上でよく使われる技術です｡掻い摘んで言うと､文を品詞分解するというものです｡ 分解した後は文章を英語のようにスペースで区切る､所謂分かち書きを行ったり､単語の出現回数を数えたり､といった処理を行う…

実践xonsh第一回 xonshをインストールしたのはいいですが､CUIに慣れていないこともあり､ 如何に活用するか､という壁にぶつかってしまいました｡ 思うに､これは一朝一夕で片付くような課題ではなく､ 日々実践を重ね､少しずつ習熟していくものなのでしょう｡ と…

多くのオブジェクト指向言語には拡張メソッドというものがあります。 端的に言えば、クラスの外部からメソッドをつけ足すというものです。 拡張メソッドには以下のような特徴があります。 メリット ドット演算子で関数を繋げていくことが出来るので、実行順…

データのセキュリティを高めるためには暗号化処理が不可欠となります。 AES、DES、MD5など方式は色々とありますが、まずはAES暗号化に挑戦してみたいと思います。 暗号化パッケージ 暗号化パッケージとして有名なのはPyCryptoというものらしいです。必要なパ…

たまに耳にしますが、使う機会が無くて全く内容を理解していない、 コルーチンというものについて調査します。 定義 ルーチンの一種で、任意のタイミングで処理の中断と再開が出来るもの、とwikiにありました。 並列処理が出来るとのことですが、同期制御は…

単体テストをコードベースで行う際に便利なクラスやスクリプトを作成しました。 単体テストメソッドのアスペクト指向デコレータ 前に作成したアスペクト指向デコレータを利用して、単体テスト用のデコレータを作成しました。 コンソールに経過時間等を出力し…

pythonでデータを扱う際に便利なdataclassを、 JSONでシリアライズすることにより、 構成ファイルを作成します。 dataclassの仕様 データの集合を定義するクラスです。dataclassデコレータで修飾することで利用できます。 クラス変数がデータメンバとして扱…

アスペクト指向のライブラリは数ありますが、 デファクトスタンダードがどれか解らず、 環境によってinstallに失敗してしまうという問題もあるので、 勉強がてら自作しました。 苦戦したポイントなどを含めて解説します。 アスペクト指向抽象クラス まず、処…

Google ColabotatotyでPythonファイルのインポートをする手順を以下に記載します。 GDriveのマウントを行います。 from google.colab import drive drive.mount('/content/gdrive') Pythonファイルが配置されているディレクトリにPATHを通してインポートしま…