SQLAlchemyで生SQLを発行して大量データの取得を高速化してみた
はじめに SQLAlchemyを使用した既存システムのエンハンスを担当したときに、大量データを取り扱うシーンに直面しました。 数十万件程度のデータを取得するときに処理時間が長くなり、性能の劣化を懸念していましたが、改善に…
はじめに SQLAlchemyを使用した既存システムのエンハンスを担当したときに、大量データを取り扱うシーンに直面しました。 数十万件程度のデータを取得するときに処理時間が長くなり、性能の劣化を懸念していましたが、改善に…
はじめに PythonからMySQLにアクセスする際にSQLAlchemyを使用しているのですが、100万件ほどの大量データをINSERTする場合に処理時間が非常に長くかかってしまったため、高速化に取り組んでみました。 …
目次 はじめに Secrets Managerについておさらい Secrets Managerアップデート概要 ローテーションの仕組み ローテーションの実践 おわりに 参考一覧 はじめに システムで使用するユーザ名やパス…
Amazon Aurora Amazon Aurora は独自のストレージシステムを導入することで、典型的なオリジナルの MySQL に比べて、5 倍のパフォーマンスの改善しました。 Amazon Aurora では、以…
とある日、MySQLにてクエリが溜まる事象が発生。 うーん、スロークエリにも結構出力されており、INDEXにも原因があるようだが、 データ件数がそこまで多くないので、他にも原因がありそう ということで調査を続行。 「SH…
前回はApacheのソースインストールでしたが、今回はMySQL(5.7.17)です。 やってみると存外Apacheインストール時以外の気づきもあった為、書き記します。 前回と同様、トライアル&エラーで進めます。 手っ取…
こんにちは豊かな大島です。 残暑?いやいや、ここからが苦しいのです。 夕方になると社内は灼熱なのです。油が溶けるのです。 だがしかし、これを乗り切れば秋がやってきます。秋は美味いものがいっぱ・・・・・・ そろそろ怒られそ…
管理上、設定ファイルは1つにして、変数が重複しないように注意してください。 ◆ 設定ファイルを読み込む順番 ① /etc/my.cnf ② /etc/mysql/my.cnf ③ SYSCONFDIR/my…
こんにちは、佐藤駿です。 今回はAWSのEC2でサーバ(インスタンス)を起動させ、Wordpressのインストール方法を解説します。 実践される方は、インスタンスに静的なIPアドレスのサービスであるEIPを付与しておくこ…
同僚が、time_zoneの設定に苦戦していたので。。。 ◆ time_zoneの確認・設定は下記になります。 【タイム ゾーンの確認】 SELECT @@global.time_zone, @@session.time…