はじめに AWS Neptuneを使う機会があり、Neptune作成、LambdaからNeptuneへのアクセスをまとめてみました。 目次 AWS Neptuneとは Neptuneを準備 LambdaからNeptune…

はじめに SQLAlchemyを使用した既存システムのエンハンスを担当したときに、大量データを取り扱うシーンに直面しました。 数十万件程度のデータを取得するときに処理時間が長くなり、性能の劣化を懸念していましたが、改善に…

はじめに PythonからMySQLにアクセスする際にSQLAlchemyを使用しているのですが、100万件ほどの大量データをINSERTする場合に処理時間が非常に長くかかってしまったため、高速化に取り組んでみました。 …

目次 はじめに Secrets Managerについておさらい Secrets Managerアップデート概要 ローテーションの仕組み ローテーションの実践 おわりに 参考一覧 はじめに システムで使用するユーザ名やパス…

データベースの管理にどのようなツールを利用していますか？よく使われているのはphpMyAdminでしょうか？phpMyAdminに代わるデータベース管理ツールとして、Adminer(https://www.adminer…

Amazon Aurora Amazon Aurora は独自のストレージシステムを導入することで、典型的なオリジナルの MySQL に比べて、5 倍のパフォーマンスの改善しました。 Amazon Aurora では、以…

データベース (DB)¶ データベースとは、何かの目的の目的のために一定の規則に従ってデータを集め編成したもの。例えば名刺を集めて机の上に山盛りにしてあるだけではデータベースと呼ばないけれど、会社別に振り分けて、あいうえ…

はじめに re:Invent 2017　day3 keynote にて発表された新サービス「S3 SELECT」と「Amazon Athena」の違いを調べました。 S3 SELECTとは？ S3オブジェクト内のデータを…

こんにちは。ヒラヤマンです。 先日のGoogle Cloud Nextで発表のあった、Cloud SQLでのPostgreSQLの対応を試してみました。 PostgreSQLのバージョンは、9.6.1（3/13現在） C…

とある日、MySQLにてクエリが溜まる事象が発生。 うーん、スロークエリにも結構出力されており、INDEXにも原因があるようだが、 データ件数がそこまで多くないので、他にも原因がありそう　ということで調査を続行。 「SH…