Python:PC３時間半動かし、３月からの東証株式相場表、PDFMinerで何とかなったかも…。

前説：東証株式相場表（日報、PDF）銘柄コード隣りの１文字に気づかず1か月以上

東証株式相場表（日報、PDF）をPDFMinerでなんとか解析できそうだと思ったのが9月5日でした。

• Python:VSCodeでPDFMinerを使って、東証株日報PDFから表抽出（３） - pagetakaBlog

できあがった日別CSVファイル、容量に大きな差があるのに気づき、当初のPythonスクリプトを昨日修正しました。

• 東証株式相場表：日報コード欄に1文字表示が、CSVの位置関係を…。 - pagetakaBlog

３月以来の東証株式相場表（日報、PDF）を改めてPDFMinerで解析しました。

夜中のトイレ通いのついでにPC立ち上げ、VSCodeのPythonスクリプトを動かしました。149日分ありました。約３時間半かかりました。

【経過秒数とできあがったCSV：11日朝】

CSVファイルは、508KB～526KBと容量の差がまだあります。毎日ほぼ似たような容量になりそうと思った爺は少し当てが外れました…。まだ、東証株式相場表を解析するPythonスクリプトには不十分なところがあるのかと…ええ。

「LOAD DATA INFILE」を使い CSVをMySQLへ約4.6秒

できあがったCSVファイルをMySQLへ送り込んだのは「 LOAD DATA INFILE」を使ったPythonスクリプト。

• Python:CSVをMySQLへ高速読込み「LOAD DATA INFILE」（VSCode） - pagetakaBlog
• Python:CSVをMySQLへ高速読込み「LOAD DATA INFILE」（VSCode）その２ - pagetakaBlog
• Python:複数CSVをひとつにまとめれば、MySQL「LOAD DATA INFILE」に対応できる…。 - pagetakaBlog

ひとつにまとめればスピードもっと上がったのかもしれませんが、149ファイルで計約4.6秒で済んだのですから、まあ爺的にはこのようなものかと…。

環境は、Windows11（64）Home+i5-9600K+32GBメモリ+512GBSSD　でした。