- 前説：複数CSVで「LOAD DATA INFILE」をfor文で使えるようにしてみた。
- 記事タイトルのとおり、複数のファイルをひとつにまとめればOKではないのかしらん…。
- 複数CSVをひとつにし大きなCSVをひとつ用意するのを省き、「Dataframe」にして、MySQLへ書き込むとか…。
前説：複数CSVで「LOAD DATA INFILE」をfor文で使えるようにしてみた。
しかし、いかにも不格好…ということで、twitterでぼやいてみたものの…。
— pagetaka:爺ですが何か？😓 (@pagetaka) 2022年10月2日
その後、じっくり考えた（フリ）をした爺に、ひらめきが…（ウソ）。
記事タイトルのとおり、複数のファイルをひとつにまとめればOKではないのかしらん…。
MySQLマニュアルでは、「LOAD DATA INFILE」で読み込むファイル名は、文字列リテラル、となっていて変数名は使えない…模様。「set」文でやる方法があるかどうかなど、爺には全然わからん事…。
今朝になって、浮かんだデス。複数CSVファイルを、ひとつにまとめてファイル名を付ければどうにかなるのではないかと…ええ。
で、爺のネット徘徊…。
kt-life.net
複数CSVをひとつにし大きなCSVをひとつ用意するのを省き、「Dataframe」にして、MySQLへ書き込むとか…。
vasteelab.com
複数PDF→複数CSV→単CSV→MySQL という流れのうち「単CSV」作成を省き「Dataframe」で置き換える、というのもアリかなあ～と爺は妄想中です。
有料データを買う金がないので、面倒なPDFを解析して、という流れになったです。途中で発生するCSVは、Excelで処理してみるのにも使えるし～などと思ったのでした。しかし、考えてみれば、ExcelとMySQLを連動させれば、CSVを残しておく理由はあまりなさそうな気もします…ええ。「Dataframe」にまとめたあとDBへ読み込むという流れが、データストレージが膨らまずにすみそうです…。
obenkyolab.com
爺の妄想・妄言は続く…。
まだ試してもないのに、とりあえず物忘れの時用に、先にUPするという、横着な爺でした…。
