Python：DLのみ、MySQL不要バージョン Pythonスクリプト：株式相場表（日報、PDF）をDLする 10/28追記：「まとめ」UP Python：DLのみ、MySQL不要バージョン 初めて東証サイトから株式相場表（日報、PDF）をダウンロード（DL）する時用です。まだ、MySQLのテ…

11/5追記：PDF解析に使うPDFMinerの使い方、一部修正 東証株式相場表（日報、PDF）解析の引っかかりどころ 株価データのうち「-」は該当数値がない…。 利用する項目を絞り込みました 11/5追記：PDF解析に使うPDFMinerの使い方、一部修正 Python:「PDFMiner」…

東証株式相場表（日報、PDF）は手ごわかった 作業するPCの問題 IDEはVSCodeを使いました 東証株式相場表（日報、PDF）は手ごわかった 東京証券取引所日報 | 日本取引所グループに掲載されている「株式相場表」（PDF）を利用したいと考えました。Pythonで、（…

爺、「高齢者」あつかいということで、運転免許更新に際し、事前講習が必要に…。 朝方、講習予約とろうとしたけど、電話つながらなかった…。 ２か月先でないと講習枠がない、とのこと。 免許証など持参品もある 【運転免許更新「高齢者講習」はがき】 爺、「…

排水路の改修方向がおよそ決まりました。 新設排水路は約20m 草刈りや耐荷重の問題 逆勾配もあって、心配は尽きず 台所のリフォーム着手 【10月15日・日南町：イチジク葉の影で一休みするアマガエル】 排水路の改修方向がおよそ決まりました。 14日（金）午…

前説：東証株式相場表（日報、PDF）約3800銘柄のうち、７銘柄データピックアップできていなかった。 正規表現とPython.replaceを工夫し、何とかなったかしら……（不安だけど）。 １：正規表現でヒットする範囲をゆるくしてみた ２：「,」数字３桁区切りコンマ…

前説：PythonスクリプトでPDFMiner動かしたけど、東証株式相場表（日報、PDF）で取得できてないデータがあるのがわかりました。 Pythonスクリプト、主に正規表現などを工夫し、484～491KB程度のCSVファイルになりました。 48銘柄がヒットしない。 データがあ…

前説：Pythonで東証株式相場表（日報、PDF）からCSV作ってみたけど…。 PDFMinerをつかったPythonスクリプトで東証株式相場表（日報、PDF）からCSVが何とかできたか、と思ったものの、できあがったファイル容量が日ごとにいくらか異なり懸念がありました。 9…

前説：東証株式相場表（日報、PDF）銘柄コード隣りの１文字に気づかず1か月以上 東証株式相場表（日報、PDF）をPDFMinerでなんとか解析できそうだと思ったのが9月5日でした。 Python:VSCodeでPDFMinerを使って、東証株日報PDFから表抽出（３） - pagetakaBlo…

以前掲載したPythonスクリプト、修正。 東証株式相場表日報（PDF）をPDFMinerで解析できていると思ってたけど…。 気づいたのは出来上がったファイルの容量が大きく異なる日があったから 「D」以外もかなりある 修正：恥ずかしながらのPython script 東証株式…

前説：メールでの返答をいただけるつもりで…待っていましたが。 ５日（水）、日南町建設課から２回電話がありました。 ７日（金）、午後６時過ぎ、役場の北側の電気はついているようでした。 ８日（土）、役場からのメールは未着 １０日（月）迷惑メールなど…

前説：複数CSVで「LOAD DATA INFILE」をfor文で使えるようにしてみた。 記事タイトルのとおり、複数のファイルをひとつにまとめればOKではないのかしらん…。 複数CSVをひとつにし大きなCSVをひとつ用意するのを省き、「Dataframe」にして、MySQLへ書き込むと…

MySQLスタートしてもすぐストップ 先例があり、参考にさせていただきました。 フォルダ操作で退避・復帰、 注目するのは、「data」フォルダ XAMPPを起動・停止させるタイミングは大切みたい MySQLスタートしてもすぐストップ XAMPPを稼働させ、apacheのスタ…

前説：CSVの文字コード、utf_8_sig、cp932 などで苦戦 同一フォルダ・同一ファイル名：恥ずかしながらのPythonスクリプト（文字コード変更し保管） 別フォルダ：恥ずかしながらのPythonスクリプト（現状Pathから別Path置換） 余談： shift_jis は cp932 で文…

ちょっと一休みみたいな感じで、「東証株式相場表（日報、PDF）」作業の課題を備忘録的に書きだしました。 東証株式相場表（日報、PDF）を解析し、これまでにできたこと。 東証株式相場表（日報、PDF）を解析し、まだできてないこと。 東証株式相場表（日報…

この項10/27追記：フォルダ名適宜ご変更のほど ファイル名を変数にする悪あがき、マニュアルでは文字列定数…みたいだけど 前説：CSV単ファイルを処理できました。 「LOAD DATA INFILE」でフォルダ内CSVを一気にMySQLテーブルへ 恥ずかしながらのPythonスクリ…

CSV（BOM無し）をMySQLへ読み込む LOAD DATA INFILE をPythonスクリプトで書くとこうなった…合ってるかな？ LOAD DATA INFILE をPython…CSVのcolumnとDB.TABLE.columnの関係づけは… CSV（BOM無し）をMySQLへ読み込む 環境：Win11（64）home、VSCode、Python3…

前説：長いおはなしですみません。 返答遅れをわびつつ、目の前の解決を模索しているのかな…。 来週金曜日までには連絡をいただけることになりました。 前説：長いおはなしですみません。 pagetaka.hatenablog.jp pagetaka.hatenablog.jp日南町役場で総務課…

前説１：これまでの経過 前説２：町有地に町が設けたU字溝がなぜ「青線のようなもの」か…。 役所が言う「管理」とは…。 前説１：これまでの経過 pagetaka.hatenablog.jp 爺的には長い経過があります。blogに書いてきたことを前記事でピックアップしました。2…

鳥取県日南町にある親が建てた家の関係で、周囲や日南町のことなど、これまで書いたblog記事の主だったものを拾い出しました。その末に、昨日の日南町役場訪問があった、という爺の中での位置づけです。 これまでの記事と経過 26日午後、2時間ばかり「お役人…

XAMPPの「quite」（終了）ボタンを押すとエラー PC起動後、手動でXAMPPを起動しています。用事が済んで、「quite」（終了）ボタンのあとは、お決まりのように、「アクセスが拒否されました」との旨の表示が出ていました。 【XAMPP:終了時エラー。プロパティ→…

ネット上のスクリプトをお借りし、東証株式相場表（複数・PDF）DLできました。 前説：自動で東証株式相場表（PDF）をDLしたい。 「デジタル推進課」さんのブログにドンピシャのスクリプトがありました。 恥ずかしながらのPythonスクリプト 課題：CRON動かす…

mysql.connetorで別PCのMySQLに接続できたみたいです。 前説：どこにRDBのデータ置くんだと考えたら、自PC内ではあまり都合よくないよな～と思った。 設定１：Win10PCにXAMPP入れ、その中のMySQLをつかってみることにしました。 設定２：Win11PCのVSCodeで使…

【内国株式だけを残した「東証上場銘柄」（部分）】 「東証上場銘柄」には10種類の「市場区分」情報。 「内国株式」だけを「東証上場銘柄」から選択する。 関連記事 「東証上場銘柄」には10種類の「市場区分」情報。 「東証上場銘柄」（Excel、XLS）を閲覧し…

東証上場銘柄表から、RDBのいくつかのテーブルが作れそうです。 前説：東証上場銘柄一覧（Excel:XLS）をPandasで読み込んだらDataFrameができました。 DataFrameは、「辞書型」らしい…。 課題：コード・銘柄名一覧表など各種一覧表をつくりたいです。 【東証…

東証上場銘柄一覧（xls）を読み込んで、VSCodeターミナルに表示…ができたみたいです。 前説：ネット上のExcelファイルをDLし保存せずそのままPythonで処理したかった。 pandas.io.excel.read_excel(url,etc) でDataframeに取り込めるらしいというのが、まず…

東証株日報からのデータ抽出、少し前進。耄碌爺にこれ以上できるか全く不明ですが、ひとまず、世間様へ恥さらしながら…。 追記・10月12日：できあがったCSVと東証株式相場表（日報、PDF）に齟齬 10/28追記：「まとめ」UP 追記・10月10日：スクリプトの修正が…

築50年超の平屋リフォーム中 鳥取県日南町にある平屋をリフォームしています。28日午後から30日朝まで作業しました。今後のリフォーム作業の準備ということで、家具をいくつか移動しました。子どもたちの段ボールが押入れを占拠しているため、奥まった部屋に…

今回できたこと：東証株日報PDFからCSVへの書き出し、部分的にできた。 PDFMiner解析の結果、異なるところにテキスト・データが…。 課題：複雑なページもある東証株日報PDF 今回できたこと：東証株日報PDFからCSVへの書き出し、部分的にできた。 東証株日報…

東証株日報PDFのテキスト抽出で少し前進がありました。 10/28追記：「まとめ」UP 前説：Java+tabula-pyでほぼ挫折していました。その後、PDFMinerでなんとかなるのではと思ってはみたものの…。 現状：lprms = LAParams(boxes_flow=None) を使って縦罫線無視…