pagetakaBlog

写真、PC、ネット、岡山、旅の話題をお届けします

Python:サーバでWebスクレイピングのスクリプト起動と、その後の問題。

前説

pagetaka.hatenablog.jp
さくらインターネットのレンタルサーバー(スタンダード)を使っています。昨日までに、Python3を設置し、パスが通り、Python3スクリプトが動くところまでできました。PCはWindows10(64)です。

スクレイピング用Pythonスクリプト起動とデータの受け取り

サーバ上(=鯖)で、株式銘柄CDと株価、そしてデータ取得時刻などをWebスクレイピングしたいと妄想しています。

まずは、起動の問題です。CRONを使えば、指定時間に動かすことができるので、これは問題なさそうです。以前、PHPで同様機能を使ったことがありますので、おそらくできるのかと…。
www.express.nec.co.jp
help.sakura.ad.jp

その次は、集めたデータをどう爺が受け取るか、ということです。
ザッと考えたのは次の通りです。ほかに便利な方法がありましたら教えてください。

  • サーバ内にCSV、Excelなどのファイルで保管し、FTPでダウンロードする
  • Pythonでメール送信できるようにし、添付ファイルで受信する
  • MySQLを設定し、次々とデータを放り込む、爺はそれを閲覧、ダウンロード等して使う
  • データを適宜なファイル形式(htmlなど)に仕立て、URLで呼び出し、それをBeautifulSoupで改めてスクレイピングする

できるだけ面倒でない方法を選択したいのだと、自分の非力さを棚にあげて、悩んだふりしている爺でした。

www.python.ambitious-engineer.com

qiita.com
develop.blue