AWSを試す

Share on FacebookTweet about this on TwitterPin on PinterestShare on LinkedInShare on Google+Share on RedditShare on TumblrEmail this to someone

Amazon Web Service が1年無料だったので試してみた。

 

その前に、事の始まりは、Web Crawlerをやろうと思ってたら、通常のWeb Hosting Service では禁止行為になってたw このサイトの引っ越しついでにCronで・・・とか思ってたんだけど。こっそりやったとしても、Queryも1時間に3000件までしか投げられないようなので、今は17000URL*3Queriesな状況なので、いずれにしろ見つかるのは時間の問題。そんなわけで、Virtual Private Server (VPS) を探す事になった次第。とはいえ、既にVMWare内でやってた事を外でするだけなのだが。

 

AWS以外にも、heroku.com というのが低機能版で無料となっているので、両方試してみるのも良いかも。

 

EC2の設定方法は既にあると思うので省いて(Elastic IPとSecurity GroupをInstanceに割り当てれば外部からアクセスはできるはず)、Cron動かすまでに必要だったものをメモしておこう。OSはUbuntu

Apache のインストール

Webサイトとして使う事を想定してないので、Apache2の設定はもう少し必要なはず。

スタート、ストップ、リスタート

Elastic IPでPublic IPをつなげておくと、接続できるようになるはずなので、WEBもIPで表示できるはず。

 

 

PHPとPHP Lib のインストール

 

 

MySQLのインストール

 

 

PhpMyAdminのインストール

 

 

cURLのインストール

 

(SSHなサイトがPHPの標準関数だけではうまく取れなかったので一部にcurlを使用)

ついでにcurl_setoptの一覧。SSLが結構曲者でサイト毎に違うエラーが出てくるのでかなり面倒。今のところこれで高確率にCrawlできているが、それでもいくつかこぼれる。

 

 

vsftpd のインストール

 

vsftpdの再起動

/etc/vsftpd.conf の以下を確認(詳細はvsftpd Manpageで)。FTPSの設定はしてない。

EC2側でも設定が必要。

Security Groupsで使ってるGroupをクリックして、Inboundに以下を追加しておく。

 

 

Timezone の設定

Cronの動く時間と、Terminal の時間と、FTPから見えるタイムスタンプが違ってたので、vsftpd.conf (use_localtime=YES)とこちらで統一

が、Filezillaのせいか、タイムスタンプがずれている。ffftpで接続してみたら、これも違う時間にずれていた。しかしffftpの場合は、サーバーの時刻を設定から指定する事で調整するもののようだ。という事で、Filezillaの設定にも時間調整ができるので、そちらで設定する事にした。puttyとCmd から ftp localhost でログインしたら、ちゃんとしたタイムスタンプになっているし、Filezilla から MDTM <file name>でタイムスタンプとると正しい値が帰ってくるので、Filezilla側で時刻を調整する方法であってるだろう。

 

 

Cronの設定

上記でTimezoneの設定をしたら、念の為に確認として以下のコマンドを実行し、設定したタイムゾーンになってるか確認。

Cronを再起動しておく。

Cronにスケジュールをセットする。

とか書いとけば動く。21時にtest.shが実行される。

 

crond がそもそも動いてるのかの確認は以下

以下を記入し保存

一分程放置してから、以下のコマンドで時間が書き込まれてたらcrondは動いてる。

 

 

と、大分大雑把だが、こんな作業をした。SSHを使ったputtyでの接続方法も知る必要があるが、それはネットに画像付であるだろう。

 

Bookmark the permalink.

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です