Geek
2014年に「クローラー/スクレイピング Advent Calendar 2014」というものがQiita上であったらしい。
その中で興味がわいた、
シェルスクリプトを使って「これから毎日金相場をスクレイピングしようぜ?」
を試してみたところ、現状では利用できなくなっていたので、
少し手を加えて、2016年現在の形式に変換した方法。

2014年以降、田中貴金属のWebページがリニューアルしたのではないだろうか。

実際、上記のページでは、貴金属価格の表は、以下の状態だが、

シェルスクリプトを使って「これから毎日金相場をスクレイピングしようぜ?」という話

現在は、以下の様に、表の形式が全く異なっている。

貴金属価格 2016年4月13日現在

スクレイピングするために、一部手を加える必要がある。

※スクレイピングは情報収集のための手法です。
悪用等して過度な負荷をサイトにかけない様にしましょう。

関連キーワード(ユーザータグ):
scraping
スクレイピング
シェルスクリプト

貴金属価格

Centos
CentosにSSHログインすると、文字化けしてしまうことがある。
サーバ側のlocaleを修正しても改善しない場合は、OSXのターミナル設定を見直してみようというお話。

ついでに、自分の環境でよく使っているiTermでの設定も記載しておく。

根本的な原因は、端末側のターミナルクライアントが、端末側(つまりMac OSX側)の言語環境をサーバに送信。
サーバ側で読み込めないことにある。
ロケールを修正するために、サーバ側の設定をいじる対策もあるけれども、それだけでは治らないことがあります。

例えば、ログインごとに、

-bash: warning: setlocale: LC_CTYPE: cannot change locale (UTF-8): そのようなファイルやディレクトリはありません

であったり、

locale
locale: Cannot set LC_CTYPE to default locale: No such file or directory
locale: LC_ALL?????????????????????: ??????????????????????
LANG=ja_JP.utf8
.
.
.
(以下略)


といった形でコンソール出力が文字化けする場合、以下の手順で設定を見直した方が良い。とおもう。

以下、OSX 標準コンソールの場合

「環境設定(コマンドキー + , )」> 「プロファイル」>「詳細設定」 から

以下の部分のチェックを外しておこう。

Profiles.jpg

関連キーワード(ユーザータグ):
サーバ
Centos
OSX
Mac

Centos

タイトルそのまま。
前回Centosのインストールを行った
こちらのページを参考に初期設定として、root宛のメールをGmailに転送しようとしたところ、かなり詰まったのでメモ。


Gmailへ転送しようとすると、以下のようなエラーとなり、まったくGmailに送信できなかった。
(より正確には、smtp.gmail.comへの認証がうまくいかなかった)


ちなみにGoogleアカウントは2段階認証しているため、
2段階認証がNGなのか、そもそもの設定がNGなのかの切り分けに苦労した。


エラーの一部を抜粋すると・・・



localhost sendmail[5062]: STARTTLS=client, relay=smtp.gmail.com, version=TLSv1/SSLv3, verify=FAIL, cipher=ECDHE-RSA-AES128-GCM-SHA256, bits=128/128

のあとに、

dsn=5.0.0, stat=Service unavailable
DSN: Service unavailable

や、

530-5.5.1 Authentication Required. Learn more at
530 5.5.1 https://support.google.com/mail/answer/14257
554 5.0.0 Service unavailable


といった内容。
ちなみに、上記のsupport.google.comの内容は、
パスワードあってる?といった内容のページだったりする。


最終的にうまくいった設定。


最終的にうまくいった設定から考えてみると、
参考にしたページで
設定していた、外部ファイル化した設定ファイルにstmp.gmail.com と、smtpサーバの設定を入れることが問題となった様子。
以下、順に設定を記載する。



CentOS_Project2.jpg

関連キーワード(ユーザータグ):
サーバ
Centos
gmail

Centos
Centos7は2014年6月のリリースから2年近くと、巷での情報や事例も増えてきたので
これまで利用してきたCentos6をアップデート(正確にはクリーンインストール)した。

ほぼ全てCUIで利用しているため、GUIを触るのは、セットアップ時のみ。
それでもCentos6で不便だったセットアップGUIがものすごくユーザフレンドリーになっていた。
とはいえ少しばかりセットアップで詰まったのでメモ。

CentOS_Project.jpg




関連キーワード(ユーザータグ):
仮想化
サーバ
Centos