スクレイピングをするときに必須というわけではないのだが、UAは設定した方がいい。サイトの運営者であれば、ボットからのアクセスと人間からのアクセスはすぐにわかる。なるべく人間に似せるように設定してあげるのがポイントだと思う。UAを設定すること自…

Pythonとの出会い Hello,World!までの道のり Python IDLEの魅力 Pythonの平易さ Pythonの入門書でお薦めは PythonでのWebScrapingには Pythonは遅いか？ Pythonのパフォーマンスチューニングは PythonとC言語の融合 まとめ Pythonとの出会い Pythonとの出会…

説明不足な部分があったらコメント下さい。返信及び記事修正します。 過去エントリ Amazon Product Advertising APIへの不満 WebScrapingの定石 APIで取得出来ない情報がある場合の定石 IDLEでガリガリ 対象URL 対象のデータを格納しているタグを見つける ID…

最近、バカの一つ覚えみたいにスクレイピングをやっております。。。 requestsとBeautifulSoupを使うだけでもいろいろ出来てしまう。 Amazonの本・Kindle本のカテゴリーを取得したい 対象ページ 分析の仕方 Google Chromeで上記の対象のページを開く 取得対…

pipを使っていると古いバージョンを使っているとのワーニングが出ていることに気付いた。 pip : You are using pip version 7.1.0, however version 9.0.0 is available. いちいち言われるのは面倒臭いからpipをバージョンアップしようと思った。pipのインス…

過去エントリ IPythonのインストールについてはこちら Windows7にPython2.7,IPythonをインストール。Python2.7にはeasy_installもpipも同梱されているっぽいですね。#Python - 武器商人＠Pythonのブログ プロファイルの作成についてはこちら IPython プロフ…

IPython プロファイルを作成