武器商人@Pythonのブログ

Pythonを好んで使っているプログラマです。Pythonこそが最強のプログラミング言語だと思っています。Pythonは使いやすいです。Pythonは書きやすいです。Pythonは読みやすいです。Pythonはパワフルです。Pythonは一貫性があります。Pythonが好きです。

WebScraping

PythonでYahoo!ファイナンスから株価を取得

2017/10/13 Pythonスクレイピング関連の書籍についてアップデート 2017/03/24 Pythonスクレイピング関連の書籍についてアップデート コードを引数にして株価を取得したい 株価の情報はYahoo!ファイナンスから 株価詳細ページ サンプルコード 実行結果 たくさ…

PythonでAmazonの本・Kindle本のカテゴリーを取得する

最近、バカの一つ覚えみたいにスクレイピングをやっております。。。 requestsとBeautifulSoupを使うだけでもいろいろ出来てしまう。 Amazonの本・Kindle本のカテゴリーを取得したい 対象ページ 分析の仕方 Google Chromeで上記の対象のページを開く 取得対…

アルク英辞郎 on the Webのページをスクレイピングしてみた。

アルクのホームページ 英辞郎 on the Webについて サンプルコード 実行結果 感想 お薦め書籍 アルクのホームページ www.alc.co.jp はてぶが4000弱ってすごいですな。。。 英辞郎 on the Webについて googleの検索窓みたいに、検索窓から検索要求を出すと、検…

AmazonランキングのRSSをPythonで読み込んで出力

はじめに サンプルコード 実行結果 簡単ですね! こういうことに興味をお持ちならこちらの書籍もどうぞ はじめに 最近、クローリング/スクレイピング/スパイダリングにはまっています。Amazonのランキングを出力したいなと思いました。やり方はいろいろある…

AmazonのサイトをWebスクレイピングしてランキングを取得

はじめに BeautifulSoupを使ってAmazonのサイトをウェブスクレイピング Amazonの書籍ランキングのURL サンプルコード 実行結果 ウェブスクレイピングはクソ面白いw はじめに AmazonのProduct Advertising APIではランキング情報を取得出来ないので、Amazon…

ウェブサイトのtitleタグを正規表現を使い取得する

私の以下3サイトのtitleタグを取得するスクリプトを書きました。 或阿呆のブログ 武器商人@Pythonのブログ http://oneshotlife-excel-vba.hateblo.jp/やりかたはいろいろあるんですが、今回は、正規表現で、titleタグをマッチさせるやり方で取得しました。…

アメブロのRSSを解析する

環境 rssfeedを取得する feedparserをimport feedparserの属性を表示してみる rssfeedをparseする feedの属性を表示する feed.keymap 環境 $ipython Python 2.7.3 (default, Sep 26 2012, 21:53:58) Type "copyright", "credits" or "license" for more info…

urllibを使ってhtmlデータを取得

ウェブスクレイピングとは、 ウェブスクレイピング(Web scraping)とは、ウェブサイトから情報を抽出するコンピュータソフトウェア技術のこと。ウェブ・クローラー(Web crawler) あるいはウェブ・スパイダー(Web spider)とも呼ばれる。 通常このようなソフ…