oneshotlife-pythonのブログ

Pythonを好んで使っているプログラマです。Pythonこそが最強のプログラミング言語だと思っています。Pythonは使いやすいです。Pythonは書きやすいです。Pythonは読みやすいです。Pythonはパワフルです。Pythonは一貫性があります。Pythonが好きです。

WebScraping

PythonでYahoo!ファイナンスから株価を取得 #Python #WebScraping

2017/03/24 Pythonスクレイピング関連の書籍についてアップデート コードを引数にして株価を取得したい 株価の情報はYahoo!ファイナンスから 株価詳細ページ サンプルコード 実行結果 たくさんのコードを渡してみる。 実行結果 出力結果をテーブルに吐いてみ…

PythonでAmazonの本・Kindle本のカテゴリーを取得する #Python #WebScraping

最近、バカの一つ覚えみたいにスクレイピングをやっております。。。 requestsとBeautifulSoupを使うだけでもいろいろ出来てしまう。 Amazonの本・Kindle本のカテゴリーを取得したい 対象ページ 分析の仕方 Google Chromeで上記の対象のページを開く 取得対…

アルク英辞郎 on the Webのページをスクレイピングしてみた。 #Python #WebScraping

アルクのホームページ 英辞郎 on the Webについて サンプルコード 実行結果 感想 お薦め書籍 アルクのホームページ www.alc.co.jp はてぶが4000弱ってすごいですな。。。 英辞郎 on the Webについて googleの検索窓みたいに、検索窓から検索要求を出すと、検…

AmazonランキングのRSSをPythonで読み込んで出力 #Python

はじめに サンプルコード 実行結果 簡単ですね! こういうことに興味をお持ちならこちらの書籍もどうぞ はじめに 最近、クローリング/スクレイピング/スパイダリングにはまっています。Amazonのランキングを出力したいなと思いました。やり方はいろいろある…

Amazonのサイトをスクレイピングしてランキングを取得 #Python #WebScraping

はじめに BeautifulSoupを使ってAmazonのサイトをウェブスクレイピング Amazonの書籍ランキングのURL サンプルコード 実行結果 ウェブスクレイピングはクソ面白いw はじめに AmazonのProduct Advertising APIではランキング情報を取得出来ないので、Amazon…

ウェブサイトのtitleタグを正規表現を使い取得する #Python #WebScraping

私の以下3サイトのtitleタグを取得するスクリプトを書きました。 或阿呆のブログ oneshotlife-pythonのブログ Excel VBAのサンプルコードやりかたはいろいろあるんですが、今回は、正規表現で、titleタグをマッチさせるやり方で取得しました。 サンプルコー…

アメブロのRSSを解析する #Python #feedparser

環境 rssfeedを取得する feedparserをimport feedparserの属性を表示してみる rssfeedをparseする feedの属性を表示する feed.keymap 環境 $ipython Python 2.7.3 (default, Sep 26 2012, 21:53:58) Type "copyright", "credits" or "license" for more info…

urllibを使ってhtmlデータを取得 #Python #WebScraping

ウェブスクレイピングとは、 ウェブスクレイピング(Web scraping)とは、ウェブサイトから情報を抽出するコンピュータソフトウェア技術のこと。ウェブ・クローラー(Web crawler) あるいはウェブ・スパイダー(Web spider)とも呼ばれる。 通常このようなソフ…