武器商人@Pythonのブログ

Pythonを好んで使っているプログラマです。Pythonこそが最強のプログラミング言語だと思っています。Pythonは使いやすいです。Pythonは書きやすいです。Pythonは読みやすいです。Pythonはパワフルです。Pythonは一貫性があります。Pythonが好きです。

ブログ引越ししました

各記事は新ブログにリダイレクトさせてます。

Windows10にAnaconda Python3xをインストールした。

oneshotlife-python.hatenablog.com過去エントリにて、ちょっとだけAnacondaについて書いたのでそちらも参照のこと。PCを新しくしたので、Pythonの環境構築をしていた。 やはり、これからの時代はAnacondaかな?と思う。IDEも含めて使用しそうなものがすべて…

UserAgentを上手いこと誤魔化すfake-useragent

スクレイピングをするときに必須というわけではないのだが、UAは設定した方がいい。サイトの運営者であれば、ボットからのアクセスと人間からのアクセスはすぐにわかる。なるべく人間に似せるように設定してあげるのがポイントだと思う。UAを設定すること自…

Pythonで食っている俺が語るPythonの魅力(1)生産性や速度

Pythonとの出会い Hello,World!までの道のり Python IDLEの魅力 Pythonの平易さ Pythonの入門書でお薦めは PythonでのWebScrapingには Pythonは遅いか? Pythonのパフォーマンスチューニングは PythonとC言語の融合 まとめ Pythonとの出会い Pythonとの出会…

PythonとrequestsとBeautifulSoupでAmazonの中古品情報一覧を取得

説明不足な部分があったらコメント下さい。返信及び記事修正します。 過去エントリ Amazon Product Advertising APIへの不満 WebScrapingの定石 APIで取得出来ない情報がある場合の定石 IDLEでガリガリ 対象URL 対象のデータを格納しているタグを見つける ID…

PythonでAmazonの本・Kindle本のカテゴリーを取得する

最近、バカの一つ覚えみたいにスクレイピングをやっております。。。 requestsとBeautifulSoupを使うだけでもいろいろ出来てしまう。 Amazonの本・Kindle本のカテゴリーを取得したい 対象ページ 分析の仕方 Google Chromeで上記の対象のページを開く 取得対…

Windows10でpipのバージョンアップ

pipを使っていると古いバージョンを使っているとのワーニングが出ていることに気付いた。 pip : You are using pip version 7.1.0, however version 9.0.0 is available. いちいち言われるのは面倒臭いからpipをバージョンアップしようと思った。pipのインス…

IPythonの起動時にモジュールをインポート

過去エントリ IPythonのインストールについてはこちら Windows7にPython2.7,IPythonをインストール。Python2.7にはeasy_installもpipも同梱されているっぽいですね。#Python - 武器商人@Pythonのブログ プロファイルの作成についてはこちら IPython プロフ…

IPython プロファイルを作成/削除/変更

IPython プロファイルを作成

PythonとbottlenoseでAmazon Product Advertising APIを使う。

概要 bottlenoseについて インストール方法 ItemLookupで商品情報をxml形式で取得する サンプルコード 実行結果(item要素のみ抜粋) xmlをパースする サンプルコード 実行結果 最後に お薦め書籍 概要 Product Advertising APIについては、Product Advertisin…

アルク英辞郎 on the Webのページをスクレイピングしてみた。

アルクのホームページ 英辞郎 on the Webについて サンプルコード 実行結果 感想 お薦め書籍 アルクのホームページ www.alc.co.jp はてぶが4000弱ってすごいですな。。。 英辞郎 on the Webについて googleの検索窓みたいに、検索窓から検索要求を出すと、検…

AmazonランキングのRSSをPythonで読み込んで出力

はじめに サンプルコード 実行結果 簡単ですね! こういうことに興味をお持ちならこちらの書籍もどうぞ はじめに 最近、クローリング/スクレイピング/スパイダリングにはまっています。Amazonのランキングを出力したいなと思いました。やり方はいろいろある…

Pythonで楽天ウェブサービスを使って書籍情報を取得する ~ リファクタリングしてみた

はじめに サンプルコード(リファクタリング前) リファクタリングポイント メソッド名 語順 単語の区切り パスカルケース/アッパーキャメルケース キャメルケース/ローワーキャメルケース スネークケース ライブラリ クエリの組立方 参考書籍 メイン処理の書…

requestsとBeautifulStoneSoupを使いはてなブログAtomPubを使ってブログ情報を取得する

はじめに サンプルコード 実行結果 必要モジュール requests bs4 モジュールのインポート url,userId,apiKeyの設定 GETメソッドでリソースを取得する rの値 r.contentの値 BeautifulStoneSoupでXMLをパース BeautifulStoneSoupのインスタンスを生成 prettify…

Amazletで生成されるHLTMLコードをBeautifulSoupを使って整形して表示する

Amazletを使うとアフィリエイトコードを生成するのが便利 Amazletのアフィリエイトコードを素のまま表示する AmazletのアフィリエイトコードをBeautifulSoupを使って整形 サンプルコード 実行結果 Amazletを使うとアフィリエイトコードを生成するのが便利 使…

Pythonで楽天ウェブサービスを使って書籍情報を取得する

サンプルコード ポイント jsonのデータをロードするのは意外と簡単! 実行結果 お勧め書籍 楽天ウェブサービスを使って情報を取得してみた。今回使ったのは、書籍の検索のapi。著者情報を渡して、その著者の書籍を取得するというもの。要求はhttpで投げて、…

Pythonでは変数にどんなに大きな整数を設定しても問題無い

変数の型とサイズについて 変数numに大きな値を設定する 変数numの値を出力 変数numの型名を出力 お薦め書籍 変数の型とサイズについて 特に、静的型付けを行う言語には多いが、変数に格納する値を意識しないと行けない言語もある。Pythonでは、言語側で勝手…

AmazonのサイトをWebスクレイピングしてランキングを取得

はじめに BeautifulSoupを使ってAmazonのサイトをウェブスクレイピング Amazonの書籍ランキングのURL サンプルコード 実行結果 ウェブスクレイピングはクソ面白いw はじめに AmazonのProduct Advertising APIではランキング情報を取得出来ないので、Amazon…

ウェブサイトのtitleタグを正規表現を使い取得する

私の以下3サイトのtitleタグを取得するスクリプトを書きました。 或阿呆のブログ 武器商人@Pythonのブログ http://oneshotlife-excel-vba.hateblo.jp/やりかたはいろいろあるんですが、今回は、正規表現で、titleタグをマッチさせるやり方で取得しました。…

Pythonで正規表現を扱う

はじめに Pythonでの正規表現の使い方を簡単に説明します。 reモジュールをインポートします パターン文字列を定義します マッチさせます マッチさせた文字列を表示します はじめに スクリプト言語で文字列を操作するにあたって、正規表現は避けて通れないと…

アメブロのRSSを解析する

環境 rssfeedを取得する feedparserをimport feedparserの属性を表示してみる rssfeedをparseする feedの属性を表示する feed.keymap 環境 $ipython Python 2.7.3 (default, Sep 26 2012, 21:53:58) Type "copyright", "credits" or "license" for more info…