oneshotlife-pythonのブログ

Pythonを好んで使っているプログラマです。Pythonこそが最強のプログラミング言語だと思っています。Pythonは使いやすいです。Pythonは書きやすいです。Pythonは読みやすいです。Pythonはパワフルです。Pythonは一貫性があります。Pythonが好きです。

Windows10にAnaconda Python3xをインストールした。

oneshotlife-python.hatenablog.com過去エントリにて、ちょっとだけAnacondaについて書いたのでそちらも参照のこと。PCを新しくしたので、Pythonの環境構築をしていた。 やはり、これからの時代はAnacondaかな?と思う。IDEも含めて使用しそうなものがすべて…

PythonでYahoo!ファイナンスから株価を取得 #Python #WebScraping

2017/03/24 Pythonスクレイピング関連の書籍についてアップデート コードを引数にして株価を取得したい 株価の情報はYahoo!ファイナンスから 株価詳細ページ サンプルコード 実行結果 たくさんのコードを渡してみる。 実行結果 出力結果をテーブルに吐いてみ…

鬼のようにタイピングが速くなりたいなら速読式 タイピング練習 ソフト【脳速打ステージ】初級~上級編【頭脳王シリーズ】

ブラインドタッチ、最近はタッチタイピングと言うのかな?これが速くないとプログラミングの練習や実践に影響が出るので練習したほうがいいよ。速読式 タイピング練習 ソフト【脳速打ステージ】初級~上級編【頭脳王シリーズ】posted with カエレバ 日本能力…

UserAgentを上手いこと誤魔化すfake-useragent #Python

スクレイピングをするときに必須というわけではないのだが、UAは設定した方がいい。サイトの運営者であれば、ボットからのアクセスと人間からのアクセスはすぐにわかる。なるべく人間に似せるように設定してあげるのがポイントだと思う。UAを設定すること自…

Pythonで食っている俺が語るPythonの魅力(1)生産性や速度 #Python

Pythonとの出会い Hello,World!までの道のり Python IDLEの魅力 Pythonの平易さ Pythonの入門書でお薦めは PythonでのWebScrapingには Pythonは遅いか? Pythonのパフォーマンスチューニングは PythonとC言語の融合 まとめ Pythonとの出会い Pythonとの出会…

PythonとrequestsとBeautifulSoupでAmazonの中古品情報一覧を取得 #Python #WebScraping #せどり

説明不足な部分があったらコメント下さい。返信及び記事修正します。 過去エントリ Amazon Product Advertising APIへの不満 WebScrapingの定石 APIで取得出来ない情報がある場合の定石 IDLEでガリガリ 対象URL 対象のデータを格納しているタグを見つける ID…

PythonでAmazonの本・Kindle本のカテゴリーを取得する #Python #WebScraping

最近、バカの一つ覚えみたいにスクレイピングをやっております。。。 requestsとBeautifulSoupを使うだけでもいろいろ出来てしまう。 Amazonの本・Kindle本のカテゴリーを取得したい 対象ページ 分析の仕方 Google Chromeで上記の対象のページを開く 取得対…

私のPython環境 #Python

me

2016/11/09時点 OS Pythonパッケージ Python インストールライブラリ 2016/11/09時点 OS Windows10 Pythonパッケージ conda 4.2.12 Python python2.7.12 インストールライブラリ $pip freeze で調べたもの。 attrs==15.2.0 backports.shutil-get-terminal-si…

WindowsでPythonを使ってWebScrapingやデータ解析をしたいならAnaconda/Miniconda一択

追記:Anacondaは重過ぎるのでMinicondaを入れなおしました。 追記:Anacondaは重過ぎるのでMinicondaを入れなおしました。 Python2xかPython3xか 私の場合のPython2xとPython3xの使い分け Python2xとPython3xを共存させるには Anaconda/minicondaとは ダウ…

Windows10でPythonとIDLEを使って開発する #Python

IDLEについて IDLEの特徴 OSを選ばない インタラクティブシェル 専用のGUI シェルと連動したエディタ デバッカーも付いている 軽量で軽快 どうしてIDLE使っている人少ないんだろう。 IDLEについて IDELとはPythonに同梱している統合開発環境のこと。学習用ら…

Windows10でpipのバージョンアップ

pipを使っていると古いバージョンを使っているとのワーニングが出ていることに気付いた。 pip : You are using pip version 7.1.0, however version 9.0.0 is available. いちいち言われるのは面倒臭いからpipをバージョンアップしようと思った。pipのインス…

ImportError: No module named win32api

Scrapy shellを起動しようとしたら以下のエラーが出た。 ImportError: No module named win32api 試しに、win32apiをインストールしてみた。 PS>pip install win32api pip : You are using pip version 7.1.0, however version 9.0.0 is available. 発生場所…

IPythonの起動時にモジュールをインポート #IPython

過去エントリ IPythonのインストールについてはこちら Windows7にPython2.7,IPythonをインストール。Python2.7にはeasy_installもpipも同梱されているっぽいですね。#Python - oneshotlife-pythonのブログ プロファイルの作成についてはこちら IPython プロ…

IPython プロファイルを作成/削除/変更 #IPython

IPython プロファイルを作成

PythonとbottlenoseでAmazon Product Advertising APIを使う。

概要 bottlenoseについて インストール方法 ItemLookupで商品情報をxml形式で取得する サンプルコード 実行結果(item要素のみ抜粋) xmlをパースする サンプルコード 実行結果 最後に お薦め書籍 概要 Product Advertising APIについては、Product Advertisin…

Pythonでデザインパターンを勉強するならこのサイトを見るといいよ。

esu-ko.hatenablog.com 先日、教えてもらったのだが、もっと調べてみると、ウェブサイト上で公開している方がいましたね。github.com 簡単に引用すると、以下のようなデザインパターンが、なんとPythonのサンプルコード付きで掲載されています。 が、全部英…

アルク英辞郎 on the Webのページをスクレイピングしてみた。 #Python #WebScraping

アルクのホームページ 英辞郎 on the Webについて サンプルコード 実行結果 感想 お薦め書籍 アルクのホームページ www.alc.co.jp はてぶが4000弱ってすごいですな。。。 英辞郎 on the Webについて googleの検索窓みたいに、検索窓から検索要求を出すと、検…

AmazonランキングのRSSをPythonで読み込んで出力 #Python

はじめに サンプルコード 実行結果 簡単ですね! こういうことに興味をお持ちならこちらの書籍もどうぞ はじめに 最近、クローリング/スクレイピング/スパイダリングにはまっています。Amazonのランキングを出力したいなと思いました。やり方はいろいろある…

Pythonで文字列が空かどうかを判定するシンタックス #Python

文字列か空かどうかを判定する機会は多いので備忘録として残す。 サンプルコード >>> str = "" >>> type(str) <type 'str'> >>> len(str) 0 >>> not str True >>> コメント lenでサイズを調べる。空文字列であれば0が返却される。 >>> len(str) 0 notを使う。空文字列で</type>…

Pythonで楽天ウェブサービスを使って書籍情報を取得する ~ リファクタリングしてみた #Python

はじめに サンプルコード(リファクタリング前) リファクタリングポイント メソッド名 語順 単語の区切り パスカルケース/アッパーキャメルケース キャメルケース/ローワーキャメルケース スネークケース ライブラリ クエリの組立方 参考書籍 メイン処理の書…

Python文法:文字列 #Python

文字列の表記方法 ダブルクウォーテーション シングルクウォーテーション トリプルクウォーテーション Unicode文字列 エスケープシーケンス 例 文字列の演算 文字列の連結 文字列の繰り返し 文字列のレングスを取得 文字列の場合 Unicode文字列 参考書籍 文…

PythonでCGIプログラムを書いてローカルのサーバーもどきで動かしてみた。 #Python #CGI

CGI

もともとは、 Pythonのプログラムをサーバーで動かすなんて考えてなかったわけで、ローカルで使うスクリプトなんかをメインに書いてきた。Pythonのプログラムをサーバーで動かそうなんて考えたのは、アフィリエイトのプログラムをちゃちゃっと書いちゃって、…

requestsとBeautifulStoneSoupを使いはてなブログAtomPubを使ってブログ情報を取得する #Python

はじめに サンプルコード 実行結果 必要モジュール requests bs4 モジュールのインポート url,userId,apiKeyの設定 GETメソッドでリソースを取得する rの値 r.contentの値 BeautifulStoneSoupでXMLをパース BeautifulStoneSoupのインスタンスを生成 prettify…

Amazletで生成されるHLTMLコードをBeautifulSoupを使って整形して表示する #Python

Amazletを使うとアフィリエイトコードを生成するのが便利 Amazletのアフィリエイトコードを素のまま表示する AmazletのアフィリエイトコードをBeautifulSoupを使って整形 サンプルコード 実行結果 Amazletを使うとアフィリエイトコードを生成するのが便利 使…

Pythonで楽天ウェブサービスを使って書籍情報を取得する #Python

サンプルコード ポイント jsonのデータをロードするのは意外と簡単! 実行結果 お勧め書籍 楽天ウェブサービスを使って情報を取得してみた。今回使ったのは、書籍の検索のapi。著者情報を渡して、その著者の書籍を取得するというもの。要求はhttpで投げて、…

Pythonでは変数にどんなに大きな整数を設定しても問題無い #Python #文法

変数の型とサイズについて 変数numに大きな値を設定する 変数numの値を出力 変数numの型名を出力 お薦め書籍 変数の型とサイズについて 特に、静的型付けを行う言語には多いが、変数に格納する値を意識しないと行けない言語もある。Pythonでは、言語側で勝手…

Amazonのサイトをスクレイピングしてランキングを取得 #Python #WebScraping

はじめに BeautifulSoupを使ってAmazonのサイトをウェブスクレイピング Amazonの書籍ランキングのURL サンプルコード 実行結果 ウェブスクレイピングはクソ面白いw はじめに AmazonのProduct Advertising APIではランキング情報を取得出来ないので、Amazon…

ウェブサイトのtitleタグを正規表現を使い取得する #Python #WebScraping

私の以下3サイトのtitleタグを取得するスクリプトを書きました。 或阿呆のブログ oneshotlife-pythonのブログ Excel VBAのサンプルコードやりかたはいろいろあるんですが、今回は、正規表現で、titleタグをマッチさせるやり方で取得しました。 サンプルコー…

Pythonで正規表現を扱う #Python #正規表現

はじめに Pythonでの正規表現の使い方を簡単に説明します。 reモジュールをインポートします パターン文字列を定義します マッチさせます マッチさせた文字列を表示します はじめに スクリプト言語で文字列を操作するにあたって、正規表現は避けて通れないと…

アメブロのRSSを解析する #Python #feedparser

環境 rssfeedを取得する feedparserをimport feedparserの属性を表示してみる rssfeedをparseする feedの属性を表示する feed.keymap 環境 $ipython Python 2.7.3 (default, Sep 26 2012, 21:53:58) Type "copyright", "credits" or "license" for more info…

urllibを使ってhtmlデータを取得 #Python #WebScraping

ウェブスクレイピングとは、 ウェブスクレイピング(Web scraping)とは、ウェブサイトから情報を抽出するコンピュータソフトウェア技術のこと。ウェブ・クローラー(Web crawler) あるいはウェブ・スパイダー(Web spider)とも呼ばれる。 通常このようなソフ…

Windows7にPython2.7,IPythonをインストール。Python2.7にはeasy_installもpipも同梱されているっぽいですね。#Python

WindowsにIPythonをインストールしようと思ったわけ Python 2.7.10をダウンロード。 環境変数に"C:\Python27"を追加 環境変数に"C:\Python27\scripts"を追加 IPythonのインストール Readlineのインストール IPythonの起動 Pythonのお勉強の手始め WindowsにI…