武器商人@Pythonのブログ

Pythonを好んで使っているプログラマです。Pythonこそが最強のプログラミング言語だと思っています。Pythonは使いやすいです。Pythonは書きやすいです。Pythonは読みやすいです。Pythonはパワフルです。Pythonは一貫性があります。Pythonが好きです。

Windows10/Anaconda環境でIDLEをクイックランチ

IDLEって? Windows10/Anacondaにしたけど??? IDLE.exeを発見!!! 無事IDLEをクイックランチに設置完了 明日からIDLEでPython遊んでやるぞ~ IDLEって? 僕は、昔からIDLEが好きなんです。 「IDLE=インタラクティブシェル」です。 Windowsの場合、イン…

A Happy New Year! Hello,Python!

ずいぶん更新をサボっておりました。2017年はどうでも良いエントリを3つほど書いただけ。それにも関わらず、毎月3000pvほどあり、紹介記事から書籍を購入していただくことも多かったです。 ありがたい。どうしてサボっていたか?ブログを書く気力が無くなっ…

LinuxMint18.2SonyaにAnacondaをインストールしてみた

以前WindowsにAnacondaを入れたときは、動きが残念な感じだったので、今度はLinuxMint18.2に入れてみました。 ダウンロードページから、パッケージをダウンロード。 https://www.anaconda.com/download/2.x系と3.x系とありますが、長い目で見たら3.x系のほう…

Windows10にAnaconda Python3xをインストールした。

oneshotlife-python.hatenablog.com過去エントリにて、ちょっとだけAnacondaについて書いたのでそちらも参照のこと。PCを新しくしたので、Pythonの環境構築をしていた。 やはり、これからの時代はAnacondaかな?と思う。IDEも含めて使用しそうなものがすべて…

PythonでYahoo!ファイナンスから株価を取得

2017/10/13 Pythonスクレイピング関連の書籍についてアップデート 2017/03/24 Pythonスクレイピング関連の書籍についてアップデート コードを引数にして株価を取得したい 株価の情報はYahoo!ファイナンスから 株価詳細ページ サンプルコード 実行結果 たくさ…

鬼のようにタイピングが速くなりたいなら速読式 タイピング練習 ソフト【脳速打ステージ】初級~上級編【頭脳王シリーズ】

ブラインドタッチ、最近はタッチタイピングと言うのかな?これが速くないとプログラミングの練習や実践に影響が出るので練習したほうがいいよ。速読式 タイピング練習 ソフト【脳速打ステージ】初級~上級編【頭脳王シリーズ】posted with カエレバ 日本能力…

UserAgentを上手いこと誤魔化すfake-useragent

スクレイピングをするときに必須というわけではないのだが、UAは設定した方がいい。サイトの運営者であれば、ボットからのアクセスと人間からのアクセスはすぐにわかる。なるべく人間に似せるように設定してあげるのがポイントだと思う。UAを設定すること自…

Pythonで食っている俺が語るPythonの魅力(1)生産性や速度

Pythonとの出会い Hello,World!までの道のり Python IDLEの魅力 Pythonの平易さ Pythonの入門書でお薦めは PythonでのWebScrapingには Pythonは遅いか? Pythonのパフォーマンスチューニングは PythonとC言語の融合 まとめ Pythonとの出会い Pythonとの出会…

PythonとrequestsとBeautifulSoupでAmazonの中古品情報一覧を取得

説明不足な部分があったらコメント下さい。返信及び記事修正します。 過去エントリ Amazon Product Advertising APIへの不満 WebScrapingの定石 APIで取得出来ない情報がある場合の定石 IDLEでガリガリ 対象URL 対象のデータを格納しているタグを見つける ID…

PythonでAmazonの本・Kindle本のカテゴリーを取得する

最近、バカの一つ覚えみたいにスクレイピングをやっております。。。 requestsとBeautifulSoupを使うだけでもいろいろ出来てしまう。 Amazonの本・Kindle本のカテゴリーを取得したい 対象ページ 分析の仕方 Google Chromeで上記の対象のページを開く 取得対…

私のPython環境

me

2016/11/09時点 OS Pythonパッケージ Python インストールライブラリ 2016/11/09時点 OS Windows10 Pythonパッケージ conda 4.2.12 Python python2.7.12 インストールライブラリ $pip freeze で調べたもの。 attrs==15.2.0 backports.shutil-get-terminal-si…

WindowsでPythonを使ってWebScrapingやデータ解析をしたいならAnaconda/Miniconda一択

追記:Anacondaは重過ぎるのでMinicondaを入れなおしました。 追記:Anacondaは重過ぎるのでMinicondaを入れなおしました。 Python2xかPython3xか 私の場合のPython2xとPython3xの使い分け Python2xとPython3xを共存させるには Anaconda/minicondaとは ダウ…

Windows10でPythonとIDLEを使って開発する

IDLEについて IDLEの特徴 OSを選ばない インタラクティブシェル 専用のGUI シェルと連動したエディタ デバッカーも付いている 軽量で軽快 どうしてIDLE使っている人少ないんだろう。 IDLEについて IDELとはPythonに同梱している統合開発環境のこと。学習用ら…

Windows10でpipのバージョンアップ

pipを使っていると古いバージョンを使っているとのワーニングが出ていることに気付いた。 pip : You are using pip version 7.1.0, however version 9.0.0 is available. いちいち言われるのは面倒臭いからpipをバージョンアップしようと思った。pipのインス…

ImportError: No module named win32api

Scrapy shellを起動しようとしたら以下のエラーが出た。 ImportError: No module named win32api 試しに、win32apiをインストールしてみた。 PS>pip install win32api pip : You are using pip version 7.1.0, however version 9.0.0 is available. 発生場所…

IPythonの起動時にモジュールをインポート

過去エントリ IPythonのインストールについてはこちら Windows7にPython2.7,IPythonをインストール。Python2.7にはeasy_installもpipも同梱されているっぽいですね。#Python - 武器商人@Pythonのブログ プロファイルの作成についてはこちら IPython プロフ…

IPython プロファイルを作成/削除/変更

IPython プロファイルを作成

PythonとbottlenoseでAmazon Product Advertising APIを使う。

概要 bottlenoseについて インストール方法 ItemLookupで商品情報をxml形式で取得する サンプルコード 実行結果(item要素のみ抜粋) xmlをパースする サンプルコード 実行結果 最後に お薦め書籍 概要 Product Advertising APIについては、Product Advertisin…

Pythonでデザインパターンを勉強するならこのサイトを見るといいよ。

2018/01/08更新 Pythonのデザインパターンについて掲載された書籍がありますね。書籍名からだとだいぶわかりづらいですが。。。実践 Python 3作者: Mark Summerfield,斎藤康毅出版社/メーカー: オライリージャパン発売日: 2015/12/01メディア: 単行本(ソフ…

アルク英辞郎 on the Webのページをスクレイピングしてみた。

アルクのホームページ 英辞郎 on the Webについて サンプルコード 実行結果 感想 お薦め書籍 アルクのホームページ www.alc.co.jp はてぶが4000弱ってすごいですな。。。 英辞郎 on the Webについて googleの検索窓みたいに、検索窓から検索要求を出すと、検…

AmazonランキングのRSSをPythonで読み込んで出力

はじめに サンプルコード 実行結果 簡単ですね! こういうことに興味をお持ちならこちらの書籍もどうぞ はじめに 最近、クローリング/スクレイピング/スパイダリングにはまっています。Amazonのランキングを出力したいなと思いました。やり方はいろいろある…

Pythonで文字列が空かどうかを判定するシンタックス

文字列か空かどうかを判定する機会は多いので備忘録として残す。 サンプルコード >>> str = "" >>> type(str) <type 'str'> >>> len(str) 0 >>> not str True >>> コメント lenでサイズを調べる。空文字列であれば0が返却される。 >>> len(str) 0 notを使う。空文字列で</type>…

Pythonで楽天ウェブサービスを使って書籍情報を取得する ~ リファクタリングしてみた

はじめに サンプルコード(リファクタリング前) リファクタリングポイント メソッド名 語順 単語の区切り パスカルケース/アッパーキャメルケース キャメルケース/ローワーキャメルケース スネークケース ライブラリ クエリの組立方 参考書籍 メイン処理の書…

Python文法:文字列

文字列の表記方法 ダブルクウォーテーション シングルクウォーテーション トリプルクウォーテーション Unicode文字列 エスケープシーケンス 例 文字列の演算 文字列の連結 文字列の繰り返し 文字列のレングスを取得 文字列の場合 Unicode文字列 参考書籍 文…

PythonでCGIプログラムを書いてローカルのサーバーもどきで動かしてみた。

CGI

もともとは、 Pythonのプログラムをサーバーで動かすなんて考えてなかったわけで、ローカルで使うスクリプトなんかをメインに書いてきた。Pythonのプログラムをサーバーで動かそうなんて考えたのは、アフィリエイトのプログラムをちゃちゃっと書いちゃって、…

requestsとBeautifulStoneSoupを使いはてなブログAtomPubを使ってブログ情報を取得する

はじめに サンプルコード 実行結果 必要モジュール requests bs4 モジュールのインポート url,userId,apiKeyの設定 GETメソッドでリソースを取得する rの値 r.contentの値 BeautifulStoneSoupでXMLをパース BeautifulStoneSoupのインスタンスを生成 prettify…

Amazletで生成されるHLTMLコードをBeautifulSoupを使って整形して表示する

Amazletを使うとアフィリエイトコードを生成するのが便利 Amazletのアフィリエイトコードを素のまま表示する AmazletのアフィリエイトコードをBeautifulSoupを使って整形 サンプルコード 実行結果 Amazletを使うとアフィリエイトコードを生成するのが便利 使…

Pythonで楽天ウェブサービスを使って書籍情報を取得する

サンプルコード ポイント jsonのデータをロードするのは意外と簡単! 実行結果 お勧め書籍 楽天ウェブサービスを使って情報を取得してみた。今回使ったのは、書籍の検索のapi。著者情報を渡して、その著者の書籍を取得するというもの。要求はhttpで投げて、…

Pythonでは変数にどんなに大きな整数を設定しても問題無い

変数の型とサイズについて 変数numに大きな値を設定する 変数numの値を出力 変数numの型名を出力 お薦め書籍 変数の型とサイズについて 特に、静的型付けを行う言語には多いが、変数に格納する値を意識しないと行けない言語もある。Pythonでは、言語側で勝手…

AmazonのサイトをWebスクレイピングしてランキングを取得

はじめに BeautifulSoupを使ってAmazonのサイトをウェブスクレイピング Amazonの書籍ランキングのURL サンプルコード 実行結果 ウェブスクレイピングはクソ面白いw はじめに AmazonのProduct Advertising APIではランキング情報を取得出来ないので、Amazon…