GoogleCodeからjqueryに関連するものを引っ張ってこようっと(その1)
とりあえずGoogleCodeにアクセスして、最初のページのURLとタイトルを持ってくる。
# vim: encoding=utf-8 :
import urllib2
from BeautifulSoup import BeautifulSoup
GOOGLE_CODE_URL = 'http://code.google.com/hosting/search'
def get_google_code_list():
search = '?q=jquery&projectsearch=Search+Projects'
url = GOOGLE_CODE_URL + search
opener = urllib2.build_opener()
r = opener.open(url)
soup = BeautifulSoup(r)
list = {}
for div in soup('div', {'class':'name'}):
for a in div('a'):
list[a.string] = a.get('href')
return list
1.まずはGoogleCodeのサイトにアクセスしてjqueryで検索を掛ける。
2.それをBeautifulSoupでパースして「URL」と「タイトル」のセットをリストへぶち込み
3.それをpirntして確認
{
u'jquery-ajaxq\n - AJAX request queueing for jQuery': u'/p/jquery-ajaxq/',
u'jquery-lightbox\n - Lightbox style effects in a jQuery plugin': u'/p/jquery-lightbox/',
u'jquery-em\n - Monitor Font Size Changes with jQuery': u'/p/jquery-em/',
u'jquery-flickr\n - jQuery Flickr plug-in is a JavaScript interface for Flickr Services AP...':
u'/p/jquery-flickr/', u'jquery-color-utils\n - jquery-color-utils': u'/p/jquery-color-utils/',
u'jquery-domec\n - jQuery DOM elements on-a-fly': u'/p/jquery-domec/',
u'jquery-session\n - Simulate session vars in jQuery': u'/p/jquery-session/',
u'jquery-decorated\n - jQuery plugin to transform simple HTML components into more complex on...': u'/p/jquery-decorated/',
u'jquery-aop\n - Aspect Oriented Extensions for jQuery': u'/p/jquery-aop/',
u'jquery-dropj\n - A jQuery plugin to add drop caps (large floating initial capital lette...': u'/p/jquery-dropj/'
}
とりあえず出来たので、次はページがあるまで取得するのをやるが・・・明日にするかなw
・全ページのデータを取得してDBにて管理
・以前のデータと比較して更新されていればアップデート、そうでなければ何もしない
・もしURLもしくはプロジェクトが存在しなければ、削除フラグを立てて、更新しなくする
というのをCronに登録しておけば、自動的にどれが更新されているかとかが解るリストが作れるな。
- Posted at:
- 2008/08/07 23:57:27
- 0 Comments
- 1 TrackBack
- Tags:
- Python
- Trackback:
- http://kishi-r.com/2008/08/07/google_jquery_1/trackback/
TrackBacks
[Python]巡回 - 常山日記
DDNS の更新スクリプトに Pit 使ってみた。 timeitによるベンチマーク GoogleCodeからjqueryに関連するものを引っ張ってこようっと(その1) Cocoa Drag and Drop text into the Dock Icon
- Created at:
- 2008/08/08 00:49:17


Comments
まだ登録されていません。