GoogleCodeからjqueryに関連するものを引っ張ってこようっと(その1)

とりあえずGoogleCodeにアクセスして、最初のページのURLとタイトルを持ってくる。

# vim: encoding=utf-8 :

import urllib2
from BeautifulSoup import BeautifulSoup

GOOGLE_CODE_URL  = 'http://code.google.com/hosting/search'

def get_google_code_list():
    search = '?q=jquery&projectsearch=Search+Projects'
    url = GOOGLE_CODE_URL + search
    opener = urllib2.build_opener()
    r = opener.open(url)
    soup = BeautifulSoup(r)
    list = {}
    for div in soup('div', {'class':'name'}):
        for a in div('a'):
            list[a.string] = a.get('href')
    return list

1.まずはGoogleCodeのサイトにアクセスしてjqueryで検索を掛ける。

2.それをBeautifulSoupでパースして「URL」と「タイトル」のセットをリストへぶち込み

3.それをpirntして確認

{
    u'jquery-ajaxq\n - AJAX request queueing for jQuery': u'/p/jquery-ajaxq/',
    u'jquery-lightbox\n - Lightbox style effects in a jQuery plugin': u'/p/jquery-lightbox/',
    u'jquery-em\n - Monitor Font Size Changes with jQuery': u'/p/jquery-em/',
    u'jquery-flickr\n - jQuery Flickr plug-in is a JavaScript interface for Flickr Services AP...':
    u'/p/jquery-flickr/', u'jquery-color-utils\n - jquery-color-utils': u'/p/jquery-color-utils/',
    u'jquery-domec\n - jQuery DOM elements on-a-fly': u'/p/jquery-domec/',
    u'jquery-session\n - Simulate session vars in jQuery': u'/p/jquery-session/',
    u'jquery-decorated\n - jQuery plugin to transform simple HTML components into more complex on...': u'/p/jquery-decorated/',
    u'jquery-aop\n - Aspect Oriented Extensions for jQuery': u'/p/jquery-aop/',
    u'jquery-dropj\n - A jQuery plugin to add drop caps (large floating initial capital lette...': u'/p/jquery-dropj/'
}

とりあえず出来たので、次はページがあるまで取得するのをやるが・・・明日にするかなw

・全ページのデータを取得してDBにて管理

・以前のデータと比較して更新されていればアップデート、そうでなければ何もしない

・もしURLもしくはプロジェクトが存在しなければ、削除フラグを立てて、更新しなくする

というのをCronに登録しておけば、自動的にどれが更新されているかとかが解るリストが作れるな。

Posted at: 
2008/08/07 23:57:27
0 Comments
1 TrackBack
Tags: 
Python
Trackback: 
http://kishi-r.com/2008/08/07/google_jquery_1/trackback/

TrackBacks

[Python]巡回 - 常山日記

DDNS の更新スクリプトに Pit 使ってみた。 timeitによるベンチマーク GoogleCodeからjqueryに関連するものを引っ張ってこようっと(その1) Cocoa Drag and Drop text into the Dock Icon

Created at: 
2008/08/08 00:49:17

Comments

まだ登録されていません。

Add Comment

Add Comment
人気ブログランキング - kishi-r.com track feed
あわせて読みたい