大家有没用curl做过爬虫程序？

Osirix

直接用curl爬指定网站，指定目录层数(depth)

需要考虑哪些不同的页面连接结构因素

暂不考虑以下因素：
论坛的话，得考虑cookie登录验证;
https页面，也得考虑登录验证;

如果是Ajax的页面的话，又有什么比较好的方法呢(可以直接在shell下后台运行)？