`

腾讯,新浪微博模拟登录爬取数据 程序 ,无偿奉献了(java版本)

 
阅读更多

要毕业了,看到好多人在研究新浪,腾讯微博的模拟登录获取数据的方法。我刚开始也 费了一番力气,从2011年暑假就开始分析,当时腾讯微博的登录验证还是采用md5处理,而新浪微博是用sha1。现在二者都做了变化。做数据挖掘的人,不该把心思放在数据源上哇,哎。。。。当时我分析和写程序就写了快两个月凡是微博中有的功能,当时都实现了。甚至发现了腾讯微博中的一个bug,居然删除的微博 是标记删除,并把删除掉的数据返回给浏览器,查看网页源代码还是可以看到的哇(此BUG,现在已经修复)。现在把我的程序摘出一部分 奉献给大家,够大家用的了,还可以加以扩展,基情下载吧。。。。

 

腾讯微博 模拟登录爬取数据: http://pan.baidu.com/share/link?shareid=443057&uk=386119378 

 

新浪微博 模拟登录爬取数据: http://pan.baidu.com/share/link?shareid=443059&uk=386119378

 

都是用java写的,腾讯微博的测试可以用 test.main包下 的Demo程序测试一下会发表一条图片微博,在测试之前,QQInfo类中 填入自己的QQ账户和密码。新浪微博的类似之。。

分享到:
评论
6 楼 铁拳无敌孙中山 2014-02-24  
试了下新浪微博的登录, 没有成功啊

登录后重定向
public String redirect()

这个方法, 请求的地址有误
String url="http://weibo.com/ajaxlogin.php?" +"framelogin=1&callback=parent.sinaSSOController.feedBackUrlCallBack&" +
"sudaref=weibo.com";

漏了ssosavestate,ticket, retcode.

而且,即使把这几个参数加上去, 一样是返回404 not found
5 楼 sunshinan2013 2013-12-03  
请问腾讯微博 p_skey这个cookie怎么取?
4 楼 acaos 2013-10-14  
首先能麻烦你把数据库的设计给发一下吧 亲 有设计文档就再好不过了
3 楼 acaos 2013-10-14  
你好 我试用了下 首先你的数据库连接连接池是怎么配置的 用的什么数据库 数据库里面的表分别是什么?首先程序跑不起来啊
2 楼 zc0604 2013-06-29  
你好,腾讯微博的接口写的较早,你说的这些接口可能 腾讯微博已经做了修改,其实整个模拟登陆数据获取的原理都是一样的,你才用 抓包工具,比如httpwatch,firebug,查看页面的http交互过程,利用模拟登陆返回的cookie值,然后向服务器发送POST/GET请求,就可以获得数据。当然,这些数据的解析接口相应的也需要做出修改,但一般不需要做大的修改,大多只是URL地址以及参数信息的修改。
1 楼 bingyu 2013-06-29  
hi . 试了腾讯微博的几个接口,比如 getMemberSpecialFollowing, getMemberFollower
发现都不能获取数据。希望博主有空回复。谢谢。

相关推荐

Global site tag (gtag.js) - Google Analytics