zc0604的博客
zc0604 · 共 51 篇文章
腾讯,新浪微博模拟登录爬取数据 程序 ,无偿奉献了(java版本)
要毕业了,看到好多人在研究新浪,腾讯微博的模拟登录获取数据的方法。我刚开始也 费了一番力气,从2011年暑假就开始分析,当时腾讯微博的登录验证还是采用md5处理,而新浪微博是用sha1。现在二者都做了变化。做数据挖掘的人,不该把心思放在数据源上哇,哎。。。。当时我分析和写程序就写了快两个月凡是微博中有的功能,当时都实现了。甚至发现了腾讯微博中的一个bug,居然删除的微博 是标记删除,并把删除掉的数据返回给浏览器,查看网页源代码还是可以看到的哇(此BUG,现在已经修复)。现在把我的程序摘出一部分 奉献给大家,够大家用的了,还可以加以扩展,基情下载吧。。。。 腾讯微博 模拟登录爬取数据: htt…
2013-05-28 17:03 · json/xml · java/flex/ajax/android · 腾讯微博开源平台(java) · 评论(6)
memcache 之windows下的使用
memcached 是一个高效的分布式的内存对象缓存系统 ,他可以支持把各种数据(数组,对象,基本数据类型,资源除外)放入到它管理的内存中。它采用c/s结构,使用简单文本通讯并 基于libevent处理并发,将数据存入内存的缓存工具,它是基于 基于客户端的分布式,服务器端本身并不是分布式的。 Memcache(Memcached)是集群环境下的缓存解决方案。 它是danga.com的一个项目,最早是为 LiveJournal 服务的,目前全世界不少人使用这个缓存项目来构建自己大负载的网站,来分担数据库的压力。它可以应对任意多个连接,使用非阻塞的网络IO。它的工作机制是在内存中开辟一块空间,然…
2013-03-07 10:55 · java/flex/ajax/android · 评论(0)
nodejs 之模拟登录
最近看了 nodejs开发指南这本书,并参照着 nodejs.org官方网站中的 api,写了一个 模拟登录程序,其中有 北邮人论坛的,有 163邮箱的。其中前者 只需post就可以了,居然是明文传输,也不用https。后者选择了https,通过抓发分析,写了如下程序,另外,还学习了 通过Nodejs进行web开发,发现 nodejs真的很强大,是做服务器端开发的一款利器。 登录北邮人的程序: //**** 是北邮人的用户名 -----是密码 //登录 北邮人论坛 var http=require("http"); var querystring=require("querystring")…
2013-01-15 17:11 · 评论(1)
java构造方法与成员初始化分析
package ibm; public class TestConstructor{ public static void main(String[] args) { Drived drived=new Drived(); System.out.println(drived.memeber); } } class Base { public Base(){ System.out.println("base constructor"); preprocess(); } public void preprocess(){ System.out.println("base invoked"); }…
2012-11-14 10:11 · java/flex/ajax/android · 评论(0)
用GEPHI绘制的 我的微博 好友 关系 与 好友的好友关系图
下图中:点表示一个用户。 我关注的用户 会有 一条 由我指向 到该点的边。最中心的点是我自己。 同样,我好友的好友即为 好友->好友的好友的边。 下边两幅图 均为由 gephi所绘制,我共关注了 134个人,而我好友的好友 共有点 51503个,边66651条.
2012-09-29 20:44 · recommend system · 评论(0)
(转)One Class Collaborative Filtering 单类协同过滤
YangQiang教授指导的这篇ICDM2008的文章我2年前就拜读过,但当初对上面的方法不是特别感冒,所以也就没有记得特别清楚。最 近,KDD Cup的第二个track的问题和这篇Paper的研究问题很像,同时我在做KDD Cup时也设计了一个算法,感觉效果非常好,我准备把他称作基于采样的binarySVD算法。然后我准备研究一下这个算法是不是已经有人提出来了,因为 我隐约记得是看过类似的方法。结果我一查,发现果然是,标题里的那篇论文就是用的类似的方法,既然这个方法已经有人提出来了,我也就写篇博客再公开一下, 让更多人知道,哈哈。 废话不多说了。早期的推荐系统研究的问题就是评分预测,用户有…
2012-09-29 20:35 · recommend system · 评论(0)
linux入门常用命令
Linux命令行技巧 来源:linuxstall.com | 作者:Chankey Pathak 下面我将和大家分享一些学习Linux命令行的技巧,希望能对大家有所助益。如果在本文中遇到不太熟悉的命令,可以在终端中键入以下命令寻求帮助。 Man <command> Where there's a shell, there's a way. Linux入门必备 了解bash:没有必要钻研长篇累牍的bash使用手册,通过man bash学习即可。 了解vi:你在工作中也许会使用Emacs或Eclipse,但vi不可替代。 了解ssh:学习无密码验证的基础知识。 bash作业管理基础知识:如使用&…
2012-05-30 16:54 · 评论(0)
单链表的逆序
给定一个单链表,如何实现单链表的逆序排列。 伪码如下: reverse(headNode): p=head; q=head->next; p->next=null; while(q){ tmp=q->next; q->next=p; p=q; q=tmp; }
2012-05-30 16:53 · 算法 · 评论(0)
浅谈servlet
一个Servlet的生命周期如下: 1 如果在容器配置文件web.xml中设置了load-on-startup字段,则表示容器在启动时就会自动创建servlet的实例,同时执行其init方法。 <servlet> <description>This is the description of my J2EE component</description> <display-name>This is the display name of my J2EE component</display-name> <servlet-name>MySevelet</servlet-name> <servl…
2012-05-30 12:43 · java/flex/ajax/android · 评论(0)
支持向量机(SVM)基础
本文由LeftNotEasy发布于 http://leftnoteasy.cnblogs.com 前言: 关于SVM的论文、书籍都非常的多,“SVM是让应用数学家真正得到应用的一种算法”。SVM对于大部分的普通人来说,要完全理解其中的数学是非常困难的,所以要让这些普通人理解,得要把里面的数学知识用简单的语言去讲解才行。而且想明白了这些数学,对学习其他的内容也是大有裨益的。我就是属于绝大多数的普通人,为了看明白SVM,看了不少的资料,这里把我的心得分享分享。 其实现在能够找到的,关于SVM的中文资料已经不少了,不过个人觉得,每个人的理解都不太一样,所以还是决定写一写,一些雷同的地方肯定是不可避…
2012-05-29 10:18 · 文本分析 机器学习 · 评论(0)
flex页面初始化后,无法聚焦文本框
转自 :博客园 Flex页面初始化creationComplete事件中,加入焦点设置语句 : focusManager.setFocus("TextInput组件ID"); 页面运行后并看不到效果,将焦点设置语句放到按钮事件中,TextInput倒是焦点设置上了。 主要原因是我们把Flash嵌到HTML页面中,打开HTML页面时并没有聚焦,所以最好在HTML页面上加个JavaScript脚本使其聚焦即可。 步骤: 1、页面初始化creationComplete事件中,加入焦点设置语句 : focusManager.setFocus("TextInput组件ID"); 2、bin-debug…
2012-05-28 19:54 · java/flex/ajax/android · 评论(0)
[转】mahout 推荐引擎的相关介绍,理解,如何应用
Mahout 简单使用经验 mahout项目介绍 推荐引擎利用特殊的信息过滤技术,将不同的内容(例如电影、音乐、书籍、新闻、图片、网页等)推荐给可能感兴趣的用户。通常情况下,推荐引擎的实现是通过将用户的个人喜好与特定的参考特征进行比较,并试图预测用户对一些未评分项目的喜好程度。参考特征的选取可能是从项目本身的信息中提取的,或是基于用户所在的社会或社团环境。 常用的推荐的方式主要有两种: 基于用户的推荐 :通过查找相似的用户来推荐项目。由于用户的动态特性,这通常难以定量。 这句话的理解可以用一个简单的例子来说明,假如说这里的项目指的是各种书籍,那么推荐程序可以根据一个用户对所关注的书籍的各种属…
python 读写XML
<一 python读XML文件> 转自 http://hi.baidu.com/heelenyc/blog/item/4062fd0b57c75294d1581b09.html Python处理XML 使用python开发时,由于python的开源生态圈非常的给力,对于实现同一个功能,往往在这方面的类库非常多,而开发者也同样面临着如何选择最佳的 类库作为辅助开发的工具。本文将记录本人在使用python处理xml格式数据时测试过的类库,有些类库由于先天不足,无法支持一些特性,涉及的类库或模 块有xml(python自带)、libxml2 、lxml 、xpath 。 附注:本文处理xml格式的…
2012-05-09 21:10 · python · 评论(0)
一道百度算法笔试小题
昨天陪同学在北大,发现百度在笔试招实习生,现场笔试。顺道也霸笔了一把。有这样一道小题,一个数组a, a[0,1....mid-1]是有序的,a[mid,.....num]也是有序的,现在要把这两部进行merge,如何在空间复杂度为0(1)的情况下进行合并,使得a整体有序。a[i]支持<运算。 下边是我的一个算法的实现: public static void main(String[] args) { int a[]={2,3,6,10,23,39 ,1,4,5,7,8,9,100 }; test(a,6); } public static void test(int a[],int mid)…
2012-05-07 11:41 · 笔试面试经 · 评论(0)