晕 我搜索文章连续敲了好几个关键字都没结果 像“测试”什么的 ,但是搜会员是好的。
大家好^^
我现在正在作毕业设计 题目是构建一个搜索引擎
现在已经实现了crawler,代码全是自己写的,没有参开其他的open source,所以完全没有学习人家的开源的思想,比如nutch,然后再所以没有用文件作url的库,用的是mysql 5.0的innodb表,数据库中一共有12张表,分别是vUrls(以访问的url),urls_0到urls_10(这11张表代表了11中不同权重的未访问的url)。(还是自己懒,写文件还要多代码,现在已经代码比较乱了)。
表结构:
1. 未访问表中有MD5和url字段,其中MD5字段是char(32)类型、主键,url是TEXT类型。
2. 已访 ...
手头正在写的程序中有多线程(线程数<10)对数据库(用的jdbc但没用连接池)同时插入记录(每次<2000条),同时隔一段时间还会提取一些记录。
我们用的是固定大小的线程池(newFixedThreadPool),一个任务执行完了就复用一个线程执行另一个任务
因此 代码写成了这样:
final ExecutorService Gathers = Executors.newFixedThreadPool(gatherNum);
while(true)
{
Gathers.execute(new Gather());
}
但是在测试中发现 即使将gathe ...
- 浏览: 2469 次
- 性别:

- 来自: 南京

- 详细资料
搜索本博客
最新评论
-
不解的内存泄露
楼主解决了吗?
-- by jems -
不解的内存泄露(2)
我在做一个Spider的时候,也是发现内存泄露问题。 困扰了我两个星期,后来发现 ...
-- by Autinhorse -
不解的内存泄露
我在做一个Spider的时候,也是发现内存泄露问题。 困扰了我两个星期,后来发现 ...
-- by Autinhorse -
很希望这个版的事实版主来 ...
waldenlake 写道ywlqi 写道应届生有如此经历暴强了,不知道实际怎样 ...
-- by ywlqi -
很希望这个版的事实版主来 ...
成功了是自己努力,不成功是因为别人不公平。 仔细看看这个版里的口径,就感觉都是事 ...
-- by bcccs






评论排行榜