2010年10月19日,凌晨1点服务器异常当机,受此影响18日部分收录出错,19日中午服务器恢复正常,19日晚数据恢复正常。
2010年10月13日,检查日志发现,单页界面数据过大,服务器压力倍赠,因此暂时对单页阅读限制为300k,后续解决办法思考中。
2010年10月10日,部分朋友反馈访问变慢,首次进入等待时间5-10秒,打开后即可流畅,经查实,发现服务器内存超常溢出,现已经基本缓解(没有彻底解决,计划11月份更换运行环境)。
2010年10月8日,制作了简单的帮助中心。
2010年9月29日,内容界面加入可拖动提示单元(后测试客户端负载过大,代码临时取消),计划国庆后启用客户端cookie——将浏览记录保存并显示在此处(由于还未计划开启会员系统,因此记录实行客户端保存,服务器端不保存)。如大家对此部分有好的建议和意见,请点左侧与楼主网对话。
2010年9月20日,总结如下:
1、鉴于JS方式不能跳楼重新加入“豆瓣网”收录;
2、优化了首页,加入站内搜索的功能;
3、修改图片显示算法!采用分步下载,避免瞬间个人流量过大引起网站访问延迟。
2010年9月18日,总结如下:
1、加入“百度空间推荐”,“友情连接”等模块;
2、开放楼主网精英俱乐部;
2010年9月5日,总结如下:
1、楼主网后台制作,目前已经具备删除、停止蜘蛛更新、不对缓存进行索引、合并主题等功能。
2、针对SOHU社区的蜘蛛规则变更(部分用户反馈远程服务器没有相应,经查证5日零时搜狐修改服务器规则,19时已经解决)。
2010年8月28日,总结如下:
1、对分类界面加入自动隐藏设置,超过10行的分区将自动隐藏。
2、修订蜘蛛规则,涉及天涯社区的二处修订。
3、网站访问不太稳定,经查证是防火墙问题,囧一个,已更换防火墙!
2010年8月3日,总结如下:
1、开放SOHU社区图片阅读功能,至此站内图片全部可以直接观看。
2、修订站友diablo提出下载的zip用winzip无法解压的问题,再次对diablo表示感谢。
3、最新、热门帖子列表全部启用Cache缓存,其中最新帖子缓存更新时间为5分钟,本月热门更新时间为1小时,其他热门更新时间为1天。
2010年7月31日,总结如下:
1、制作 遨游(Maxthon)只看楼主插件。
2、修订单页和下载界面更新规则。
3、制作分月收录热贴榜,生成界面4个( 7月热贴 6月热贴 5月热贴 4月热贴)。
2010年7月23日,总结如下:
1、天涯社区 直接看图的功能已经开放。
2、下载txt类做了一次修订,末尾添加后继连接。后来测试服务器压力大增–又取消了!!!!
3、修订了Firefox 3.6.6下列表界面变形问题。
4、修订了分享功能,个人测试通过,希望大家多帮忙测试这个功能——赠人玫瑰、手留余香嘛。
2010年7月18日,总结如下:
1、新功能:直播,目前已经开放中。 ☆
2、百度贴吧直接看图功能已经开放。
2010年7月6日,感觉最近更新日志间隔都比较长!最近10天更新内容如下:
1、加入帖子分享功能,帖子的下面可以看到!
2、对百度贴吧和天涯社区的驱动规则进行了修订,速度有所提高。
3、对于图片显示问题,目前已经开放搜狐社区及百度贴吧的表情图片支持。
4、修订搜索结果页面的关键字套红功能。
2010年6月26日,这两天改动比较大,估计未来1-2天还存在改动,下面总结一下:
1、搜狐社区只看楼主的主程序修订,24号优化了程序模块。
2、还是搜狐社区,加入强制线程锁,根本上解决了一个界面只放行一个蜘蛛,效果有一定改善。
3、26日发现天涯社区techforum模版变更,黑豆对蜘蛛规则进行了紧急修订,目前程序调整完毕(预计对天涯会继续publicforum进行修订,密切关注中)。
2010年6月22日,黑豆最近有点忙,因此更新日志没有来得写上来!下面对最近处理问题做一下整理。
1、修订了分类页面IE6下外边框断断续续的兼容性问题。
2、制作了简化版的后台程序,目前功能仅能够修改帖子的标题(部分标题过长,且无意义字符过多)。
3、对蜘蛛的多线程并发加入控制,以实现相同界面蜘蛛只驱动一次收录(之前就做过一次,不太彻底)。
4、可能由于世界杯看球占资源,蜘蛛对sohu社区的访问速度延迟严重(正常收录是1-3秒/页,现在情况是7-15秒/页),暂时加大蜘蛛工作时间为20秒超时。
5、增加蜘蛛驱动更新限制,蜘蛛对单个帖子的最小更新收录时间调整为120秒。
6、对有用户反馈只看楼主插件无法使用问题,对插件内核进行了修订,并测试通过。
7、对上次更新遇到的techforum出错问题的跟踪处理,现在基本处理完毕。
8、还有一处对蜘蛛工作原理的修订,但是失败了(现象是原帖子没那么多页,界面ajax提示一直在收录,黑豆多次校验并模拟程序执行过程,现在还没找到产生原因——如您在浏览中也遇到此问题,请报告给黑豆,我们的QQ群是: 18512819 谢谢大家)。
2010年6月11日,额,时间过的还真快。总结一下最近几天的事情。
–1、开发完毕只看楼主的右键插件、卸载程序、下载页面,并内测一周后发布。 ☆
–2、检查发现程序在执行天涯社区techforum模版下的文件时出现了一个致命的错误,该错误会引起自第二页起第一次发的帖子无法被收录,涉及内容400余条,目前已经恢复100余条,持续恢复中。
–3、检查发现,度娘在html代码中添加了2个空格,直接导致我们对贴吧收录的帖子可能会缺失部分内容。与上次发现此情况间隔不到2周。涉及内容未知多少,目前程序已经修订,内容暂无修订计划。
2010年5月23日,接上周更新内容,本周计划并开始后台程序的编写,主要针对帖子及收录内容在不更改原帖基础上的的重新输理,如标题过长,收录冲正!另外处理了下载类cache文件报错问题,文件名称不支持 \/:*’<>| 特殊符号,因此导致部分内容出现下载错误,目前此问题已经解决。
2010年5月15日,最近半个月时间,没有发表更新日志,现在整理一下,一起发布了。
1、针对分页时蜘蛛工作的逻辑进行重构,引入参数原始界面页码号,对于尾页处理加入动态判断。
2、修改了分页界面直接跳转时的处理逻辑,现在直接跳转部分上面已经可用,下面还不行。
3、处理了蜘蛛对超长文件的处理,原始程序对每个帖子内容过长(65535字)处理时出错。
4、修订了内容编码问题,原编码转换程序在处理过长文件时报错。
5、修订了分类界面分类名称相同论坛不同时出错的bug(天涯社区与搜狐社区均有一个“煮酒论史”)、之前程序统计错误。
6、修订了列表截面重复话题。
7、列表界面新增相临行之间的颜色区分。
8、其他一些针对HTML规则的细节修订!
2010年4月30日,分页界面针对分页最后一页的AJAX处理进行了微调,修正了原来的BUG,同时在界面阅读时增加← → 键翻页功能。
2010年4月28日,处理了Baidu贴吧经常性“远程服务器没有响应”错误。原来是我们的蜘蛛收录的速度过快,因此每两次收录间隔扩大1秒钟,提示不再出现。
2010年4月27日,WAP程序部分开发完毕,至此,楼主网全站开发完毕,进入线上测试阶段。 ☆
2010年4月18日,楼主网已经全面支持收录内容的txt打包下载模式,下载到的数据包未经过人工处理和干预,保证了原文内容的特色。至此,互联网展示部分全部处理完毕。下面开始漫长的线上测试,一些在程序编写过程中无法看到的问题,将会慢慢出现。。 ☆
2010年4月14日,楼主网已支持sohu社区内容收录。[标记:相对远程收录的速度,搜狐必然会慢一点,sohu社区的内容处理方式与前两个论坛截然不同——也可以说,这三个论坛均不相同,大家各有千秋——但相对难度来说,sohu社区的远程获取次数要更多一些,也要复杂一点。] ☆
2010年4月12日,楼主网已支持百度贴吧内容收录。 ☆
2010年4月6日——9日,开始程序扩容设计,预计10日开始进行扩容,首期扩容后,将加入对搜狐社区及百度贴吧的只看楼主支持。
2010年4月5日,分页浏览模式开发完毕。基于分页浏览结合AJAX的效果和速度竟然超越了单页浏览——不可否认,单页浏览下,如界面内容较多,容易造成浏览者浏览器处理效率降低,速度缓慢,因此本站所有的帖子内容收录界面默认变更为分页浏览。进入分页后,系统自动获取帖子剩余界面的内容。另外:对于其他社区在分页情况下的显示模式,目前正在考虑中!
2010年4月3日,热门帖子、最新收录(第一次收录时间)、最新更新的主界面和子界面全部制作完毕。
2010年3月31日,小分类界面效果图制作完毕,程序嵌套需要等到1日完成,愚人节到了哈!!
2010年3月30日,大分类界面制作完毕。[查看大分类列表]
2010年3月29日,重构了网站首页,原首页采用DOJO自带的Dialog功能,但远程打开时需要加载的JS文件将近2M,影响首页速度,因此使用float层模拟dojo效果进行了重构,完善后的首页速度得到了质的提升。[查看原首页] ☆
2010年3月29日,使用WordPress构建本站官方blog程序,对该程序的模版进行了中文修订。下午,网站上线! ☆
2010年3月28日,楼主网已完成主程序模块对天涯社区的支持,目前支持天涯社区的URL类型如下:
http://www.tianya.cn/publicforum/content/free/1/1442397.shtml
http://www.tianya.cn/techforum/content/384/6627.shtml
2010年3月上旬楼主网开始立案! ☆