50 条思考于 “腾讯、网易、新浪新闻网站爬虫编写记录及评论格式分析”

1. g.d.chen 2014年12月14日 于 上午2:26

   请问一下腾讯新闻的comment_id是怎么得到的，和新闻Id有关系吗？

   回复
   1. fanfank 文章作者2014年12月14日 于 下午9:57

      在新闻页面的HTML中通过这个正则匹配可以拿到“cmt_id = (.*);”

      回复
      1. 新手 2015年4月21日 于 下午3:09

         不好意思，刚才只看到下面那条，刚看到这里您已经回答过了。我是新手，能否请您讲的再详细一点？

         我测试了把“&reqnum=……”后面的都删掉，都不影响结果。但是似乎每次reqnum最多是50条，所以要把评论都弄下来，就必须要这个commentid？是这样吗？

         多谢了！

         回复
      2. 新手 2015年4月21日 于 下午3:21

         我再说详细一点啊
         比如我要抓的评论地址是http://coral.qq.com/1144188125
         我用f12先得到前10个评论链接地址
         http://coral.qq.com/article/1144188125/comment?commentid=0&reqnum=10&tag=&callback=mainComment&_=1429600427084
         然后用”加载更多“，又得到20个评论的连接地址
         http://coral.qq.com/article/1144188125/comment?commentid=5996156889457034086&reqnum=20&tag=&callback=mainComment&_=1429600427088

         第二个里面commentid=5996156889457034086。我在看代码是，
         “reqnum”:20,”retnum”:20,”maxid”:”5996178882751433678″,”first”:”5996154213122001017″,”last”:”5996118518105983034″
         这几个数和url里的都不一样，没关系？

         实在搞不明白，麻烦您指教。谢谢啦

         回复
         1. fanfank 文章作者2015年4月21日 于 下午7:30

            我大概明白你的意思了。其实两个comment_id不是一个东西。我在正文中提到的comment_id，实际是指关联到某个新闻网站中的某条新闻的评论页面的id。
            而你的例子中的commentid，是腾讯在内部标识一条唯一评论的id。
            就是说，一个是评论页的id，一个是具体评论所对应的id。而我所抓取的那个实际是评论页的id。
            评论页的id有可能与新闻id一致，但也有可能不一致（利润腾讯的新闻id与评论也id就是不一样的）

            回复
            1. 新手 2015年4月21日 于 下午9:51

               fanfank您好
               是的，我就是这个意思。我理解楼下这个patty好像问的也是这个，就是您写的“commentid=起始ID”里的“起始ID”从哪里获得。虽然默认的是0，但是通过这个最多只能获得50条。而我要继续往后爬，是不是就必须得要能给出下一个50条（默认是20条）的起始ID，但我没有能够找出规律。

               我看到网上有收费软件，能够实现对腾讯评论的全下载功能，所以感觉应该是可以获得的：（
2. patty 2015年2月2日 于 下午2:57

   您好！请问您知不知道“http://coral.qq.com/article/评论页ID（即cmt_id）/comment?commentid=起始ID&reqnum=显示数目。。。”中的“commentid=起始ID”该怎么得到？

   回复
   1. patty 2015年2月2日 于 下午6:52

      已知！谢谢！从您这边受益颇多！

      回复
      1. fanfank 文章作者2015年2月2日 于 下午8:25

         知道了就OK，谢谢支持哈

         回复
      2. 新手 2015年4月21日 于 下午2:43

         您好，我也想问这个问题。看这个ID头都大了。能否告知？非常感谢！

         回复
         1. fanfank 文章作者2015年5月13日 于 下午11:56

            不好意思，我今天才发现原来系统把你发送的信息识别为有害信息，所以我一直没留意到待处理评论里面还有你的评论。不过现在你的问题好像得到解答了，那就OK

            回复
            1. 新手 2015年5月14日 于 上午8:46

               还是非常感谢！
      3. 新手 2015年4月22日 于 上午12:03

         patty您好，我也有同样的问题，能否告知这个 起始ID 应该如何得到呢？多谢了！

         回复
         1. patty 2015年4月22日 于 上午10:41

            commentid默认从0开始，然后当你点击“加载更多”时，下一个commentid=上一个（也就是commentid = 0的那个页面中的）last的值

            回复
            1. 新手 2015年4月22日 于 下午1:40

               非常感谢！
      4. jack 2015年7月10日 于 下午9:07

         起始ID怎么得到的？

         回复
3. 高一平 2015年3月24日 于 下午4:36

   非常帮的虫子！是否考虑开接口呢？ ^^

   回复
   1. fanfank 文章作者2015年3月24日 于 下午11:15

      你是说做成一个公用服务吗

      回复
      1. 高一平 2015年3月25日 于 上午9:52

         可以考虑开一个api，大家可以直接获取新闻及内容。这样就省去很多事情了，内容用txt存到云上，这样服务器效率就高了，一个简单的host就能完成服务，您觉得呢？

         回复
      2. 高一平 2015年3月25日 于 上午9:54

         我先用你的kit写一个试试，如果碰到问题，还请多多指点。

         回复
   2. fanfank 文章作者2015年3月25日 于 上午10:21

      没明白你的意思···现在的内容你直接通过http就可以以json格式的方式全部拿到了

      回复
      1. 高一平 2015年3月25日 于 上午11:12

         请给一个测试地址，我看了看，没发现json回馈。

         回复
         1. fanfank 文章作者2015年3月25日 于 下午12:02

            这个接口在新闻详情页，需要自己找一下，因为不想公开这个。外部调用太多的话可能造成我的网站对网易等几个新闻评论接口的异常访问而导致被封或者被使用粒度控制策略。

            回复
4. jack 2015年7月9日 于 下午9:21

   http://comment5.news.sina.com.cn/page/info?format=json&channel=gn&newsid=1-1-29283928&group=0&compress=1&ie=gbk&oe=gbk&page=1&page_size=100&jsvar=requestId_24959748 你给的这个网址，其内容都是编码过的，怎么解码？？

   回复
   1. fanfank 文章作者2015年7月9日 于 下午10:13

      这个地址返回的是json格式的。如果你用PHP的话实际就是json_decode(xxx, true)

      回复
5. jack 2015年7月10日 于 下午4:54

   对专题的网易新闻如何爬取评论呢？

   回复
   1. fanfank 文章作者2015年7月12日 于 上午12:48

      知道网页专题的URL规则就可以了

      回复
      1. jack 2015年7月12日 于 下午2:26

         对于网易的专题新闻（http://j.news.163.com/docs/10/2015051110/APB1TTFR00011229.html），在源代码中找不到boardId，如何能获得boaidid呢，

         回复
         1. fanfank 文章作者2015年7月15日 于 下午11:10

            你说的这条专题实际上原文地址是这个：
            （http://news.163.com/15/0511/10/APB1TTFR00011229.html），
            里面是有boardId的。所以专题类型新闻对应的页面，你可以通过专题的URL反推出它的原新闻地址，例如专题的URL里面后边的新闻ID以及时间部分都是和原文有关联的
            当然这种做法相对迂回一点，但是如果你专门要抓专题类新闻的话，这个实际是个不错的选择，另外如果你要抓专题类新闻里某个专题下的历史新闻，可以分析一下“新闻回顾”部分的HTML标签有什么特征然后用特殊逻辑进行抓取

            回复
6. jack 2015年7月10日 于 下午9:05

   腾讯新闻评论（http://coral.qq.com/article/评论页ID（即cmt_id）/comment?commentid=起始ID&reqnum=显示数目）起始ID怎么获得？

   回复
   1. fanfank 文章作者2015年7月12日 于 上午12:53

      后面的参数可以不填，这样也是能返回结果的，返回结果里有评论的内容及id，如果你要做翻页功能，那么就使用返回结果中的最后一个评论的id

      回复
7. Xiang 2015年11月19日 于 上午12:49

   请问你知道如何获取腾讯的所有历史新闻链接么？那个id能暴力枚举不？

   回复
   1. fanfank 文章作者2015年11月27日 于 上午10:13

      这个没法知道，除非他自己在某个网页中列出了所有的新闻链接

      回复
8. 王普通 2016年3月30日 于 下午2:20

   朋友能把整个代码发我学习下吗？多谢了~~

   回复
   1. fanfank 文章作者2016年3月30日 于 下午10:57

      这部分代码是开源的，在：https://github.com/fanfank/news-combinator/tree/master/reconstruction
      里面用的爬虫Phpfetcher也是开源的，在：https://github.com/fanfank/phpfetcher

      回复
9. 刘一道 2016年4月10日 于 上午1:17

   非常幸运看到楼主一年前的文章，受益匪浅！
   有个问题请教楼主，sina新闻评论的网址pattern,就是http://comment5.news.sina.com.cn。。。。。 楼主是如何分析得到的？我看了sina新闻页的源代码，没有发现这个链接。请楼主赐教，不胜感谢。

   回复
   1. fanfank 文章作者2016年4月11日 于 下午8:09

      使用Chrome/Firefox浏览器，右键空白的地方选择『审查元素』之类的，然后会弹出一个类似debug窗口一样的东西，选择『网络』，里面会看到所有的动态请求，就是像下面这样：
      

      回复
10. 俊楠 2016年5月12日 于 上午10:20

    大神我也在做这个课题的毕设，看到你的文章给了我很大的帮助，以后还请多多指教

    回复
11. 赵思琪abc 2016年8月21日 于 下午12:12

    学习了，最近在学爬虫，关于动态网页的爬取就是博主的姿势

    回复
12. 赵思琪abc 2016年8月21日 于 下午12:15

    就是有个疑问，关于 “通过代码自动分析出哪些新闻内容是相似的，然后把相似的内容组织到一起，例如三个网站都有“北京成功申奥”这样的新闻，这个网站会自动把三条新闻归到一起，然后把三个新闻网站的热门评论都下载下来，按照时间排序，最后通过代码计算出一段“评论概括” 的疑问不知道博主是否方便透露一下相关的算法呢？

    回复
    1. fanfank 文章作者2016年8月21日 于 下午1:33

       我用的算法很简单，这两部分的代码都在这个下面：https://github.com/fanfank/news-combinator/tree/master/chnsegmt

       我大致说一下思路，对相似文章的分类可以先用中文分词（例如结巴分词）把每篇文章打散成词语，然后取每篇文章TOP10或者TOP20的词语并统计出现次数，当然你需要把一些语气词等去掉，保留名词和动词是比较好的。

       然后每篇文章起始就能使用自己的这组词语，把它看成一个向量，然后去计算和其它文章的向量夹角（余弦相似度），你可以定一个值，例如超过0.75的你可以认为两篇文章能归到一起。

       评论的概括也比较简单，你把所有评论首尾相接，看成一篇文章，然后分词，取出TOP 20的词语，然后去看每一条评论，对评论进行分句，句子中出现TOP 20词语越多的，权重越大（权重怎么设你可以自己决定），然后把权重最大的几条句子取出来就行

       回复
13. 石啸 2017年4月16日 于 下午4:58

    我在执行
    python categorize.py -o G:\undergarduate_finalexam\final_test\news-combinator\result G:\undergarduate_finalexam\final_test\news-combinator\crawler\docs\tencent 的时候
    结果是
    usage: python categorize.py -k number_of_tags -o output_directory source_directories …

    请问我应该怎么修改？

    回复
    1. fanfank 文章作者2017年4月17日 于 下午1:12

       已发。请问下你的categorize.py是哪里来的呢？从usage看你那里还缺少了一个-k参数

       回复
       1. 石啸 2017年4月17日 于 下午1:27

          categorize.py 是在你的吹水新闻demo1.0中
          （https://github.com/fanfank/news-combinator/tree/master/chnsegmt）
          我在run.py中加了-k 10还是显示的这个
          （usage: python categorize.py -k number_of_tags -o output_directory source_directories ）

          回复
       2. 石啸 2017年4月17日 于 下午1:28

          论文已收到，非常感谢

          回复
    2. fanfank 文章作者2017年4月17日 于 下午1:35

       当时代码开放出来基本没有考虑过别人使用的问题，所以现在不清楚会不会有一些问题，当时我的开发都是在Linux下做的，Widnows的环境没有测试过。
       从代码来看，能打出usage的情况只有一个，就是-o参数没有指定或者输入参数少于两个，不过从你给的命令来看也不会出现这种情况，你那边如果方便可以考虑下切换到Linux里面进行开发试试。
       不行的话可以参照代码进行适当的重写

       回复
       1. 石啸 2017年4月17日 于 下午1:56

          好的 我尝试一下 非常感谢

          回复
14. lycoris 2017年4月23日 于 下午6:21

    最近也是在做相关的爬虫毕设，这篇文章，让我受益匪浅，非常感谢。我还有个问题想请教下，我在持久化新闻的时候，将图片src的链接替换成本地地址，然后将图片保存到本地。到后面数据展示才发现有个问题，img标签src无法加载本地图片，查资料说是为了安全考虑，无法加载本地资源。我的爬虫和展示是不同的模块，用相对路径也不好处理。直接存原始图片数据到数据库的话，这样数据量会不会太大了？查资料说img对base64图片数据加载之后不会缓存。请问有什么好的方法处理吗？

    回复
    1. fanfank 文章作者2017年4月23日 于 下午11:08

       可以用CDN来存，七牛或者阿里云都有对应的产品（用对象存储产品也可以）。他们都会有对应语言的API，例如你有一个图片的src地址，然后调用它们的接口它们会自己帮你下载图片，然后返回给你一个CDN对应的URL或者获取这个图片的URL。
       如果不想用CDN，可以下载到本地，然后让Nginx或者Apache能够通过URL访问到这些图片就行，你的展示页面里面将src设置成这个能访问到图片的URL就行。
       从你的描述来看应该量不大，自己保存到本地然后通过URL访问自己的图片就行，也就是推荐你用第二种方法。

       回复
       1. lycoris 2017年4月24日 于 下午10:51

          非常感谢，第二种是比较简便且实用的，可以很好地解决我当前的问题。有人还向我提供了一个方案，使用fastdfs文件系统，这个应该是跟第一种方法类似的吧？对此我还是蛮感兴趣的，有时间可以学习下。最后，再次感谢。

          回复