广州总部电话:020-85564311
广州总部电话:020-85564311

广州网站建设-小程序商城开发-广州小程序开发-企业微信开发公司-网站建设高端品牌-优网科技

19年
互联网应用服务商
请输入搜索关键词
解决网站不收录的必备思路
发布日期:2024-10-10 10:46:11
浏览次数:48


网站不收录可谓说是老生常谈了,太多SEO从业者有遇到这样的问题而无从下手,导致苦恼万分。我们解决网站不收录的问题前,应该思考一个问题:“让网站收录的影响因素都有哪些呢?”,先弄明白这件事情,然后再去解决收录的问题就会变得很有头绪。


首先,我只是听到公司的人和我说这个网站不收录,那到底是哪里不收录、怎么不收录我完全不清楚,所以我开始了数据整理和问题排查的工作。


将网站按照类型做分类,分为了频道页、列表页、专题页、聚合页以及新闻页5类。然后和技术沟通将这5类URL全部导出给我(新闻页,由于很多考试相关的新闻具有时效性,所以我只导出了30天的数据),然后我按照不同的分类开始收录查询工作。


我发现公司人员和我反馈的网站不收录,具体的问题是在新闻页。而环球网校的新闻是面向考试的信息发布、资料发布等。是具有一定时效性的文章,按理说这么大的网站应该秒收才对。


于是,我和相关人员要了网站最近7天的网站日志,技术给我的是原始的网站日志,既包含了爬虫数据也包含了用户数据等等,没办法,只能自己清洗一下这些数据了。


SEO清洗网站爬虫日志的流程


1、我先按照user-agent包含baiduspider的进行过滤,只保留包含baiduspider的数据,这样我就拥有了百度爬虫的数据;


2、但百度爬虫数据中,也有很多假爬虫,按照ip反查的思路,我先把所有baiduspider的ip地址拿下来,然后去重;


3、得到600多个不重复的唯一ip地址。我对这些ip地址通过程序批量识别真假爬虫,最后是真爬虫的ip地址有82个;


4、我再在第一步的所有爬虫数据中进行过滤,只保留ip地址为真的百度爬虫的这82个。最后得到的数据就是真的爬虫数据了;


5、我将最近7天内发布的url在这个清洗后的日志中进行查询,最后发现所有的新页面在发布后的1分钟内爬虫都有抓取,可想抓取是多么的及时,并且在第二天、第三天都还会有对这篇文章的抓取。


最终我看到爬虫抓取的行为数据表现很好,应该不是抓取上出了问题。


然而,在我分析日志之前,也和技术、产品、运维同步了一个需求,我需要1年前网站突然开始不收录那个大概时间节点他们各部门都做了什么改动。就在我分析完日志的晚上,技术老大找到我说,他想起来当年是因为网站被攻击,大量注入了很多的垃圾数据后,网站收录才出现异常的。


我可能知道问题就出在这里,但为了更全面的考究问题,我还是让他们按规定把之前做的一些改动同步给我。


第二天早上我就开始围绕网站被攻击的问题与技术进行了彻底的排查,看网站之前被注入的垃圾信息有没有清除干净。最后确认垃圾信息早就彻底清除了,且正确返回了404状态码和404错误页面。


然后我怀疑是不是百度没有修正我们的状态,被攻击的时候开始不收录正常,毕竟检测到了我们网站的风险,那时隔一年还是如此,一定是百度的问题。我通过百度的反馈中心详细的说明了问题的始末,然后百度的技术也在一直排查,我等了有一周时间没见回复,其他部门也把之前的一些调整和改动都给我了,我也确认那时大家的做法没有问题。


于是,我主动联系了百度站长平台的朋友,希望他们能够尽快处理,查明问题。


可最后我得到的结论是百度也没发现什么问题,据说几个部门的技术针对我的问题还各自筛查一遍,没找到问题。好吧,百度的兄弟已经给足了面子,能这么帮咱跟进需求很到位了。还是靠自己,这毕竟是我入职CEO的第一个托付,一定要搞定。


我也找了我们的编辑,询问并且检查文章本身的质量问题,大家和几年前一样,一直按部就班的发着信息,没什么变化。及时性、可读性、需求满足度都可以保证。具体是哪出了问题呢?


我思前想后,会想到问题的本质是开始于网站被攻击开始的,那如果真的是百度没反应过来的话,我就要让百度重新对我的新闻页进行计算,以重新评估这类页面。于是我有了对新闻页改版的念头。


开始与产品沟通,但他们忙,无奈下,我独挑大梁,自己画原型开干了。


通过对页面的重新设计、丰富了内链的链接策略,也增加了很多广告自定义的场景。通过20多天的努力,新的页面上线了。


由于网站每天发布的新闻很多,大约在几百条,所以我写了一个收录查询的程序,每天这个程序都会自动帮我查收录,然后以excel附件的形式发到我的邮箱,我进行查看。


就在新版的新闻页上线的第4天,收录率从之前每天的1~5个,突然有100多个了,收录率之前都是零点零几,现在有40%多了,又过一天82%,再过一天79%,又过一天85%,就这样80%上下持续了一周的时间,到了下周突然达到了97%,而且是秒收的。然后中间也有个别的天是浮动的。但整体都在95%上下。


到这,我认为收录问题彻底解决了,很多编辑的同事也早就知道了这个事情。现在几年过去了,我策划的新闻页仍在,且收录情况一直良好。


思路总结


1、锁定网站不收录的是哪类型的页面,就像案例所说,最终我锁定到了新闻页;


2、思考网站不收录的这个时间点内,对网站有改动权限的人都做了什么,这些改动会不会是网站不收录的原因;


3、分析网站的日志,看不收录的那个网站类目是不是有抓取,没抓取就是抓取问题,有抓取就不存在问题;


4、当网站改动上没问题,抓取没问题。就在站长工具反馈中进行详细的反馈;


5、反馈的同时也可以对该类型的模版页面进行适当的调整,例如增加链接入口、增加网页丰富度,新闻页提高原创比例,文章内容的质量程度。


6、要是还不能收录的话,就对当前类型的模版页面进行大改版,重构页面进行尝试。


我从业的公司以及帮助一个企业解决网站不收录问题不下15个了,一直沿用这套思路,如果你是过程中有不明白的可以在下方留言区进行提问,我会第一时间回复~



优网科技,优秀企业首选的互联网供应服务商

优网科技秉承"专业团队、品质服务" 的经营理念,诚信务实的服务了近万家客户,成为众多世界500强、集团和上市公司的长期合作伙伴!

优网科技成立于2001年,擅长网站建设、网站与各类业务系统深度整合,致力于提供完善的企业互联网解决方案。优网科技提供PC端网站建设(品牌展示型、官方门户型、营销商务型、电子商务型、信息门户型、DIY体验、720°全景展厅及3D虚拟仿真)、移动端应用(手机站APP开发)、微信定制开发(微信官网、微信商城、企业微信)、微信小程序定制开发等一系列互联网应用服务。


责任编辑:优网科技

版权所有:http://www.uweb.net.cn (优网科技) 转载请注明出处

解决网站不收录的必备思路

日期:2024-10-10 10:46:11 发布人:优网科技


网站不收录可谓说是老生常谈了,太多SEO从业者有遇到这样的问题而无从下手,导致苦恼万分。我们解决网站不收录的问题前,应该思考一个问题:“让网站收录的影响因素都有哪些呢?”,先弄明白这件事情,然后再去解决收录的问题就会变得很有头绪。


首先,我只是听到公司的人和我说这个网站不收录,那到底是哪里不收录、怎么不收录我完全不清楚,所以我开始了数据整理和问题排查的工作。


将网站按照类型做分类,分为了频道页、列表页、专题页、聚合页以及新闻页5类。然后和技术沟通将这5类URL全部导出给我(新闻页,由于很多考试相关的新闻具有时效性,所以我只导出了30天的数据),然后我按照不同的分类开始收录查询工作。


我发现公司人员和我反馈的网站不收录,具体的问题是在新闻页。而环球网校的新闻是面向考试的信息发布、资料发布等。是具有一定时效性的文章,按理说这么大的网站应该秒收才对。


于是,我和相关人员要了网站最近7天的网站日志,技术给我的是原始的网站日志,既包含了爬虫数据也包含了用户数据等等,没办法,只能自己清洗一下这些数据了。


SEO清洗网站爬虫日志的流程


1、我先按照user-agent包含baiduspider的进行过滤,只保留包含baiduspider的数据,这样我就拥有了百度爬虫的数据;


2、但百度爬虫数据中,也有很多假爬虫,按照ip反查的思路,我先把所有baiduspider的ip地址拿下来,然后去重;


3、得到600多个不重复的唯一ip地址。我对这些ip地址通过程序批量识别真假爬虫,最后是真爬虫的ip地址有82个;


4、我再在第一步的所有爬虫数据中进行过滤,只保留ip地址为真的百度爬虫的这82个。最后得到的数据就是真的爬虫数据了;


5、我将最近7天内发布的url在这个清洗后的日志中进行查询,最后发现所有的新页面在发布后的1分钟内爬虫都有抓取,可想抓取是多么的及时,并且在第二天、第三天都还会有对这篇文章的抓取。


最终我看到爬虫抓取的行为数据表现很好,应该不是抓取上出了问题。


然而,在我分析日志之前,也和技术、产品、运维同步了一个需求,我需要1年前网站突然开始不收录那个大概时间节点他们各部门都做了什么改动。就在我分析完日志的晚上,技术老大找到我说,他想起来当年是因为网站被攻击,大量注入了很多的垃圾数据后,网站收录才出现异常的。


我可能知道问题就出在这里,但为了更全面的考究问题,我还是让他们按规定把之前做的一些改动同步给我。


第二天早上我就开始围绕网站被攻击的问题与技术进行了彻底的排查,看网站之前被注入的垃圾信息有没有清除干净。最后确认垃圾信息早就彻底清除了,且正确返回了404状态码和404错误页面。


然后我怀疑是不是百度没有修正我们的状态,被攻击的时候开始不收录正常,毕竟检测到了我们网站的风险,那时隔一年还是如此,一定是百度的问题。我通过百度的反馈中心详细的说明了问题的始末,然后百度的技术也在一直排查,我等了有一周时间没见回复,其他部门也把之前的一些调整和改动都给我了,我也确认那时大家的做法没有问题。


于是,我主动联系了百度站长平台的朋友,希望他们能够尽快处理,查明问题。


可最后我得到的结论是百度也没发现什么问题,据说几个部门的技术针对我的问题还各自筛查一遍,没找到问题。好吧,百度的兄弟已经给足了面子,能这么帮咱跟进需求很到位了。还是靠自己,这毕竟是我入职CEO的第一个托付,一定要搞定。


我也找了我们的编辑,询问并且检查文章本身的质量问题,大家和几年前一样,一直按部就班的发着信息,没什么变化。及时性、可读性、需求满足度都可以保证。具体是哪出了问题呢?


我思前想后,会想到问题的本质是开始于网站被攻击开始的,那如果真的是百度没反应过来的话,我就要让百度重新对我的新闻页进行计算,以重新评估这类页面。于是我有了对新闻页改版的念头。


开始与产品沟通,但他们忙,无奈下,我独挑大梁,自己画原型开干了。


通过对页面的重新设计、丰富了内链的链接策略,也增加了很多广告自定义的场景。通过20多天的努力,新的页面上线了。


由于网站每天发布的新闻很多,大约在几百条,所以我写了一个收录查询的程序,每天这个程序都会自动帮我查收录,然后以excel附件的形式发到我的邮箱,我进行查看。


就在新版的新闻页上线的第4天,收录率从之前每天的1~5个,突然有100多个了,收录率之前都是零点零几,现在有40%多了,又过一天82%,再过一天79%,又过一天85%,就这样80%上下持续了一周的时间,到了下周突然达到了97%,而且是秒收的。然后中间也有个别的天是浮动的。但整体都在95%上下。


到这,我认为收录问题彻底解决了,很多编辑的同事也早就知道了这个事情。现在几年过去了,我策划的新闻页仍在,且收录情况一直良好。


思路总结


1、锁定网站不收录的是哪类型的页面,就像案例所说,最终我锁定到了新闻页;


2、思考网站不收录的这个时间点内,对网站有改动权限的人都做了什么,这些改动会不会是网站不收录的原因;


3、分析网站的日志,看不收录的那个网站类目是不是有抓取,没抓取就是抓取问题,有抓取就不存在问题;


4、当网站改动上没问题,抓取没问题。就在站长工具反馈中进行详细的反馈;


5、反馈的同时也可以对该类型的模版页面进行适当的调整,例如增加链接入口、增加网页丰富度,新闻页提高原创比例,文章内容的质量程度。


6、要是还不能收录的话,就对当前类型的模版页面进行大改版,重构页面进行尝试。


我从业的公司以及帮助一个企业解决网站不收录问题不下15个了,一直沿用这套思路,如果你是过程中有不明白的可以在下方留言区进行提问,我会第一时间回复~



责任编辑:优网科技

版权所有:http://www.uweb.net.cn (优网科技) 转载请注明出处

上一篇 返回列表 下一篇
推荐案例
眼光高度决定品牌厚度 !
广州网站建设-大良实验小学系统开发
广州网站建设-大良实验小学系统开发
大良实验小学于1998年成立,占地4万5千多平方米,是顺德区规模的民办学校之一。现有71个教学班,学生3223人,教职员工436人。学校按广东省一级学校标准建设,配有图书馆、舞蹈室、管乐室、多媒体电子琴室、实验室、英语乐园等功能场室36个,还拥有大礼堂、羽毛球馆、生物园、地理园、游泳池和200米塑胶运动场等活动场所。学校先后荣获“广东省一级学校”、“全国少先队红旗大队”、“广东省首届优秀书香校园”、“广东省书法教育名校”、“广东省综合实践样本学校”等光荣称号。
广州网站建设-海天味业公众号开发
广州网站建设-海天味业公众号开发
海天是中国调味品行业的优秀企业,专业的调味品生产和营销企业,历史悠久,是中华人民共和国商务部公布的首批“中华老字号”企业之一。目前生产的产品涵盖酱油、蚝油、酱、醋、料酒、调味汁、鸡精、鸡粉、腐乳等几大系列百余品种300多规格,年产值过百亿元。
广州网站建设-中凯网站建设
广州网站建设-中凯网站建设
中凯(海南)控股集团有限公司本次项目是集团网站建设,与优网科技合作过程中,双方配合默契,保质保量的仅一个月就完成了整站建设。优网科技帮助中凯(海南)快速树立了一个集团专业形象展示,同时网站的设计效果、体验和交互也让中凯(海南)非常满意。
广州网站建设-中国联塑网站建设
广州网站建设-中国联塑网站建设
中国联塑集团控股有限公司(简称:中国联塑,股份代号:2128.HK )是国内大型建材家居产业集团,产品及服务涵盖管道产品、水暖卫浴、整体厨房、整体门窗、装饰板材、净水设备、消防器材、卫生材料、海洋养殖、环境保护、建材家居渠道与服务等领域。
广州网站建设-前海益广网站建设
广州网站建设-前海益广网站建设
深圳前海益广股权投资有限公司成立于2016年04月18日,注册地位于深圳市前海深港合作区前湾一路1号A栋201室,经营范围包括一般经营项目是:股权投资;受托管理股权投资基金;受托资产管理;企业管理咨询、经济信息咨询;投资兴办实业等。
广州网站建设-萨米特高端品牌网站建设
广州网站建设-萨米特高端品牌网站建设
佛山市萨米特陶瓷销售有限公司始于2000年,在陶瓷行业风潮中发展壮大,是新明珠陶瓷集团的核心品牌。萨米特瓷砖注重营销系统的升级与消费体验模式的实施,倡导“设计+生活”的品牌理念,致力于打造有温度,有态度的瓷砖品牌。用设计提高人居价值,以创新驱动行业发展,与全球不同国家和文化背景的消费者共享美好家居。
广州网站建设-欧迪克网站建设
广州网站建设-欧迪克网站建设
佛山市南海欧迪克五金制品有限公司始创于2003年,致力于发展高端硅镁铝合金安全门窗,木铝门窗、阳光房定制,集研发、生产、销售、服务于一体。自创立以来,系列产品畅销大江南北,获得由权威媒体及单位颁发的多项殊荣。目前为止,“欧迪克门窗”的专卖店遍布全国800多个县市及地区,共有1000多家专卖店辐射全国。
广州网站建设-好太太网站建设
广州网站建设-好太太网站建设
好太太集团是一家集研发、生产、销售、服务于一体的智能家居企业,产品与服务涵盖智能晾晒、智能锁、智能电器等众多领域。坐落于广州番禺区,自1999年始便致力于打造 “好太太”品牌,经过将近二十年的发展,如今好太太已成为全球的晾衣架行业研发、生产、销售、服务商,在中国拥有近2000万户家庭在使用好太太产品。好太太集团于2017年主板上市,成为智能晾晒领域首家A股上市企业。
广州网站建设-中山公用水务网站建设
广州网站建设-中山公用水务网站建设
中山公用事业集团股份有限公司成立于1998年,是一家国有控股的上市公司(SZ:000685)。公司坚持“产业经营+资本运营”双轮驱动的战略思路,定位环保水务为核心业务,通过提升环保水务板块的产业经营能力,与资本运营平台协同增效,致力打造行业内有影响力的领先企业,积极担当社会责任和环境保护的公民企业,促成员工实现自身价值的平台企业。
广州网站建设--华标集团物业公众号
广州网站建设--华标集团物业公众号
华标集团物业为了进一步提升服务质量,满足业主的多元化需求,采用微信公众号作为服务平台,为业主提供日常物业缴费、报事报修、社区活动等便利性服务。本次量身定制的微信公众号,旨在打造一个高效、稳定、便捷的线上服务平台,让业主享受到更加贴心、便捷的物业服务。
广州网站建设-欧派家居集团官网建设
广州网站建设-欧派家居集团官网建设
欧派集团官网作为欧派对外展现品牌形象、传达服务理念的重要信息平台,也向用户展示了欧派最新的资讯和相关的售后服务。优网作为欧派集团的信息化战略合作伙伴,本次的官网开发基于专业的设计水平和扎实的技术能力,为欧派的互联网品牌形象全面升级。
广州网站建设-康臣药业网站建设
广州网站建设-康臣药业网站建设
康臣药业集团(HK.01681)是一家主要从事现代中成药及医用成像对比剂研发、生产及营销的现代化制药企业,创立于1997年,于2013年12月19日在香港联合交易所主板上市,旗下拥有广州康臣药业有限公司、康臣药业(内蒙古)有限责任公司、广西玉林制药集团有限责任公司、广州康臣药物研究有限公司等从事药品生产和研发的企业,运营康臣、玉林等知名医药品牌,在国内建有广东广州、内蒙古通辽、广西玉林等3个生产基地,员工逾2000人。

我要投稿

姓名

文章链接

提交即表示你已阅读并同意《个人信息保护声明》

专属顾问 专属顾问
扫码咨询您的优网专属顾问!
专属顾问
马上咨询
联系专属顾问
联系专属顾问
联系专属顾问
扫一扫马上咨询
扫一扫马上咨询

扫一扫马上咨询

和我们在线交谈!
展开菜单
关于我们
优网观点
项目动态
公司新闻
优网学院
常见问题
收起菜单
活动会议应用
答题应用
班车预定应用
应急值班表应用
春节活动应用
活动直播应用
内部培训及任务应用
返回上一级