这两天在adsense上总是提示 收益受损风险 - 您需要修正一些 ads.txt file 问题，以免收入严重受损。虽然没有几毛钱，但看到这种提示还是免不了要好好解决一下的，哈哈。 就是这种提示。

这里告诉大家正确的问题处理思路。

1.首先自己下载adsense上面的ads.txt到本地并上传到服务器。

在浏览器打开，可以看到ads.txt已经正确显示。 本以为这样就解决不了，但过两天发现还在，这个时候就要进行下一步的排查了。

Nginx 是一个高性能的HTTP服务器和反向代理服务器，也是一个IMAP/POP3/SMTP服务器。在1.9.13版本后，Nginx已经支持端口转发。 在centos7上面rinetd配置简单，使用方便，但遗憾的是不支持UDP转发。如果业务需要同时支持TCP/UDP端口转发那么可以使用Nginx 就是最佳的选择了。本来centos7里面也是可以使用firewalld进行端口的forwarding，但是firewalld只会转发并不会监听端口，所以 还需要监听端口，挺麻烦的。 废话不多说，直接进入主题nginx如何反向代理远程tcp，udp服务。

本文介绍用tigervnc-server和Server with GUI进行对linux centos7的图形化界面访问。所有操作都是在安装了centos7的阿里云ecs完成的，想要添加图形化界面的centos7按照步骤操作就可以了。

步骤如下：

1.安装Server with GUI 2.安装tigervnc-server 3.配置tigervnc-server 4.配置阿里云安全组 5.连接到vnc图形界面服务器

在编写爬虫的时候，经常会因为手动修改header和cookie之类的问题弄得焦头烂额，总是出错，这里介绍一个非常方便的利用chrome自带的工具进行python版本的requests请求。

准备工具：

1.chrome

步骤

1.首先浏览器中打开网络调试工具，这里以12306的查询余票为例。

2.查询就可以看到我们的请求了，使用copy as curl就可以获得curl版本的请求了。

curl是linux下的一个用于下载的程序。

在编程的世界里，经常一些小小的建议或者帮助就可以起到很大的作用。 比如说有个快捷键或者一个包简单应用就可以起到简化大量工作，达到事半功倍的效果，这里我就介绍几种我经常用到的小技巧。

1. pandas dataframe的pandas_profiling函数查看数据情况

在分析数据前，了解我们的数据是数据分析里面很重要的一个环节，虽然在pandas里面有一些像df.describe，df.info()函数虽然起到了一定的查看数据的功能。但是对于较大的数据和比较复杂的功能他们就不再提供了，而pandas_profiling里面的profile_report函数却可以得到比较详细的数据情况。

阿里云centos镜像默认是把ipv6给注释掉的，如果要开启的话需要使用IPv4 和 IPv6 双栈网络，这需要申请公测资格，不是很方便，这里我们使用tunnelbroker提供的ipv6隧道来使其支持ipv6访问。而学校电信是可以直接获取ipv6地址的，如果阿里云服务器可以ipv6访问的话就可以免费上网了。

校园网需要使用手机号认证，但是由于手机卡较贵，已经停止使用，在登录后发现网页跳转到充值页面。虽然有免费的ipv6，但是绝大多数互联网有不具备ipv6的访问功能。如果有一台具有ipv6的远程服务器的话，就可以通过远程计算机上网了。这时使用ping检测发现可以找到百度ip地址，因此设想通过搭建基于53端口的openvpn绕过充值达到免流上网的目的。第二种方案可以使用带有ipv6的云服务器达到本地也有ipv4的效果。

有时候需要临时将数据存储起来，方便下次运行程序时可以直接调用，或者不同线程之间交换数据都是可以用序列化的方式把数据存储起来，然后调用，这里我们以pickle包来解释python中的序列化与反序列化。

什么是序列化与反序列化

• 序列化：将python数据转换成二进制的数据流。
• 反序列化：将二进制的数据流转换成pytho对象。

python模块pickle的实现

• dumps()：调用此函数将python数据对象转换成数据流
• loads():调用此函数将存储的数据流转换成python数据对象

下面是python中使用pickle实例演示python中的序列化与反序列化

由于新环境路由器不具备安装酸酸或v2的条件，在路由器上实现上google搜索海量英文技术内容就不行了，我们这里采用官方的google镜像容器做一个谷-歌的镜像网站并映射到自己已有的域名上。

搭建条件：

1.vultr等各种VPS 2.有个域名，这里我们使用google.bobobk.com作为谷歌镜像的域名站

写爬虫总是免不了被ban  ip，限制流量等问题，有个高效的ip代理池还是很重要的，这里我们就介绍如何从已有公开代理总提取有效ip组建自己高效的爬虫代理池

主要以下几个模块

1.requests爬取代理 2.更新检测可用代理

requests爬取代理，选取xici代理为例

高匿网页地址xici， 检查元素

元素选择就是id为ip_list的tr为一个一个的代理，td下为详细信息，因此css选择器就可以为 content.css("#ip_list").css(“tr”) ，然后在提取1，6项即可,后续加入判断ip可用性选项，判断成功后存入json文件，以后就可以通过http形式获取到可用的代理信息。