此题为判断题(对，错)。
A.ROBOTSTXT_OBEY
B.ROBOTSTXT_JUDGE
C.ROBOTSTXT
D.ROBOTSTXT_IF
此题为判断题(对，错)。
A.如果要修改静态网页，必须修改源代码
B.后缀为.htm、.html的网页是静态网页
C.静态网页文件里没有程序代码，只有HTML标记
D.静态网页可以根据用户的需要而改变
A、深度优先策略
B、广度优先策略
C、PageRank优先策略
D、随机爬行策略
银联商务股份有限公司2月招聘面试题面试题面试官常问到的一些题目整理如下：问题 Q1：Python中的module和package是什么？可用的回答 ：在Python中，模块是构造程序的方式。每个Python程序文件都是一个模块，它导入其他模块，如对象和属性。Python程序的文件夹是一个模块包。包可以包含模块或子文件夹。问题 Q2：跨域请求问题django怎么解决的（原理）？可用的回答 ： 1. 启用中间件 2. post请求 3. 验证码 4. 表单中添加%csrf_token%标签 问题 Q3：如果让你来防范网站爬虫，你应该怎么来提高爬取的难度？可用的回答 ： 1. 判断headers的User-Agent； 2. 检测同一个IP的访问频率； 3. 数据通过Ajax获取； 4. 爬取行为是对页面的源文件爬取，如果要爬取静态网页的html代码，可以使用jquery去模仿写html。 问题 Q4：Python中的lambda是什么？可用的回答 ：它是一个单独的表达式匿名函数，通常用作内联函数。问题 Q5：什么是PYTHONPATH？可用的回答 ：它是导入模块时使用的环境变量。每当导入模块时，也会查找PYTHONPATH以检查各个目录中是否存在导入的模块。解释器使用它来确定要加载的模块。问题 Q6：说一说redis-scrapy中redis的作用？可用的回答 ： 它是将scrapy框架中Scheduler替换为redis数据库，实现队列管理共享。 优点： 可以充分利用多台机器的带宽； 可以充分利用多台机器的IP地址。 问题 Q7：什么是局域网和广域网？可用的回答 ： 局域网：（Local Area Network，LAN）， 局域网是一个局部范围的计算计组， 比如家庭网络就是一个小型的局域网，里面包含电脑、手机和平板等，他们共同连接到你家的路由器上。 又比如学校的机房就是一个局域网，里面有几百几千台电脑， 当机房无法上外网时，但是电脑之间仍可以通信，你们可以通过这个局域网来打CS 、玩红警。 理论上，局域网是封闭的，并不可以上外网，可以只有两台电脑，也可以有上万台。 广域网：（WAN，Wide Area Network），广域网的范围就比较大了， 可以把你家和别人家、各个省、各个国家连接起来相互通信。 广域网和局域网都是从范围的角度来划分的， 广域网也可以看成是很多个局域网通过路由器等相互连接起来。 问题 Q8：什么是socket？简述基于tcp协议的套接字通信流程？可用的回答 ： 套接字： 也称为BSD套接字，是支持TCP/IP的网络通信的基本操作单元， 可以看做是不同主机之间的进程进行双向通信的端点， 简单的说就是通信的两方的一种约定，用套接字中的相关函数来完成通信过程。 应用层通过传输层进行数据通信时，TCP和UDP会遇到同时为多个应用程序进程提供并发服务的问题 通信流程： 1. 服务器先用 socket 函数来建立一个套接字,用这个套接字完成通信的监听。 2. 用 bind 函数来绑定一个端口号和 IP 地址。 因为本地计算机可能有多个网址和 IP,每一个 IP 和端口有多个端口。需要指定一个 IP和端口进行监听。 3. 服务器调用 listen 函数,使服务器的这个端口和 IP 处于监听状态,等待客户机的连接。 4. 客户机用 socket 函数建立一个套接字,设定远程 IP 和端口。 5. 客户机调用 connect 函数连接远程计算机指定的端口。 6. 服务器用 accept 函数来接受远程计算机的连接,建立起与客户机之间的通信。 7. 建立连接以后,客户机用 write 函数向 socket 中写入数据。也可以用 read 函数读取服务器发送来的数据。 8. 服务器用 read 函数读取客户机发送来的数据,也可以用 write 函数来发送数据。 9. 完成通信以后, 用 close 函数关闭 socket 连接。 问题 Q9：如何删除python数组的值？可用的回答 ：可以使用pop()或remove()方法删除数组元素。这两个函数之间的区别在于前者返回已删除的值，而后者则不返回。问题 Q10： scrapy分为几个组成部分？分别有什么作用？可用的回答 ： 分为5个部分； 1. Spiders(爬虫类) 2. Scrapy Engine(引擎) 3. Scheduler(调度器) 4. Downloader(下载器) 5. Item Pipeline(处理管道) 具体来说： Spiders:开发者自定义的一个类，用来解析网页并抓取指定url返回的内容。 Scrapy Engine:控制整个系统的数据处理流程，并进行事务处理的触发。 Scheduler：接收Engine发出的requests，并将这些requests放入到处理列队中，以便之后engine需要时再提供。 Download：抓取网页信息提供给engine，进而转发至Spiders。 Item Pipeline:负责处理Spiders类提取之后的数据。 比如清理HTML数据、验证爬取的数据(检查item包含某些字段)、查重(并丢弃)、将爬取结果保存到数据库中 算法题面试官常问到的一些算法题目整理如下（大概率会机考）：算题题 A1：有效回文字符串题目描述如下：Given a string, determine if it is a palindrome, considering only alphanumeric characters and ignoring cases.Note: For the purpose of this problem, we define empty string as valid palindrome.Example 1:Input: A man, a plan, a canal: PanamaOutput: trueExample 2:Input: race a carOutput: false忽略特殊字符，空白，大小写。判断是否为回文字符串，空的话也为有效的。关键字: re.测试地址：https:/
A、Crawler
B、Jsoup
C、Hertrix
D、Nutch
A、License.txt
B、robots.txt
C、ReadMe.txt
D、hentrix.txt
A、Mirror
B、KW3
C、ARC
D、TXT
A、Logs
B、Jobs
C、Reports
D、Setup
A、Logs
B、Help
C、Profiles
D、Reports