欢迎光临
我们一直在努力

程序员解析网站 log(如 Nginx access log),得出 PV, UV, topK access 是什么岗位? ELK?

程序员面试经验

oahebky:注:ELK(ElasticSearch, Logstash, Kibana)

背景:
前两天一家公司,搜索了一下感觉还不错;它们发给我一套线上试题先做再邀约面试。
面试题的岗位是爬虫工程师。

先说我自己,工作经验是 LINUX-C 的,学了 Python 想转 Python 开发
(主要考虑后端或数据相关岗;爬虫岗优先级靠后一点。
Python 能力是得到求职市场承认的,投简历没有百分百邀约面试,不过去面试的百分百谈薪资,面试最后都是我说回去考虑一两天答复;
但是业务能力我完全明白自己不足,具体的 PV,UV 是什么我还得学一下)

上面是整体的背景;然后下面是线上面试题的细节:

  • 前面是个人测试(类似霍德兰什么那个测试啥的,个人感觉这套测试有升级)
  • 然后是一些素质题(语言能力和逻辑和数学)
  • 然后两道 Python 题(都很 [业务向] ,很不 [基础向] )
    • 第一道简述反爬机制、和应对策略
    • 第二道可以自己运行,然后提交网站代码(形式上像计算机等级考试)

第二道的题目内容是分析标题的 access log ;不过这个 access log 不是 Nginx 生成的,但是很像就是了;
相当于是 server 提供 RESTful API,是 access API 的 log,包含了更多的信息,举个例子吧:

{"remote_addr": ..., "host": ..., "time": ...,  "request": ..., ... "url": ..., "request_url": ...} 

json 格式的“大”文件
每一条 log 根据具体的 API 格式没有百分百相同,但都是 JSON

题目分析 log 文件,调用函数能够得到 pv,uv,
和 topK 的一个 url 查询(如 /api/any_thing?key=中文,得到这个特定 API 的 key 后面内容的 topK )


最后回到标题,平时工作像上述分析 log 得到 pv,uv,topk 这样的,算是什么岗位? ELK ??

你认为 WPS 套装需要添加类似 MS Access 的数据库软件吗

crella:比如有些物流数据,一个月会有十万行以上,在配置较低的机器上用 excel/et 打开,编辑、保存的时候会卡(如果带上自动计算的公式,那就真卡)。突然想用 access 来存数据,也在看教程,应该不算太难;但是怕同事不理解。现在不少公司都不用 MS Office 了,连 outlook 或 onenote 都没听说过,何况 access 。但是就…

nginx/Aliyun 的域名解析太迷了

zhoudaiyu:我看官网说如果 proxy_pass 里配的是域名,那一定要配置一个全局的 resolver,否则就没法解析域名。公司的机器的确是这样的,可是阿里云的机器在 nginx 配置中没有配任何 resolver,请求 nginx 时照样能解析出 IP 。google 翻了一圈都没有答案。no1xsyzy:wireshark 抓下 53 的 UD…

不是说 nginx 创始人被俄罗斯警方抓了吗? 也没看到保释或者释放的消息,为啥他还在提交代码呢?

xiaoyanbot:https://github.com/nginx/unit 如题zy8848:水深火热警告

nginx 同一域名根据设备不同切换 root 目录

peterzhang0602:当切换移动端,就 404,看 nginx 日志请求了 物理路径; location / { root /usr/share/nginx/html/seller_app_pc/; if ( $http_user_agent ~ “(iPhone)|(Android)” ){ root /usr/share/nginx/html/s…

羊毛褥起来: Free access to 200+ digital versions of Oxford Student Books

kalman03:These resources will be ending on 30 September 2020https://global.oup.com/education/support-learning-anywhere/key-resources-online/?region=international&utm_campaign=l…

赞(0)
未经允许不得转载: 京大飞辅助网程序员面试-区块链javago面经 » 程序员解析网站 log(如 Nginx access log),得出 PV, UV, topK access 是什么岗位? ELK?

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址