批量抓取网页数据 |
| 时间：2025-04-14 13:26:57 来源：互联网 作者： |
AI导航网，AI网站大全，AI工具大全，AI软件大全，AI工具集合，AI编程，AI绘画，AI写作，AI视频生成，AI对话聊天等更多内容请查看 https://aiaiv.cn/
知乎前面介绍PowerBI数据获取的时候，曾举了一个从网页中获取数据的例子，但当时只是爬取了其中一页数据，这篇文章来介绍如何用PowerBI批量采集多个网页的数据。本文以智联招聘网站为例，采集工作地点在上海的职位发布信息。 展开（一）分析网址结构打开智联招聘网站，搜索工作地点在上海的数据，下拉页面到最下面，找到显示页码的地方，点击前三页，网址分别如下，•http://sou.zhaopin.com/jobs/searchresul•http://sou.zhaopin.com/job 展开（二）使用PowerBI采集第一页的数据打开PowerBI Desktop，从网页获取数据，从弹出的窗口中选择【高级】，根 从URL预览中可以看出，已经自动把上面两行的网址合并到一起；这里分开输入 （如果页码变量不是最后一位，而是在中间，应该分三行输入网址） 展开（四）批量调用自定义函数首先使用空查询建立一个数字序列，如果想抓取前100页的数据，就建立从1到100的序列，在空查询中输入回车就生成了从1到100的序列，然后转为表格。gif操作图如下：然后调用自定义函数， 展开（三）根据页码参数设置自定义函数这是最重要的一步。还是刚才第一页数据的PQ编辑器窗口，打开【高级编辑器】，在let前输入：并把let后面第一行的网址中，&后面的"1"改为（这就是第二步使用高级选项分两 更改后【源】的网址变为： 展开更多内容请查看https://zhuanlan.zhihu.com/p/64412660
Power Query批量抓取网页数据图文教程（鼠标操 2020年2月29日 · 激活之前得到的表（“表2”），在“主页”选项卡下，点“合并查询”；弹出窗口中下拉选中新表，“联接种类”自行调整，选定两个表中的索引列（即日期），确定。 用之前的方法，保留感兴趣的变量（这里也保留了列名作为前 Power Query网抓详解更多内容请查看https://zhuanlan.zhihu.com/p/109946332
|
|
