
【python爬虫】懒加载(以站长素材为例)
什么是懒加载?
·
什么是懒加载?
简单的说一下,当你去访问一个页面的时候,这个页面可能会有很多的信息,比如某宝之类的。如果你一次性完整的加载出这个页面。显然耗时长一点,并且对于用户和服务器都是不友好的。懒加载就是当某个图片的位置在你的屏幕范围之内,它才会加载出来。这个是比较好理解的。
(这个懒加载对用户和服务器都是比较友好的,但是对于我们爬虫来说就比较蛮烦了。往往用xpath或者bs4取解析数据的时候,就不准确。)
我们来看看以下检索,使用xpath,路径为//div[@class="item masonry-brick"]/img/@src,可以看到图片的上方扩展程序中result的确拿到了40条src
图一
但此时部分src并不是图片真实的路径,使用该路径并不能得到图片,例如这一条 ../static/common/com_images/img-loding.png,这不是一个正确的路径,这就是因为我还没有浏览到这张图片,这是加载前的src,也就是懒加载,见下图
图二
浏览之后,src就变成了正确的图片路径,如下图所示
以上就是对懒加载的解释,觉得有用,可以支持一下萌新!!!
更多推荐
所有评论(0)