scrapy javascript pagination href=#

3

我正在使用Scrapy和Splash从启用JavaScript的银行页面爬取促销交易。

https://www.dbs.com.sg/personal/product-promotion-list.page?pct=Cards#

我面临的问题是分页使用JavaScript完成,因此链接格式如下:
<a href="#">1</a>
<a href="#">2</a>
<a href="#">3</a>

所有href链接都隐藏在#中。
随着我的深入挖掘,html代码中的分页函数如下:
<script type="text/javascript">

    $(document).ready(function(){
    productList();
    });
    $('.pagination').on("click","a",checkClass);
    $('#filterSearch').on("click",searchTextChange);
    $('form').submit(function(e){
         e.preventDefault();
    });
    $("#Search").keyup(function(event){
        if(event.keyCode == 13){
            $("#filterSearch").click();
        }
    });

</script>

有人能帮我吗?任何帮助都将不胜感激!谢谢。

1个回答

2

当点击每个分页(1、2或3)时,将使用POST从服务器请求以下URL:

https://www.dbs.com.sg/personal/product-promotion-list-child.page

以下是表单提交的数据:

promotype=&start=1&pageNum=1&search=&type=promotion&pct=Cards(第一页) promotype=&start=2&pageNum=1&search=&type=promotion&pct=Cards(第二页) promotype=&start=3&pageNum=1&search=&type=promotion&pct=Cards(第三页)

如果您直接访问具有正确页面编号的URL,会返回包含所需促销列表的HTML。请注意保留HTML标记。

谢谢,问题解决了。我可以问一下你是怎么发现的吗?是通过检查网络吗? - user3205474
是的,使用Chrome浏览器,按F12键并转到“网络”选项卡。每个对服务器的调用都会在那里记录...如果帮到你,请将答案标记为正确。干杯! - ThiagoPXP

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接