我已经编写了以下代码来从网站上抓取数据。
当我运行命令
import scrapy
from porua_scrapper.items import Category
from porua_scrapper.config import SITE_URL
class CategoriesSpider(scrapy.Spider):
name = "categories"
start_urls = []
for I in range(2):
url = SITE_URL + "book/categories?page=" + str(I+1)
start_urls.append(url)
print(start_urls)
def parse(self, response):
# print(response.css('ul.categoryList li div.pFIrstCatCaroItem a').extract_first())
for category in response.css('ul.categoryList li'):
categoryObj = Category()
categoryObj['name'] = category.css('div.bookSubjectCaption h2::text').extract_first()
categoryObj['url'] = category.css('a::attr(href)').extract_first()
yield categoryObj
当我运行命令
scrapy crawl categories -o categories.json
时,它会创建一个categories.json文件,其中包含所需的输出格式。但问题是我的一些内容包含孟加拉文本。因此,在生成的输出文件中,我得到了如下响应:{"url": "/book/category/271/\u09a8\u09be\u099f\u0995", "name": "\u09a8\u09be\u099f\u0995"}
。我应该如何将内容编码为utf-8
?由于我是新手,我无法根据我的情况找到合适的解决方案。谢谢!