我正在使用Selenium和Scrapy实现一个TikTok爬虫。
爬虫打开 Chrome 但无法加载视频。 图像加载 使用 Firefox 也会遇到相同的问题。 使用 Firefox 无法加载页面 使用 Selenium 编写的简单脚本也会出现相同的问题。
start_urls = ['https://www.tiktok.com/trending']
....
def parse(self, response):
options = webdriver.ChromeOptions()
from fake_useragent import UserAgent
ua = UserAgent()
user_agent = ua.random
options.add_argument(f'user-agent={user_agent}')
options.add_argument('window-size=800x841')
driver = webdriver.Chrome(chrome_options=options)
driver.get(response.url)
爬虫打开 Chrome 但无法加载视频。 图像加载 使用 Firefox 也会遇到相同的问题。 使用 Firefox 无法加载页面 使用 Selenium 编写的简单脚本也会出现相同的问题。
from selenium import webdriver
import time
driver = webdriver.Firefox()
driver.get("https://www.tiktok.com/trending")
time.sleep(10)
driver.close()
driver = webdriver.Chrome()
driver.get("https://www.tiktok.com/trending")
time.sleep(10)
driver.close()