Xin giúp đỡ về việc crawl Amazon bằng Scrapy

[Luong_Quang_Manh (Lương Quang Mạnh)]

Tình hình là mình đang dùng scrapy để crawl sản phẩm áo thun trên Amazon.
Nhưng mỗi khi gửi request đến url này https://www.amazon.com/s/ref=s9_acss_bw_cts_novclo_T1_w?rh=i%3Afashion-novelty%2Cn%3A7141123011%2Cn%3A7147445011%2Cn%3A12035955011%2Cn%3A9103696011%2Cn%3A9056985011%2Cp_6%3AATVPDKIKX0DER&bbn=9103696011&sort=date-desc-rank&ie=UTF8&pf_rd_m=ATVPDKIKX0DER&pf_rd_s=merchandised-search-3&pf_rd_r=NXSN2BTBF7AB7YB7M0S6&pf_rd_t=101&pf_rd_p=e788f135-61de-45f6-84ce-c4c77ded408a&pf_rd_i=7147445011 (dài kinh )
thì toàn bị redirect sang url này https://www.amazon.com/Men-Amazon-com-Novelty/s?ie=UTF8&page=1&rh=n%3A9056985011%2Cp_6%3AATVPDKIKX0DER

Mong mọi người giúp mình, xin cảm ơn nhiều!

[thanhmssl10 (TP)]

Khả năng là do user agent, bạn add cái user agent của chrome hay firefox vào thử xem

[Luong_Quang_Manh (Lương Quang Mạnh)]

Mình đã đổi user agent về của Firefox (vì mình có dùng selenium cùng geckodriver) và đã thành công . Cảm ơn bạn!