<,i0dZddlZddlZddlZddlmZddlmZddddd d d Zgd ZGd dZ dZ e dk(reje yy)u{ 832平台爬虫 - 河南地区商品数据抓取 目标：供应商名称、商品名称、单价、销量、联系方式 N)datetime)async_playwright chinadavid dabai123123410000zhenan_products.csvzhttps://ys.fupin832.com/z4https://ys.fupin832.com/product/list?areaCode=410000)usernamepassword area_code output_file login_url product_urlu序号u供应商名称u 商品名称u 单价(元)u销量u 联系方式u 商品链接u 抓取时间cHeZdZdZdZdZdZdZdZdZ dZ d Z d Z y ) Spider832c<d|_d|_d|_g|_y)N)browsercontextpageproductsselfs spider.py__init__zSpider832.__init__$s    cKtdtjd{}|jj ddd{|_|j j dddd d{|_|jjd{|_ td y77k7@7w) u初始化浏览器u🚀 启动浏览器...NFi)headlessslow_moii8)widthheightz#C:C<C>Cc<Ktd|jjtdd{|jj dd{ |jj ddd{|jj d d{|jjd d{}|r5|jtd d{td td |jjd d{}|r+|jtdd{td|jj dd{|jjdd{}|D]H}|jd{}d|vs d|vs%|j d{tdntd|jj dd{|jj}td||jjdd{tdy7077#tdYxYw7777l7M7"77777Gw)u登录832平台u🔐 开始登录...r N networkidleu text="登录"i)timeoutu-未找到登录按钮，尝试其他方式...iu0input[placeholder*="账号"], input[type="text"]ru✅ 输入用户名: zinput[type="password"]r u✅ 输入密码buttonu登录u注册u✅ 点击登录按钮u⏳ 等待登录验证...u📍 当前页面: zlogin_status.pngpathu 📸 登录状态截图已保存T) r"rgotoCONFIGwait_for_load_stateclickwait_for_timeoutquery_selectorfillquery_selector_all inner_texturl screenshot)rusername_inputpassword_inputsubmit_buttonsbtntext current_urls rloginzSpider832.login9sJ $%iinnVK0111ii++M::: C))///4/@ @ @ii((... $yy778jkk  %%fZ&89 9 9 )&*<)=> ? $yy778PQQ  %%fZ&89 9 9 $ %ii((... $yy;;HEE! C))D4HD$8iik!!./   )*ii((...iimm  #K=12ii""(:";;; 01_ 2: A C A B.l 9R 9 /F)! / J ?-J,J-"JJJ,J-J6J;JJ;J J AJJJ&J)I,, I<9JJJJ JJJJJJJcKtdtdtdtdt|jjdd{tdy7w) u0等待手动登录（如果自动登录失败）z3 ==================================================u.⚠️ 请在浏览器中手动完成登录...u登录后请按回车继续...z3================================================== zafter_login.pngr/Nu📸 登录后截图已保存)r"inputrr;rs rwait_for_manual_loginzSpider832.wait_for_manual_loginmsW m >? ./ m ii""(9"::: -. ;sAA+A)A+cKtd|jjtdd{|jj dd{|jj dd{|jj dd{td|jjd{}td t|d y777r7P7%w) u跳转到商品列表页面u#🛒 跳转到河南商品列表...r Nr+i zproduct_list.pngr/u&📸 商品列表页面截图已保存u📄 页面长度: u 字符) r"rr1r2r3r5r;contentlen)rrGs rnavigate_to_productszSpider832.navigate_to_productsws 34iinnVM2333ii++M:::ii((...ii""(:";;; 67 ))++ #CL>9: 4:. <,sW1C2C("C2C*"C29C,:#C2C.,C2 C0 C2*C2,C2.C20C2cFKtdtdD]Z}|jjdd{|jj dd{td|dzd\|jj d d{y7`7?7 w) u滚动页面加载更多商品u 📜 开始滚动加载商品...zwindow.scrollBy(0, 1000)Nr-u 第 u 次滚动完成zafter_scroll.pngr/)r"rangerevaluater5r;)ris rscroll_and_load_productsz"Spider832.scroll_and_load_productss 01q 2A))$$%?@ @ @)),,T2 2 2 F1Q3%/0 1 2 ii""(:";;; A 2 { const results = []; // 尝试多种选择器 const selectors = [ '.product-item', '.product-list .item', '[class*="product"]', '.goods-item', '.item-product', '.pro-item' ]; let items = []; for (const sel of selectors) { items = document.querySelectorAll(sel); if (items.length > 0) { console.log('Found selector:', sel, 'with', items.length, 'items'); break; } } // 如果没找到，尝试从表格或其他元素提取 if (items.length === 0) { // 尝试获取所有可能包含商品信息的元素 const allDivs = document.querySelectorAll('div'); for (const div of allDivs) { const text = div.innerText || ''; // 匹配商品名称模式（包含价格等） if (text.match(/\d+元/) && text.length > 10 && text.length < 200) { results.push({ name: text.substring(0, 50), raw: text }); } } } return results; } Nu📊 初步提取到 u 条数据ru 🔄 尝试其他提取方式...u () => { const results = []; // 获取页面所有文本内容 const bodyText = document.body.innerText; // 尝试查找价格模式 const pricePattern = /(\d+\.?\d*元\/\w+)/g; const prices = bodyText.match(pricePattern) || []; // 尝试查找商品列表区域 const mainContent = document.querySelector('main') || document.querySelector('.main') || document.body; // 获取所有链接文本，可能包含商品信息 const links = document.querySelectorAll('a[href*="product"], a[href*="goods"], a[href*="item"]'); links.forEach((link, index) => { const text = link.innerText?.trim(); const href = link.href; if (text && text.length > 2 && text.length < 100) { results.push({ name: text, url: href, index: index }); } }); return results.slice(0, 50); // 限制数量 } u📊 通过链接提取到 )r"rrNrH)r products_datas rextract_productszSpider832.extract_productss 01#ii00)2 ) ) V %c-&8%9DE }  " 4 5"&))"4"46#M> /M0B/C:N Oc) `s"*B#BAB#B!B#!B#cvKtd |jjdd{}tdt|j |j j d{}tdt|y7c7#t$r}td|Yd}~yd}~wwxYww)u尝试通过API获取数据u#🌐 尝试通过API获取数据...a() => { const items = {}; for (let i = 0; i < localStorage.length; i++) { const key = localStorage.key(i); items[key] = localStorage.getItem(key); } return items; }Nu📦 LocalStorage: u🍪 Cookies数量: u⚠️ API获取失败: ) r"rrNlistkeysrcookiesrH Exception)r local_storagerWes rtry_api_extractionzSpider832.try_api_extractions 34  2"&))"4"46#M ']-?-?-A(B'CD E!LL0022G (W7 83 2 ,QC0 1 1 2sQ B9BBAB4B5BB9BB B6B1,B91B66B9c K|js tdytd}t|ddd5}t j |t }|jt|jd D]\}}||jd d|jd d|jd d|jd d|jdd|jddtjjdd}|j| dddtd|tdt|jdy#1swY:xYww)u保存数据到CSVu⚠️ 没有数据可保存Nr wz utf-8-sig)newlineencoding) fieldnamesrLsuppliernamepricesalescontactr:%Y-%m-%d %H:%M:%Sru✅ 数据已保存到: u📊 共保存 u 条记录)rr"r2opencsv DictWriter CSV_HEADERS writeheader enumerategetrnowstrftimewriterowrH)r output_pathfwriteridxproductrows r save_to_csvzSpider832.save_to_csvs/}} 0 1 ]+ +sB E %^^A+>F    )$-- ; % W!'.{{:r'B$+KK$;#*;;w#;%kk'26$+KK 2$>$+KKr$:$,LLN$;$;?% % %s1E C'E9E EE cK|jr.|jjd{tdyy7w)u关闭浏览器Nu🔒 浏览器已关闭)rcloser"rs rrzzSpider832.close#s4 <<,,$$& & & + ,  &s*A>AN) __name__ __module__ __qualname__rr)rBrErIrPrSr[rxrzrrrr#s8 +2h/;" <Vp24@8-rrcKtdtdtdtdtjjdztdt } |j d{|j d{|jd{|jd{|jd{|jd{}|r ||_ |jd{n#td|jd{td td tdtd t#|j%d{y77777777b#t$r,}td |d dl}|j!Yd}~od}~wwxYw7N#td t#|j%d{7wxYww)u 主函数z<============================================================u 832平台 河南商品爬虫u 作者: 李狗蛋u 时间: rgz============================================================= Nu4⚠️ 未提取到商品数据，尝试API方式...z= ============================================================u 爬虫执行完成！u ❌ 错误: ru 按回车键关闭浏览器...)r"rrorprr)rBrErIrPrSrrxr[rX traceback print_excrDrz)spiderrrZrs rmainr)s &M *+   ,001DE EF - [F(!!###lln**,,,))+++--/// 0022 &FO$$& & & H I++- - - m '( f  01 llnM $  - , 03 ' .  QC !  01 llnsA&H )F<F =FFF,F-FFFFF4F5 FF#F9F:%F(H GH  FFFFFFFF G'"G GGGH )HHHH __main__) __doc__asyncioriosrplaywright.async_apirr2rkrrr{runr~rrrso  1'+I    D-D-L2h zGKKr