22-06-30 Crawling G마켓 상품데이터 수집

G마켓 상품데이터 수집

In [10]:

from selenium import webdriver as wb
from selenium.webdriver.common.by import By 


from selenium.webdriver.common.keys import Keys
from bs4 import BeautifulSoup as bs
from urllib.request import urlretrieve


import os
import time
import pandas as pd

In [11]:

# driver 객채 옵션설정(GPU사용 x, 화면사이즈설정, 브라우저 숨김)
options=wb.ChromeOptions()
options.add_argument ('disable-gpu')  #<< 웹 브라우저 gpu
options.add_argument('window-size=1920x1080')
options.add_argument('headless') #<<브라우저가 띄워지지는 않으나 우리가 설정한 값으로 움직이는 것이 가능

In [71]:

url="http://corners.gmarket.co.kr/Bestsellers"
driver=wb.Chrome(options=options)
driver.get(url)

상품명, 가격 수집해보기

In [63]:

html = bs(driver.page_source, 'lxml')

In [66]:

pd_names=html.select('a.itemname')
pd_prices=html.select('div.s-price > strong >span>span')

print(len(pd_prices), len(pd_names))

200 200

In [67]:

# .1
pd_name_list=[]
pd_price_list=[]


for i in range(len(pd_names)):
    pd_name_list.append(pd_names[i].text)
    pd_price_list.append(pd_prices[i].text)

In [68]:

# .2
pd_dic={
    "상품이름":pd_name_list,
    "상품가격":pd_price_list
    
}

product_df=pd.DataFrame( pd_dic)
product_df

상품이름상품가격01234...195196

비빔낙지1kg+명란500g+오징어젓갈1kg 슈프 특가 20010	29,420원
[라인바싸]라인바싸 탄산수 500ml 2박스 ( 20입+20입 )	15,900원
너트리 한양식품 꽃보다오징어 오리지날 260g+260g 外	33,900원
두레 무뼈 순살족발 300g 야식 혼술안주 앞다리살	5,700원
[우체국쇼핑] 고창 풍천 민물장어1kg+소스2종 (1~3미)(손질후 실중량600g ...	30,900원
...	...
(카드가능) 기프트코드 3만원 / 구글 기프트카드	28,500원
팔탄농협직영 특등급 골

수집된 정보를 DataFrame로 출력해보기

In [69]:

pd_dic={
    "상품이름":pd_names,
    "상품가격":pd_prices
    
}

pd.DataFrame( pd_dic)

Out[69]:

상품이름상품가격01234...195196197198199

[비빔낙지1kg+명란500g+오징어젓갈1kg 슈프 특가 20010]	[29,420원]
[[라인바싸]라인바싸 탄산수 500ml 2박스 ( 20입+20입 )]	[15,900원]
[너트리 한양식품 꽃보다오징어 오리지날 260g+260g 外]	[33,900원]
[두레 무뼈 순살족발 300g 야식 혼술안주 앞다리살]	[5,700원]
[[우체국쇼핑] 고창 풍천 민물장어1kg+소스2종 (1~3미)(손질후 실중량600g...	[30,900원]
...	...
[(카드가능) 기프트코드 3만원 / 구글 기프트카드]	[28,500원]
[팔탄농협직영 특등급 골드퀸3호 수향미 쌀10kg 21년산]	[29,900원]
[(완도맘) 완도 활 전복 1kg(13-15미) 국내산 25720원]	[35,900원]
[[하기스]하기스 수영장 기저귀 S M L 3매 5매 7매 방수기저귀]	[3,300원]
[[대웅모닝컴]대웅 3D 입체회전 리모컨 스탠드 써큘레이터 선풍기]	[39,800원]

카테고리 클릭

• ul#categoryTabG > :not(li:first-child) > a

not : 선택하고 싶지 않다 first-child : 첫번째 선택자

In [73]:

# driver.find_elements() : 요소객체를 리슽로 반환
category=driver.find_elements(By.CSS_SELECTOR, value='ul#categoryTabG > :not(li:first-child) > a')

# 페이지주소가 변경이 되면 이전 페이지의 내용을 가지고 있는
# driver객체의 요소들을 사용할 수 없기 때문에
# 카테고리 주소를 추출해서 페이지변환하는 방식으로 처리


href_list=[] # 카테고리버튼의 주소를 저장하는 리스트
for cate in category:
#  print(cate.get_attribute('href'))  속성값 가지고 오기
    href=cate.get_attribute('href') # 속성값 접근하는 함수
    href_list.append(href)
    
for url in href_list: #저장된 리스트 내 주소로 페이지 실행
    driver.get(url)
    time.sleep(1.5)

카테고리별 상품 정보 수집

In [76]:

for url in href_list: 
    driver.get(url)
    
    # 파이썬 객체 변환
    html= bs(driver.page_source, 'lxml')
    
    # 상품정보 수집하는 로직
    
    pd_names=html.select('a.itemname',  limit=10)
    pd_prices=html.select('div.s-price > strong >span>span',  limit=10)


    for i in range(len(pd_names)):
        print("상품명 : ", pd_names[i].text)
        print("상품가격 : ", pd_prices[i].text)

    print('='*30)    
    time.sleep(1.5)

상품명 :  12% 쿠폰 저스트원 티셔츠/팬츠/블라우스/데님
상품가격 :  14,900원
상품명 :  엄마옷로즈맘 인견블라우스/5060중년여성의류/마담
상품가격 :  12,900원
상품명 :  12%쿠폰/아이스/냉감/스트레치/크롭/와이드슬림/바지
상품가격 :  10,000원
상품명 :  무료반품 쿠폰12% 블라우스/원피스/스커트/바지
상품가격 :  10,000원
상품명 :  무료반품 12% 제이프랑 여름신상 티셔츠/팬츠/반팔
상품가격 :  12,900원
상품명 :  [난닝구]15%쿠폰 난닝구 티셔츠/원피스/블라우스/팬츠
상품가격 :  17,900원
상품명 :  로드블링 신상 세트/맨투맨/티셔츠/팬츠
상품가격 :  12,900원
상품명 :  (무료반품) 쉬블림로브 12%쿠폰 블라우스 원피스 팬츠
상품가격 :  7,900원
상품명 :  [이지바이]빅사이즈/냉감바지/7부/추리닝/반바지/등산복/쿨티
상품가격 :  6,900원
상품명 :  요즘에/썸머신상+12%/슬랙스/청바지/반바지/빅사이즈
상품가격 :  10,000원
==============================
상품명 :  [가나양말]균일가 남녀 학생 덧신 페이크 발목 양말
상품가격 :  7,900원
상품명 :  [월드컵](무료반품) 월드컵 슬리퍼/아쿠아슈즈/슬립온/운동화
상품가격 :  11,900원
상품명 :  [엘칸토](12%+18%쿠폰) 엘칸토 남여 쿨썸머 슈즈 BEST 모음전
상품가격 :  45,000원
상품명 :  크로커다일 3단자동우산/아동/장우산/양산/우양산
상품가격 :  7,900원
상품명 :  [프롬산타](무료반품) 2+1 균일가 덧신면양말 남성여성발목중목
상품가격 :  7,900원
상품명 :  [투투삭스]균일가 인기덧신 양말/발목/무지/학생/패션
상품가격 :  6,900원
상품명 :  [에스앤알디]12% 장마 무더위 필요한 베스트 여름슈즈 슬리퍼 장화
상품가격 :  13,800원
상품명 :  [에스콰이아]20+12%쿠폰/에스콰이아 토트/숄더백 인기상품 모음전
상품가격 :  35,000원
상품명 :  [금강제화](20%+15%)금강 상반기BEST 샌들/스니커즈/캐주얼
상품가격 :  45,000원
상품명 :  [크록스]크록스 슬리퍼 샌들 라이트라이드 크록밴드 바야밴드
상품가격 :  20,590원
==============================
상품명 :  [에뛰드]에뛰드 (15%+20%)상반기 결산 세일 1+1 득템찬스