식당 크롤링 대소동

# selenium의 webdriver를 사용하기 위한 import from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys import time import csv # 크롬드라이버 실행 driver = webdriver.Chrome() # 크롬 드라이버에 url 주소 넣고 실행 driver.get('https://www.google.com/maps') # 페이지가 완전히 로딩되도록 3초 동안 기다림 time.sleep(3) # 검색어 창을 찾아 search_box 변수에 저장 (By.ID 방식) search_box = driver.find_element(By.ID, 'searchboxinput') search_box.send_keys('마포구 식당') search_box.send_keys(Keys.RETURN) time.sleep(3) # 스크롤을 하면서 더 많은 내용을 로드하고 텍스트를 추출하는 함수 def extract_text_with_scroll(driver, container_xpath, scroll_pause_time=3, max_scrolls=100): extracted_texts = [] # 검색 결과 컨테이너 요소 찾기 results_container = driver.find_element(By.XPATH, container_xpath) last_height = driver.execute_script("return arguments[0].scrollHeight", results_container) for _ in range(max_scrolls): # 컨테이너 내에서 스크롤 driver.execute_script("arguments[0].scrollTo(0, arguments[0].scrollHeight);", results_container) # 새로운 내용이 로드되도록 잠시 기다림 time.sleep(scroll_pause_time) # 새로운 높이를 계산하여 더 이상 스크롤할 내용이 없으면 종료 new_height = driver.execute_script("return arguments[0].scrollHeight", results_container) if new_height == last_height: break last_height = new_height # 결과 페이지에서 원하는 텍스트를 포함하는 div 요소 찾기 elements = driver.find_elements(By.CLASS_NAME, 'qBF1Pd') grates = driver.find_elements(By.CLASS_NAME, 'MW4etd') for n in range(len(elements)): text = (elements[n].text, grates[n].text) if text not in extracted_texts: extracted_texts.append(text) return extracted_texts # 검색 결과 컨테이너 이름 설정 container_xpath = '//*[@id="QA0Szd"]/div/div/div[1]/div[2]/div/div[1]/div/div/div[1]/div[1]' # 텍스트 추출 texts = extract_text_with_scroll(driver, container_xpath) # 브라우저 종료 driver.quit() # 추출한 데이터를 CSV 파일로 저장 csv_file = "extracted_data.csv" with open(csv_file, mode='w', newline='', encoding='utf-8-sig') as file: writer = csv.writer(file) writer.writerow(["Name", "GoogleRating"]) # 헤더 작성 writer.writerows(texts) print(f"Data has been written to {csv_file}")

# selenium의 webdriver를 사용하기 위한 import from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys import time import csv # 크롬드라이버 실행 driver = webdriver.Chrome() # 크롬 드라이버에 url 주소 넣고 실행 driver.get('https://www.google.com/maps') # 페이지가 완전히 로딩되도록 3초 동안 기다림 time.sleep(3) # 검색어 창을 찾아 search_box 변수에 저장 (By.ID 방식) search_box = driver.find_element(By.ID, 'searchboxinput') search_box.send_keys('마포구 식당') search_box.send_keys(Keys.RETURN) time.sleep(3) # 스크롤을 하면서 더 많은 내용을 로드하고 텍스트를 추출하는 함수 def extract_text_with_scroll(driver, container_xpath, block_class, name_class, rating_class, address_xpath, scroll_pause_time=3, max_scrolls=10): extracted_texts = [] # 검색 결과 컨테이너 요소 찾기 results_container = driver.find_element(By.XPATH, container_xpath) last_height = driver.execute_script("return arguments[0].scrollHeight", results_container) for _ in range(max_scrolls): # 컨테이너 내에서 스크롤 driver.execute_script("arguments[0].scrollTo(0, arguments[0].scrollHeight);", results_container) # 새로운 내용이 로드되도록 잠시 기다림 time.sleep(scroll_pause_time) # 새로운 높이를 계산하여 더 이상 스크롤할 내용이 없으면 종료 new_height = driver.execute_script("return arguments[0].scrollHeight", results_container) if new_height == last_height: break last_height = new_height # 결과 페이지에서 원하는 블록 요소 찾기 blocks = driver.find_elements(By.CLASS_NAME, block_class) for block in blocks: try: name = block.find_element(By.CLASS_NAME, name_class).text except: name = 'NULL' try: rating = block.find_element(By.CLASS_NAME, rating_class).text except: rating = 'NULL' try: address = block.find_element(By.XPATH, address_xpath).text except: address = 'NULL' extracted_texts.append((name, rating, address)) return extracted_texts # 검색 결과 컨테이너 이름 설정 container_xpath = '//*[@id="QA0Szd"]/div/div/div[1]/div[2]/div/div[1]/div/div/div[1]/div[1]' block_class = 'UaQhfb' name_class = 'qBF1Pd' rating_class = 'MW4etd' # address_class = 'W4Efsd' address_xpath = '//*[@id="QA0Szd"]/div/div/div[1]/div[2]/div/div[1]/div/div/div[1]/div[1]/div[7]/div/div[2]/div[4]/div[1]/div/div/div[2]/div[4]/div[1]/span[3]/span[2]' # 텍스트 추출 texts = extract_text_with_scroll(driver, container_xpath, block_class, name_class, rating_class, address_xpath) # 브라우저 종료 driver.quit() # 추출한 데이터를 CSV 파일로 저장 csv_file = "extracted_data.csv" with open(csv_file, mode='w', newline='', encoding='utf-8-sig') as file: writer = csv.writer(file) writer.writerow(["Name", "Rating", "address"]) # 헤더 작성 writer.writerows(texts) print(f"Data has been written to {csv_file}")

# selenium의 webdriver를 사용하기 위한 import from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys import pandas as pd # 페이지 로딩을 기다리는데 사용할 time 모듈 import import time # 크롬드라이버 실행 driver = webdriver.Chrome() # 크롬 드라이버에 url 주소 넣고 실행 driver.get('https://map.kakao.com/') # 페이지가 완전히 로딩되도록 4초 동안 기다림 time.sleep(4) # 검색어 창을 찾아 search_box 변수에 저장 (By.ID 방식) search_box = driver.find_element(By.ID, 'search.keyword.query') def get_kakao_rating(restaurant_name): if '마포' in restaurant_name or '홍대' in restaurant_name: pass else: restaurant_name = restaurant_name + ' 마포구' search_box.send_keys(restaurant_name) search_box.send_keys(Keys.RETURN) time.sleep(2) try: # 카카오 지도 페이지 구조에 맞는 CLASS 수정 rate = driver.find_element(By.XPATH, '//em[@data-id="scoreNum"]') rating = rate.text except: rating = 'NULL' try: address = driver.find_element(By.CLASS_NAME,'addr') addresses = address.text except: addresses = 'NULL' time.sleep(1) # 검색어 창 비우기 search_box.clear() return rating, addresses # Load the CSV file file_path = 'extracted_data.csv' data = pd.read_csv(file_path) # Kakao Ratings 칼럼 추가 data['KakoRating'] = None data['Address'] = None # Iterate over each restaurant and get the Naver rating for index, row in data.iterrows(): restaurant_name = row['Name'] kakao_rating, addresses = get_kakao_rating(restaurant_name) data.at[index, 'KakoRating'] = kakao_rating data.at[index, 'Address'] = addresses time.sleep(1) # 데이터 저장 data.to_csv('kakao_test.csv', encoding='utf-8-sig', index=False) # 브라우저 닫기 driver.quit()

# selenium의 webdriver를 사용하기 위한 import from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys import pandas as pd # 페이지 로딩을 기다리는데 사용할 time 모듈 import import time # 크롬드라이버 실행 driver = webdriver.Chrome() # 크롬 드라이버에 url 주소 넣고 실행 driver.get('http://www.moamodu.com/develop/daum_map.php') # 페이지가 완전히 로딩되도록 4초 동안 기다림 time.sleep(4) def get_lag_lng(address): # 검색어 창을 찾아 search_box 변수에 저장 (By.ID 방식) search_box = driver.find_element(By.ID, 'addr') # 검색하기 버튼을 찾아 enter_box 변수에 저장 enter_box = driver.find_element(By.CLASS_NAME, 'btn.h22') # 다른 값이 들어오면 필터링 if type(address) != str: return '좌표가 검색 되지 않았습니다1', '좌표가 검색되지 않았습니다1' search = address.split('\n',1)[0] search_box.send_keys(search) enter_box.click() time.sleep(2) try: # 위도 경도 찾아서 변수에 넣기 laglng = driver.find_element(By.ID, 'coord') # 위도, 공백, 경도 분리하여 변수에 지정 lag, _, lng = laglng.text.split('\n') except: driver.refresh() return '좌표가 검색 되지 않았습니다2', '좌표가 검색되지 않았습니다2' try: lagtitude = lag.split(':')[1] # 위도 : __._______ except: lagtitude = 'NULL' try: longitude = lng.split(':')[1] # 경도 : __._______ except: longitude = 'NULL' time.sleep(1) # 검색어 창 비우기(새로고침) driver.refresh() return lagtitude, longitude # Load the CSV file file_path = 'kakao_test.csv' data = pd.read_csv(file_path) # 칼럼 추가 data['Latitude'] = None data['Longitude'] = None # 식당 주소로 위도 경도 획득 후 입력 for index, row in data.iterrows(): restaurant_address = row['Address'] lagtitude, longitude = get_lag_lng(restaurant_address) data.at[index, 'Latitude'] = lagtitude data.at[index, 'Longitude'] = longitude time.sleep(1) # 데이터 저장 data.to_csv('kakao_latlng_add.csv', encoding='utf-8-sig', index=False) # 브라우저 닫기 driver.quit()

# selenium의 webdriver를 사용하기 위한 import from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys import pandas as pd # 페이지 로딩을 기다리는데 사용할 time 모듈 import import time # 크롬드라이버 실행 driver = webdriver.Chrome() # 크롬 드라이버에 url 주소 넣고 실행 driver.get('https://map.naver.com/p/') # 페이지가 완전히 로딩되도록 4초 동안 기다림 time.sleep(4) def get_naver_rating(restaurant_name): search_box = driver.find_element(By.CLASS_NAME, 'input_search') search_box.send_keys(restaurant_name) search_box.send_keys(Keys.RETURN) time.sleep(5) clear_box = driver.find_element(By.CLASS_NAME, 'btn_clear') restaurant_box = driver.find_element(By.CLASS_NAME, 'ApCpt') restaurant_box.click() try: # 네이버 지도 페이지 구조에 맞는 Xpath 수정 rate = driver.find_element(By.XPATH, '//*[@id="app-root"]/div/div/div/div[2]/div[1]/div[2]/span[1]/span') rating = rate.text except: rating = 'NULL' time.sleep(1) # 검색어 창 비우기 clear_box.click() return rating # Load the CSV file # file_path = 'extracted_data.csv' # data = pd.read_csv(file_path) # Naver Ratings 칼럼 추가 # data['NaverRating'] = None # Iterate over each restaurant and get the Naver rating # for index, row in data.iterrows(): # restaurant_name = row['Name'] # naver_rating = get_naver_rating(restaurant_name) # data.at[index, 'NaverRating'] = naver_rating # # Adding a small delay to avoid getting blocked by the server # time.sleep(1) # 데이터 저장 # data.to_csv('extracted_data_naver.csv', index=False, encoding='utf-8-sig') test_rate = get_naver_rating('제순식당 마포구') print(test_rate) # 브라우저 닫기 driver.quit()

from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys import pandas as pd # 페이지 로딩을 기다리는데 사용할 time 모듈 import import time # 크롬드라이버 실행 driver = webdriver.Chrome() # 크롬 드라이버에 url 주소 넣고 실행 driver.get('https://www.google.com/maps') # 페이지가 완전히 로딩되도록 3초 동안 기다림 time.sleep(3) # 검색어 창을 찾아 search_box 변수에 저장 (By.ID 방식) search_box = driver.find_element(By.ID, 'searchboxinput') def get_kakao_image(restaurant_name): if '마포' in restaurant_name or '홍대' in restaurant_name: search_query = restaurant_name else: search_query = restaurant_name + ' 마포구' search_box.send_keys(search_query) search_box.send_keys(Keys.RETURN) time.sleep(4) try: image_url = driver.find_element(By.XPATH, '//*[@id="QA0Szd"]/div/div/div[1]/div[2]/div/div[1]/div/div/div[1]/div[1]/button/img') image = image_url.get_attribute('src') except: image = 'NULL' # 검색어 창 비우기 search_box.clear() return image # Load the CSV file file_path = 'final.csv' data = pd.read_csv(file_path) # Image 칼럼 추가 data['Image'] = None # Iterate over each restaurant and get the Google image for index, row in data.iterrows(): restaurant_name = row['Name'] image = get_kakao_image(restaurant_name) data.at[index, 'Image'] = image time.sleep(1) # 데이터 저장 data.to_csv('Google_image.csv', encoding='utf-8-sig', index=False) # 브라우저 닫기 driver.quit()