【KNIME】KNIME（ナイム）で無料でSelenium（セレニウム）起動！スクレイピング,クローリングをする方法。KNIME＋Python＋Selenium

・この記事の概要

KNIME(ナイム)でPython（パイソン）とSelenium（セレニウム）を使用する方法を解説。

これらのノードを使うことでより本格的なスクレイピングを行うことが可能。

Python（パイソン）のライブラリの１つであるSelenium（セレニウム）を起動し

ブラウザを操作し、XMLを抽出。

KNIME（ナイム）上にデータを出力し、その後KNIME（ナイム）上で処理を行っていく。

KNIME(ナイム)についての詳細はこちら

そのほかの代表的なノードの一覧はこちら。

KNIME（ナイム）でスクレイピング

スクレイピングをする上での注意点

KNIME（ナイム）のSelenium（セレニウム）ノードは有料

Python（パイソン）ノード上でSelenium（セレニウム）を使う

Seleniumをインストールする

Windowsのスタートから

「Anaconda 3(64bit)」→「Anaconda Powershell Prompt」を選択します。

コマンドプロントが立ち上がりますので

conda install -c conda-forge selenium

するとSeleniumのインストールが始まります。

Webdriverのインストール

使用しているChromeのバージョンを確認する。

ChromeのWebdriverはインストールされているChromeとバージョンを合わせないと

上手く動作しません。

下記のページで自動でweb DriverのバージョンとChromeのバージョンをそろえる方法が記載されています。（2022/8/26追記)

こちらの方法を実施することによりバージョンを手動で合わせる必要がなくなります。

せなブログ

https://senablog.com/python-selenium-driver-version-auto-align/

【Python3】SeleniumでChromeとChromedriverのバージョンを自動で揃える方法 | せなブログ

おはこんばんにちは、せなです。今回はSeleniumのChromeバージョンが合わない時の対処法を説明したいと思います。 前置き Seleniumを使用していて動かなくなる原因は...

まずはChromeのバージョンを確認します。

Chromeの右上の点３つのアイコンをクリックし

「ヘルプ」→「Google Chromeについて」の順にクリックします。

私の場合、バージョンは100.0.4896.75でした。

Webdriverのインストール

続いてCondaからダウンロードするWebdriverのバージョンを確認します。

こちらのサイトからCondaでインストールできるwebdriverのバージョンを確認できます。

サイトを確認したところ

100.0.4896.60.0というwebdriverのバージョンが一番現状のChromeのバージョンと

近しいですね。

ChromeのバージョンとWebdriverのバージョンは

数字の左側前半が一致していれば問題ありません。

Webdriverのバージョンは100.0.4896.60.0のものをインストールしましょう

下記のページで自動でweb DriverのバージョンとChromeのバージョンをそろえる方法が記載されています。（2022/8/26追記)

こちらの方法を実施することによりバージョンを手動で合わせる必要がなくなります。

せなブログ

https://senablog.com/python-selenium-driver-version-auto-align/

【Python3】SeleniumでChromeとChromedriverのバージョンを自動で揃える方法 | せなブログ

おはこんばんにちは、せなです。今回はSeleniumのChromeバージョンが合わない時の対処法を説明したいと思います。 前置き Seleniumを使用していて動かなくなる原因は...

Miniconda上でWebdriverをインストールします。

Windowsのスタートから

「Anaconda 3(64bit)」→「Anaconda Powershell Prompt」を選択します。

conda install -c conda-forge python-chromedriver-binary==100.0.4896.60.0

と入力し、Enterを押します。

するとWebdriverのインストールが始まります。

 

SeleniumをKnimeの環境に追加する。

Knime上でのPython環境にSeleniumを追加します。

KnimeのPython環境を確認する方法は「File」→「Preferences」をクリックします。

設定ウィンドウが開きますので

左の項目の中から

「KNIME」→「Python」をクリックします。

すると下記のような画面になります。

環境名称が「py3_knime」であることを確認して

「Apply and Close」をクリックしてウィンドウを閉じます。

デフォルトの設定では

Knime上のPythonで動作するモジュールは限られている状態のため

手動で使用したいライブラリを環境に追加します。

Seleniumを手動で開発環境に追加します。

Windowsのスタートから

「Anaconda 3(64bit)」→「Anaconda Powershell Prompt」を選択します。

コマンドプロントが立ち上がりますので

conda install --name py3_knime selenium

と入力してEnterキーを押します。

いろいろとメッセージが出てきます。

Proceed([y]/n)?と聞かれますので

y

と打ってEnterキーを押します。

しばらくした後、doneとでてpy3_knimeにSeleniumを追加することが完了となります。

Table Creatorには下記のようにGoogle検索のアドレスと

そしてPython Scriptのには下記のようなコードを記入します。

import pandas as pd

import time

from selenium import webdriver

from selenium.webdriver.common.keys import Keys

browser = webdriver.Chrome(executable_path="C:/Users/ユーザー名/miniconda3/Lib/site-packages/chromedriver_binary/chromedriver.exe")

#Webdriverの場所を指定

Table1 = []

URL = pd.DataFrame(data = input_table_1['column1'])

KEYWARD = pd.DataFrame(data = input_table_1['column2'])

browser.get(URL.iloc[0,0])

#URLのサイトを開く

time.sleep(2)

#2秒待つ

element = browser.find_element_by_name("q")

#検索テキストボックスのnameを指定

element.send_keys(KEYWARD.iloc[0,0])

#検索テキストボックスに検索ワードを入力

element.send_keys(Keys.ENTER)

#ENTERキーを押す

#time.sleep(2)

#2秒待つ

elements1 = browser.find_elements_by_xpath('//div/a/h3')

#Xpathを指定しタイトルを取得する。

for Stock in elements1:

Table1.append(Stock.text)

# Copy input to output

output_table_1 =  pd.DataFrame(data = Table1)

browser.close()

#ブラウザを閉じる

あとがき

参考サイト様