【YahooAPI】日本語をバラバラに分解して料理する【形態素解析】

形態素とは

なんで形態素に分解することが解析の役に立つのか？

実践、形態素解析

１，スプレッドシートを準備する

今回はアンケートの自由記述欄を解析します。（ダミーデータお借りしました：https://note.com/tmook/n/ned666ac05ada）
構成は、１行目にはタイトル的なものがあり、２行目からデータがベタッと貼ってあります。

元データがエクセルの場合は、まずGoogleドライブにアップロードした後、上部メニューの「ファイル」＞「Googleスプレッドシートとして保存」をしましょう。スプレッドシートの形式にならないとGASが使えません。

同じスプレッドシート内に「ストップワードリスト」というシートを新しく作って、このページの長ーい単語コピペしてください。行列A1からベタッと貼って良いです。
http://svn.sourceforge.jp/svnroot/slothlib/CSharp/Version1/SlothLib/NLP/Filter/StopWord/word/Japanese.txt
ざっくり説明すると、ストップワードとは形態素に分解したときに、集計の邪魔になりそうな言葉をリストにしたものです。

２，yahooAPI

yahooAPIの「日本語形態素解析」を使うため、yahooアカウントを登録します。(すでに持っている人はそのアカウントでOK)
https://account.edit.yahoo.co.jp/signup

yahooデベロッパーネットワークで、APIキーを獲得する。
「アプリケーションの管理」＞「新しいアプリケーションを開発」
色々な設定内容は以下のとおり。
https://developer.yahoo.co.jp/
======
[Web APIを利用する場所]
ID連携利用有無　ID連携を利用しない
[アプリケーションの利用者情報（契約者情報）]
利用者情報　個人
メールアドレス　設定済み
[個人情報授受にかかる確認事項]
個人情報提供先としてユーザーへ開示することへの同意　同意しない
[住所]
契約者住所の国または地域　日本
[アプリケーションの基本情報]
アプリケーション名　テキスト解析
サイトURL　なし
アプリケーションの説明　なし
利用するスコープ　利用可能なスコープはありません
======

クライアントIDというものがあります。あとで使うのでコピーして保管しておきましょう。

３，GASにスクリプトを書く

function analyzeTextYahooBunsetsu() {
	const apiKey = encodeURIComponent("Client ID"); // yahooAPIのClient IDをコピペ
	const apiUrl = `https://jlp.yahooapis.jp/MAService/V2/parse?appid=${apiKey}`;

	const ss = SpreadsheetApp.getActiveSpreadsheet();
	const sh = ss.getSheetByName("感想"); // データが入っているシート名をコピペ

	const sheets = [
		{ name: "感想_形態素", column: 1 }, // 出力するシート名を任意に設定
	];

	const stopWordSheet = ss.getSheetByName("ストップワードリスト");
	const stopWords = stopWordSheet.getRange(1, 1, stopWordSheet.getLastRow(), 1).getValues().flat();

	sheets.forEach(({ name, column }) => {
		const data = sh.getRange(2, column, sh.getLastRow() - 1, 1).getValues();
		const numRows = data.filter(String).length;

		const results = [];
		const allPhrases = [];

		for (let i = 1; i <= numRows; i++) {
			const text = data[i - 1][0];
			if (text) {
				const payload = JSON.stringify({
					id: "1111",
					jsonrpc: "2.0",
					method: "jlp.maservice.parse",
					params: {
						q: text,
						context: {
							entries: ["5W1H","5W1H法","教科書"], //形態素で分解されたくないテキストを登録する
						},
					},
				});

				const options = {
					method: "post",
					contentType: "application/json",
					payload: payload,
				};

				try {
					const response = UrlFetchApp.fetch(apiUrl, options);
					const json = JSON.parse(response.getContentText());

					if (json && json.result && json.result.tokens) {
						const m_result = json.result.tokens.map((token) => token.join("\t"));
						m_result.pop();

						const break_pos = ["名詞", "動詞", "接頭詞", "副詞", "感動詞", "形容詞", "形容動詞", "連体詞"];
						const wakachi = [""];
						let afterPrepos = false;
						let afterSahenNoun = false;

						for (const v of m_result) {
							if (!v.includes("\t")) continue;
							const surface = v.split("\t")[0];
							const pos = v.split("\t")[3].split(",");
							const pos_detail = v.split("\t")[4];

							let noBreak = !break_pos.includes(pos[0]);
							noBreak = noBreak || pos_detail.includes("接尾");
							noBreak = noBreak || (pos[0] === "動詞" && pos_detail.includes("サ変接続"));
							noBreak = noBreak || pos_detail.includes("非自立");
							noBreak = noBreak || afterPrepos;
							noBreak = noBreak || (afterSahenNoun && pos[0] === "動詞" && pos_detail.includes("サ変・スル"));

							if (!noBreak) {
								wakachi.push("");
							}
							wakachi[wakachi.length - 1] += surface;
							afterPrepos = pos[0] === "接頭詞";
							afterSahenNoun = pos_detail.includes("サ変接続");
						}

						if (wakachi[0] === "") wakachi.shift();
						results.push(wakachi);
						allPhrases.push(...wakachi);
					} else {
						results.push(["解析結果なし"]);
					}
				} catch (e) {
					Logger.log("? エラー発生: " + e.message);
					results.push(["エラー"]);
				}
			} else {
				results.push([""]);
			}
		}
		// 半角数字だけの文節と「や」「【」だけの文節と一文字だけのひらがな・カタカナ・漢字を除外
		const filteredPhrases = allPhrases.filter((phrase) => !/^[0-9]+$/.test(phrase) && phrase !== "「" && phrase !== "【" && !/^[\u3040-\u309F\u30A0-\u30FF]$/.test(phrase) && !/^[\u4E00-\u9FFF]$/.test(phrase));

		const phraseCounts = {};
		for (const phrase of filteredPhrases) {
			phraseCounts[phrase] = (phraseCounts[phrase] || 0) + 1;
		}

		const sortedPhrases = Object.entries(phraseCounts)
			.sort(([, countA], [, countB]) => countB - countA)
			.map(([phrase, count], index) => ({ 順位: index + 1, 文節: phrase, 出現回数: count }))
			.filter(({ 文節 }) => !stopWords.includes(文節));

		const coOccurrences = {};
		for (const wakachi of results) {
			for (let i = 0; i < wakachi.length; i++) {
				const phrase = wakachi[i];
				const prevPhrase = i > 0 ? wakachi[i - 1] : null;
				const nextPhrase = i < wakachi.length - 1 ? wakachi[i + 1] : null;
				coOccurrences[phrase] = coOccurrences[phrase] || { 前: [], 後: [] };
				if (prevPhrase) {
					coOccurrences[phrase].前.push(prevPhrase);
				}
				if (nextPhrase) {
					coOccurrences[phrase].後.push(nextPhrase);
				}
			}
		}

		const output = sortedPhrases.map(({ 順位, 文節, 出現回数 }) => {
			const coOccur = coOccurrences[文節] || { 前: [], 後: [] };

			let prevCoOccur = "";
			let prevCoOccurCount = 0;
			if (coOccur.前.length > 0) {
				const prevCoOccurCounts = coOccur.前.reduce((acc, cur) => {
					acc[cur] = (acc[cur] || 0) + 1;
					return acc;
				}, {});
				const maxPrevCoOccur = Object.entries(prevCoOccurCounts).reduce((a, b) => (a[1] > b[1] ? a : b));
				prevCoOccur = maxPrevCoOccur ? maxPrevCoOccur[0] : "";
				prevCoOccurCount = maxPrevCoOccur ? maxPrevCoOccur[1] : 0;
			}

			let nextCoOccur = "";
			let nextCoOccurCount = 0;
			if (coOccur.後.length > 0) {
				const nextCoOccurCounts = coOccur.後.reduce((acc, cur) => {
					acc[cur] = (acc[cur] || 0) + 1;
					return acc;
				}, {});
				const maxNextCoOccur = Object.entries(nextCoOccurCounts).reduce((a, b) => (a[1] > b[1] ? a : b));
				nextCoOccur = maxNextCoOccur ? maxNextCoOccur[0] : "";
				nextCoOccurCount = maxNextCoOccur ? maxNextCoOccur[1] : 0;
			}

			const prevCoOccurWithCount = prevCoOccur ? `${prevCoOccur} (${prevCoOccurCount}回)` : "";
			const nextCoOccurWithCount = nextCoOccur ? `${nextCoOccur} (${nextCoOccurCount}回)` : "";

			return [順位, 文節, 出現回数, prevCoOccurWithCount, nextCoOccurWithCount];
		});

		let newSheet = ss.getSheetByName(name);
		if (newSheet) {
			ss.deleteSheet(newSheet);
		}
		newSheet = ss.insertSheet(name);

		newSheet.getRange(1, 1, 1, 5).setValues([["順位", "文節", "出現回数", "共起語（前）", "共起語（後）"]]);
		newSheet.getRange(2, 1, output.length, 5).setValues(output);
	});
}

４，実行！

「▶実行」をクリック
形態素に分解された文節が出力されました。
この時エラーで出力出来ないなどあれば、もしかしたらデータ量が多いのかもしれません。
yahooAPIの無料範囲は1分で300回です。それを超えた場合に制限がかかるので、データを分割するなど工夫しましょう。

５，出力結果をみてデータをキレイにする（データクレンジング）

データクレンジングの重要性

データクレンジングのメリット

データクレンジングの方法は色々

データをどうやって使う？

WordCloud

fileId = 'スプレッドシートID' # スプレッドシートIDをコピペ

# ライブラリのインポート
from google.colab import auth
from wordcloud import WordCloud, STOPWORDS # STOPWORDS をインポート
import gspread
from google.oauth2.service_account import Credentials
from google.auth import default
import matplotlib.pyplot as plt

# Google Driveへの接続要求
auth.authenticate_user()
credentials, _ = default()
gc = gspread.authorize(credentials)

# 日本語フォントを取得する
!apt-get -y install fonts-ipafont-gothic

# 対象シート名をリストで管理
sheet_names = ["シート名"]

# 日本語のストップワードを追加、画像の邪魔になりそうな言葉登録
STOPWORDS.update(["の", "に", "と", "が", "した", "による", "での","北海道","札幌","予報","電話","を", \
                  "てる", "いる", "なる", "れる", "する", "ある", "こと", "これ", "さん", "して", \
                  "くれる", "やる", "くださる", "そう", "せる", "した", "思う", \
                  "それ", "ここ", "ちゃん", "くん", "", "て","に","を","は","の", "が", "と", "た", "し", "で", \
                  "ない", "も", "な", "い", "か", "ので", "よう",\
                  "です", "ます", "まし", "この", "あの", "その", "どの","という","から","なり","でしょ","ませ", \
                  "まで","について","なく","なら","ため","でき","します","お","為","なりました","できました","のは",""])

for sheet_name in sheet_names:
    # Google SpreadSheetから情報を収集
    book = gc.open_by_key(fileId)
    shts = book.worksheet(sheet_name)
    data = shts.get_values("B2:B") # B2からB列のデータを取得

    gotWords = [cell[0] for cell in data if cell]

    splitted = ' '.join(gotWords)

    # ワードクラウドの作成
    fpath = '/usr/share/fonts/truetype/fonts-japanese-gothic.ttf'

    wordc = WordCloud(font_path=fpath,
                      background_color='white',
                      width = 1600, height = 1200,
                      repeat = False,
                      collocations = False,
                      random_state = 42,
                      relative_scaling = 0.5, # 頻度調整
                      contour_width = 0,
                      colormap =  'bwr', # 好きなデザイン設定
                      stopwords=STOPWORDS)

    wordc.generate(splitted)

    # matplotlibでワードクラウドを表示
    plt.figure(figsize=(18, 12)) # サイズ調整
    plt.imshow(wordc, interpolation='bilinear')
    plt.axis("off")
    plt.title(sheet_name)
    plt.show()

    # (オプション) 画像を保存する場合
    wordc.to_file(f"wordcloud_{sheet_name}.png")

「難しかった」「欲しかった」という言葉が大きいので、もしかしたら説明が不十分で授業が難しかったと感じている生徒が多かったかもしれませんが、「面白かった」「良かった」という文字も大きいので、難しいなりに楽しめたのかもしれません。

デザインはたくさんあるので「colormap = 'Dark2'」この部分をお好みに設定してください。
デザインをまとめているサイトがあるので、ここで好みを見つけましょう↓↓
https://kristendavis27.medium.com/wordcloud-style-guide-2f348a03a7f8

画像にしてみた時にいらないノイズになる単語がある場合は、「STOPWORDS.update」に単語追加して調整してください。

NetworkX

fileId = 'スプレッドシートのID' # スプレッドシートIDをコピペ
# ライブラリのインポート
from google.colab import auth
import networkx as nx
import gspread
from google.oauth2.service_account import Credentials
from google.auth import default
import matplotlib.pyplot as plt

# japanize_matplotlibのインストール
!pip install japanize_matplotlib
import japanize_matplotlib # 日本語表示に対応

# Google Driveへの接続要求
auth.authenticate_user()
credentials, _ = default()
gc = gspread.authorize(credentials)

# 日本語フォントを取得する
!apt-get -y install fonts-ipafont-gothic

# 対象シート名を明記
sheet_names = ["シート名"]

# 共起ネットワーク図の出力処理
for sheet_name in sheet_names:
    # シートを開く
    sheet = gc.open_by_key(fileId).worksheet(sheet_name)
    # データを取得
    data = sheet.get_all_values()
    # pandas DataFrame に変換
    import pandas as pd
    df = pd.DataFrame(data[1:], columns=data[0])

    # グラフの作成
    G = nx.Graph()

    # ノードの追加
    threshold_node = 5  # 出現頻度の閾値
    for index, row in df.iterrows():
        if int(row["出現回数"]) >= threshold_node:  # 出現頻度が閾値以上のノードのみ追加
            G.add_node(row["文節"], 出現回数=int(row["出現回数"]))

    # エッジの追加
    threshold_edge = 3  # 共起回数の閾値
    for index, row in df.iterrows():
        前共起語 = row["共起語（前）"].split("(")
        後共起語 = row["共起語（後）"].split("(")

        for i in range(len(前共起語) // 2):
            if 前共起語[i*2].strip() != "" and row["文節"] in G and 前共起語[i*2].strip() in G:  # 両方のノードが存在する場合のみエッジを追加
                # weight の値が空文字列の場合は 0 を代入
                weight_str = 前共起語[i*2+1][:-2].strip()
                weight = int(weight_str) if weight_str else 0
                if weight >= threshold_edge:  # 共起回数が閾値以上のエッジのみ追加
                    G.add_edge(row["文節"], 前共起語[i*2].strip(), weight=weight)

        for i in range(len(後共起語) // 2):
            if 後共起語[i*2].strip() != "" and row["文節"] in G and 後共起語[i*2].strip() in G:  # 両方のノードが存在する場合のみエッジを追加
                # weight の値が空文字列の場合は 0 を代入
                weight_str = 後共起語[i*2+1][:-2].strip()
                weight = int(weight_str) if weight_str else 0
                if weight >= threshold_edge:  # 共起回数が閾値以上のエッジのみ追加
                    G.add_edge(row["文節"], 後共起語[i*2].strip(), weight=weight)

    # グラフの描画
    plt.figure(figsize=(10, 10))  # 描画する図のサイズを10x10インチに設定
    pos = nx.spring_layout(G, k=0.5)  # 数字を大きくすると要素同士の距離が離れる
    node_colors = plt.cm.Pastel2(np.linspace(0, 1, len(G.nodes()))) 
    nx.draw(G, pos, with_labels=True, node_size=[v * 100 for v in nx.get_node_attributes(G, '出現回数').values()], font_size=10, font_family='IPAexGothic', node_color=node_colors)  # v * 100の数字の部分は要素の円の大きさ。数字を大きくすると円が大きくなる。font_size=10は文字の大きさ。数字を大きくすれば文字が大きくなる。
    edge_labels = nx.get_edge_attributes(G, 'weight')
    nx.draw_networkx_edge_labels(G, pos, edge_labels=edge_labels)
    plt.title(f"{sheet_name} 共起ネットワーク")
    plt.savefig(f"{sheet_name}_共起ネットワーク.png", bbox_inches='tight')
    plt.show()

実行すると、画像が出力されます。
先生や友達と協力しながら進めることができた様子がうかがえますね。あとは、自分のテーマについて深く考えられたりもしたようです。あとは、難しかったという意見もあるようですね。

感想