はてなキーワードを使って「Keynote text analysis」もどきをやってみる
ジョブスさんとゲイツさんのスピーチを解析したよっていう記事をみて、日本語でもやってみたいと思ったのがきっかけ。
- Gates vs. Jobs: Keynote text analysis, 2008 edition - The Microsoft Blog
- B・ゲイツ氏とS・ジョブズ氏の基調講演を解析--スピーチ上手はどちら？ - CNET Japan
この記事では、センテンスの中の平均単語数、理解するのに必要な教育年数を示す「Gunning-Fog」指標、3音節以上の「難解語」の割合、さらに出現頻度が高かった単語をタグクラウドで示して二人の大将のスピーチの特徴を比較できる。ジョブスさんはわりかしわかりやすいくて、自社製品を連呼しているねー、という感じ。
これを日本語に適応する場合には、単語の区切りに関して自然言語解析をしなくてはならない。けっこうめんどくさそう。そこで思いついたのがはてなキーワードを利用して解析する方法。ブログの文章の中から、はてな村民の知恵の結晶であるはてなキーワードを拾い上げてくれるこの技術を利用して、日本語の文章も話しての特徴が解析できないか考えた。幸いな事に文章を投げるとはてなキーワードにリンクタグをつけて返してくれるAPIを公開していたのでそれを利用してみた。
はてなダイアリーキーワード自動リンクAPI - はてなダイアリー日記
サンプルプログラムをちょいといじれば簡単にできる、はずだったのだが、今まで使って環境では日本語環境が整ってなかったのが誤算だった。試行錯誤するうちに、最終的にVMwareにUbuntuをいれるという大掛かりな作業までやってしまうはめに。
元の記事の項目の「難解語」とか、「理解に必要な教育年数」はちょっと手に負えそうになかったので*1、今回は、「一文章あたりの平均はてなキーワード数」と「はてなキーワードによるタグクラウド」に絞った。タグクラウドはかなり自己流。やり方は、頻度40位までの単語を降順に並べて、(累計出現回数/40位全部の出現回数)
×４で整数部から四段階に分けてみた。勝手に作ってくれるものとかあるのかな？
日本語スピーチのわかりやすい(?)サンプルとしてここ最近の内閣総理大臣の所信表明演説をいくつかピックアップして解析をしてみた。政治の演説と、技術系が多いといわれるはてな村大辞典との相性は悪いかと思っていたけど、かなり拾われていたと思う。これで各総理の個性や時代が見えてくるでしょうか？
首相官邸ホームページ
選挙を恐れる自民党員票を獲得して初めて総理大臣に就任した後の。
Avg. Hatena-Keywords/Sentence: 3.61
ゴミ システム ゼロ ロシア 安全保障 意見 意識 沖縄 科学 過去 介護 会議 改善 海里 確立 学校 活性化 環境 環境問題 関係 韓国 企業 規制 技術 議員 競争 競争力 金融 銀行 経済 建設 研究 雇用 交渉 構造改革 国家 国際社会 国民 再生 財政 仕事 司法 子育て 市場 自然 社会 社会保障 借金 重要 循環型社会 処方箋 女性 小泉内閣 信頼関係 世界 政治 政府 精神 組織 総合 地球 中国 都市 努力 内閣 二十一世紀 日米関係 日本 廃棄物 不祥事 不良債権 平成 平和 米百俵 未来 目標 予算
首相官邸ホームページ
郵政解散→衆院選圧倒的勝利のウハウハなときの。*2
Avg. Hatena-Keywords/Sentence: 3.54
アスベスト イラク サービス テロ テロ対策特別措置法 ネットワーク ハリケーン ミサイル 安全保障理事会 意見 医療 価格 過去 過疎地 霞が関 介護 海里 外交 外務省 活性化 活用 環境 関係 韓国 既得権 規制 議員 近隣諸国 金融 景気回復 経済 警察官 建設 建築 現在 交渉 公共事業 公務員 公明党 構造改革 行財政改革 貢献 国家 国家公務員 国会 国際社会 国民 国民の声 国連 再生 災害 財政 財政再建 三位一体 資産 自衛官 自衛隊 自由民主党 社会 社会保障 借金 衆議院 商品 小泉内閣 少子高齢化 情熱 新しい時代 人件費 人口 世界 政治 政治の責任 政治家 政府 政府系金融機関 正論 石油 責任 想像 総選挙 存在 耐震 台風 大量破壊兵器 知恵 地球 地方交付税 中国 貯金 途上国 努力 東南アジア 内閣総理大臣 日米同盟 日本 年金 被害者 被災者 被災地 不良債権 復興 平和 米国 保険 保全 補助金 放出 法人税 北朝鮮 未来 民意 民営化 民間人 民主 目標 勇気 郵政事業 郵政民営化 郵便局 与野党 来年 連立政権 拉致
首相官邸ホームページ
小泉さんを引き継いだ後の。
Avg. Hatena-Keywords/Sentence: 4.08
アジア イノベーション テロ ミサイル リーダーシップ 医療 家族 海外 海里 外交 確立 学力 活用 官邸 教育 経済 経済成長 憲法 公務員 貢献 国家 国際社会 国民 国連 再チャレンジ 財政 子ども 子育て 事故 自治体 社会 社会保障 重要 情報 人口 世界 政治 政府 精神 戦略 総合 伝統 努力 内閣 日米同盟 日本 日本人 美しい国 平成 北朝鮮 未来 歴史 拉致問題
首相官邸ホームページ
参議院大敗後のしょぼーんなときの。
Avg. Hatena-Keywords/Sentence: 2.98
スタート ミサイル 安全保障 意見 海外 外国 学校 学力 活性化 環境 技術 教育基本法 教育再生 経済 経済成長 建設 雇用 公務員 国会 国際社会 国民 再生 災害 財政 子ども 時間 重要 少子高齢化 情報 食品 人口 世界 政治 責任 中小企業 内閣 日本 年寄り 年金 補助金 北朝鮮 未来
