んにちは。
AI初心者実験室です。
今回は、私たちが取り組んでいる「AI社員プロジェクト」の中でも、特に面白い結果が出た実験をご紹介します。
テーマはとてもシンプルです。
「AIへの指示は、多ければ多いほど良いのか？」
なんとなく「細かく指示した方が賢く動いてくれそう」と思いますよね。
私もそう思っていました。
そこで今回は、同じ課題を4つの異なる条件で実行し、AIの文章がどのように変わるのかを比較してみました。
今回の実験内容
今回の課題はとてもシンプルです。
「電気ケトルの記事構成を作る」
この課題を4つの条件で実行しました。
ただし、条件の内容は伏せた状態で比較します。
出力だけを見て、
「どれが一番思想が強く出ているか」
を判断してもらいました。
つまり、先入観をできるだけ減らしたブラインドテストです。
実験前の予想
実は私は、
「指示が多いほどAIの個性も強く出るだろう」
と予想していました。
イメージとしては、
指示が少ない
↓
少し変わる
↓
さらに変わる
↓
一番たくさん指示したものが最も特徴的になるそんな結果を想像していました。
実際の結果は予想外でした
ところが、結果は全く違いました。
一番大きく変化したのは、
最もシンプルな指示だったのです。
逆に、一番たくさん指示を追加した条件は、
思っていたほど大きな変化が見られませんでした。
この結果には、自分たちも驚きました。
特に変わったのは「読者への姿勢」
文章を比較すると、
シンプルな指示を追加しただけで、
- 読者に無理に買わせようとしない
- 「向いていない人」も紹介する
- 読者自身が判断できる内容になる
という変化が見られました。
一方で、
細かい指示をさらに追加しても、
今回の短い課題では、その違いはあまり表れませんでした。
予想が外れたことも成果
今回、一番良かったのは
**「予想が外れたこと」**です。
もし予想どおりだったら、
「やっぱりそうだよね」
で終わっていたかもしれません。
でも実際は違いました。
そのため、私たちは実験結果に合わせて、
研究ノートの内容まで修正することになりました。
「最初の考え」にこだわらず、
結果に合わせて考えを変える。
これも実験の大切な部分だと思っています。
まだ分からないこともあります
もちろん、今回だけで全てが分かったわけではありません。
今回の課題は数分で終わる短い作業でした。
そのため、
長時間の作業で役立つような指示は、
出番そのものが無かった可能性があります。
つまり、
「効果が無い」
ではなく、
「今回は出番が無かった」
という可能性も十分考えられます。
ここは今後の実験で確かめていく予定です。
AIは「指示が多いほど良い」わけではないのかもしれない
今回の実験で感じたのは、
AIは単純に指示を増やせば良くなるわけではない、
ということです。
短い一文でも大きく変わることもあれば、
たくさん追加しても、ほとんど変化しないこともあります。
だからこそ、
「どんな指示を増やすか」
の方が重要なのかもしれません。
まとめ
今回の実験では、
「AIへの指示は多いほど良い」という予想は外れました。
そして、一番シンプルな指示が最も大きな変化を生み出すという、意外な結果になりました。
もちろん、今回の結果だけで結論を出すつもりはありません。
AI初心者実験室では、
「思ったとおりになったこと」よりも、
**「思ったとおりにならなかったこと」**を大切にしています。
予想が外れたら、その理由を考え、また次の実験をする。
そんな試行錯誤も含めて、このブログで記録していきたいと思います。
