ChatGPTで図を書く

引き続きAIで図を書いてみる試み。

「なんとなくこんな感じのイメージ」という図は描けても、「この論文に書かれている事実に基づいたイメージ」を書くのはまだ難しいのかなという印象だけど、どうでしょうか。

そこで細かく指示を出したらどうなるかしら？をやってみました。

書いてもらうのは横長の図で縦に3等分し、左から赤、黒、青に塗りつぶした図。

さらに黒で塗りつぶしたところに白の長方形を5つ縦に等間隔で並べて長方形と長方形の間にオレンジの下向きの矢印を配置する、というもの。

まずはImage Generatorでやってみる。

プロンプトは以下の通り。

サイズは横長の800ピクセル x 600 ピクセルで用意してください。画面を縦に3つに均等に分け、背景色を右側は赤、中央は黒、左側は青色で塗ってください。中央の区画には長方形を5つ中央揃えで配置し、長方形の間に下向きの矢印を配置してください。長方形は全て白で塗り、矢印ははオレンジで塗ってください。

出力された画像はこんな感じ。

うーん。そうじゃないよなぁ。。。

一気に伝えるのが良くないのかも？ということで1つずつ情報を追加していく方針にしてみる。ひとまず中央に長方形を配置するのをやめて、3分割のトリコロールを出すところまでやってみる。

もう一度最初から指示を出します。描画の指示を出すまで画像を出力しないでください。

サイズ：800ピクセル x 600ピクセルの横長

描画領域を縦に同じ面積になるように3分割

背景を、左から赤、黒、青で塗りつぶす

指示以外のものは何も付け加えずに描画してください

宇宙的な？センスが過剰すぎやしませんかね。

もう一度最初から指示を出します。描画の指示を出すまで画像を出力しないでください。

サイズ：800ピクセル x 600ピクセルの横長

横266ピクセル、縦600ピクセルの長方形を3つ横に並べる

左側の長方形は枠なしで赤で塗りつぶし。中央の長方形は枠なしで黒で塗りつぶし。右側の長方形は枠なしで青で塗りつぶし。

指示以外のものは何も付け足さないでください。では描画してください。

山の絵！センス出したがっちゃう感じがいじらしい。どこからこの指示きたんだろう？

ちょっとImage Generatorでは無理がある？

続きまして、Diagrams: Show meでやってみます。

プロンプトは

こちら画像サイズは800ピクセル x 600ピクセルの横長で用意してください。画像を縦に3等分し、左から赤、黒、青に塗りつぶしてください。

おー。すごい。こういうのはDiagramsのほうが得意なのかしら。

長方形と矢印も配置するプロンプトを追加していきます。

この図にさらに要素を追加してください。黒の領域に白の長方形を5つ等間隔に並べてください。ただし、一番上の長方形の上端は、画像上端から5ピクセル下の位置に配置し、一番下の長方形の下端は画像下端から5ピクセル上の位置に配置してください。

黒の領域に配置した白の長方形のサイズは横150ピクセル、縦50ピクセルで描画してください。

中央に配置した白の長方形と長方形の間に下向きの矢印を加えてください。矢印はオレンジで塗りつぶしてください。ただし矢印の大きさは白の長方形と重ならないように調整してください。

一番したの長方形の配置がちょっと違うけど、ほぼ指示通り。ここから両端の領域にアーティステックな要素を追加したり、中央の長方形に文字を入れたりできるといいなと思いつつ、今日はこの辺でおしまい。

この程度なら自分で描いた方が速いので、このやり方はAIツールの使い方としては間違っているということがわかりました。描いて欲しいものが抽象的ではなくて具体的に、ディテールまで決まっている時にどうやって描いてもらうのかっていうのはまだよく掴めない・・・。

次回に続きます。

グラフィカルアブストラクトをAIに描いてもらう (4)

いろいろと慌ただしく中途半端になってしまったこの取り組みを再開。

ChatGPTもバージョンアップされている中で、他の描画ツールも試してみつつ比較してみます。以下の手順で出力してもらいます。

1. 言語は日本語でお願い
2. 論文のグラフィカルアブストラクトを描きたい
3. こちらの内容をペースト

自発的発酵による乳酸発酵を利用して作られる伝統的な漬物に関する研究です。

伝統的な漬物は人為的な温度調節などをしないため、作られる地域の気候によって働く微生物が異なると考えられます。そこで、温暖な地域と寒冷な地域で働く微生物にどの様な違いがあるか、そしてその違いによってどの様な成分の違いが生まれるかについて検討しました。 重要な結果は、温暖な地域で作られたものは発酵が進み、乳酸菌や好塩細菌などの少数の属の微生物が占有するのに対し、寒冷な地域で作られたものは発酵がほとんど進まず、微生物も原料の細菌叢と大きく変化しない、ということがわかったことです。最終製品に含まれるアミノ酸や有機酸にも違いがあり、温暖な地域で作られたものは乳酸やグルタミン酸が大幅に増えていましたが、寒冷な地域で作られたものは原料のアミノ酸や有機酸の組成からほとんど変化していませんでした。

発酵原料は大根です。ぬかを使った糠漬けたくあんが最終製品です。これらを踏まえてグラフィカルアブストラクトを作成してもらえますか。

寒冷な地域は日本の秋田県、温暖な地域は日本の愛知県です。

寒冷な地域と温暖な地域の結果の違いが対比されるような図にしてほしいです。中央に漬物の製造手順、左側に関連な地域の結果、右側に温暖な地域の結果を表示してください。中央に表示する漬物の製造手順は次のとおりです。1. 原料を洗う 2. 原料を乾かす（温暖な地域は天日干し、寒冷な地域は燻製）3. ぬかにつける

＜Diagrams: Show Me＞

フローチャートのアイコンなのでグラフィカルアブストラクトとはちょっと違うかなと思いつつ、やってみた結果がこちら。

ほー。こういう感じになるのか。グラフィカルアブストラクトというよりも、考察の時にこういう図があるとロジックを積み重ねるのにいいのかもしれない。

＜image generator＞

文字が怖すぎる。そしてChatGPTでグラフィカルアブストラクトをお願いして出てくる図のテイストと同じなので、ChatGPTに頼むとこれが後ろで動いているのかな、という感じ。

<AI Drawing Image Generator>

プロンプトに研究内容を入力したら、

中央には大根の漬物製造プロセスを示します。このプロセスは3つのステップで構成され、1) 原料を洗う、2) 原料を乾かす（左側に燻製で乾燥させたイメージを、右側に天日干しのイメージを配置）、3) ぬかに漬ける、のイラストを配置します。

左側には秋田県を象徴する寒冷な地域の特徴を示し、ここでは発酵がほとんど進まない様子、多様な微生物が共存していること、そして原料のアミノ酸や有機酸の組成が大きく変化しないことを表現します。寒冷な地域の象徴として雪や冷たい風を含めることができます。

右側には愛知県を象徴する温暖な地域の特徴を示し、ここでは発酵が進んで乳酸菌や好塩細菌などの微生物が占有する様子、乳酸やグルタミン酸が大幅に増えたことを表現します。温暖な地域の象徴として太陽や暖かい風を含めることができます。

全体のデザインは、寒冷地域と温暖地域の違いが一目でわかるような対比が効いたものにし、各地域の微生物の違いや成分の違いが視覚的に理解しやすいようにします。

こんな素敵な解釈内容が返ってきたのに、これに基づいて作図するとこうなっちゃうのかね、という感じ。有言不実行感が強くてなんだか裏切られた感じさえする。

<Technical Drawing>

先に示した内容をプロンプトに入力すると、

中央（製造手順）： 中央部分には、大根の漬物の製造プロセスを順番に示します。このプロセスは三段階に分かれています。 原料を洗う：大根が水で洗われている様子を描きます。 原料を乾かす：左側（寒冷地域）では燻製のイメージ、右側（温暖地域）では天日干しのイメージをそれぞれ描き、乾燥方法の違いを示します。 ぬかにつける：大根をぬか床に漬ける工程を描きます。これは中央で一貫して表示されます。

左側（寒冷地域の結果）： 秋田県を象徴する冷たい色調（例えば、青や紫）を用いて、微生物の多様性が原料の細菌叢と大きく変わらないことを示します。発酵がほとんど進まない様子や、アミノ酸や有機酸の組成が原料から大きく変化しないことを視覚化します。

右側（温暖地域の結果）： 愛知県を象徴する温かい色調（例えば、オレンジや赤）を用いて、発酵が進み、乳酸菌や好塩細菌などの少数の属が占有する様子を示します。乳酸やグルタミン酸が大幅に増加したことを象徴するグラフや図を用いて、成分の違いを視覚化します。

これまた、こんな素敵な提案をしていただきました。これを踏まえて図を出力してもらおうとしたけど、エラーで出力できず。。。惜しい。

逆にこれをChatGPTに入力してみましたが、結局特に大きく変化しない。どういう指示にすればいいカンジのグラフィカルアブストラクトになるのかしら。。。

うーん。次回に続く。

グラフィカルアブストラクトを書いてもらう (3)

ChatGPTにグラフィカルアブストラクトを書いてもらう、ということをやっています。

今週は先日題材にした論文の内容を一旦こちらで解釈し、グラフィカルアブストラクトに含めてらもらうChatGPTに伝えて生成してもらう、ということをやってみます。

＜以下プロンプト入力内容＞

自発的発酵による乳酸発酵を利用して作られる伝統的な漬物に関する研究です。

伝統的な漬物は人為的な温度調節などをしないため、作られる地域の気候によって働く微生物が異なると考えられます。そこで、温暖な地域と寒冷な地域で働く微生物にどの様な違いがあるか、そしてその違いによってどの様な成分の違いが生まれるかについて検討しました。 重要な結果は、温暖な地域で作られたものは発酵が進み、乳酸菌や好塩細菌などの少数の属の微生物が占有するのに対し、寒冷な地域で作られたものは発酵がほとんど進まず、微生物も原料の細菌叢と大きく変化しない、ということがわかったことです。最終製品に含まれるアミノ酸や有機酸にも違いがあり、温暖な地域で作られたものは乳酸やグルタミン酸が大幅に増えていましたが、寒冷な地域で作られたものは原料のアミノ酸や有機酸の組成からほとんど変化していませんでした。

発酵原料は大根です。ぬかを使った糠漬けたくあんが最終製品です。これらを踏まえてグラフィカルアブストラクトを作成してもらえますか。

寒冷な地域は日本の秋田県、温暖な地域は日本の愛知県です。

寒冷な地域と温暖な地域の結果の違いが対比されるような図にしてほしいです。中央に漬物の製造手順、左側に関連な地域の結果、右側に温暖な地域の結果を表示してください。中央に表示する漬物の製造手順は次のとおりです。1. 原料を洗う 2. 原料を乾かす（温暖な地域は天日干し、寒冷な地域は燻製）3. ぬかにつける

このあと何枚か画像を生成してもらって微調整した後がこちら

どうですかねー。(1)で生成した図よりはまだいいかな。近づいている気はするけど、これが学術論文のグラフィカルアブストラクトに出てきたらぎょっとするかもしれない。

次に、論文のアブストラクトだけ与えて、補足情報を追加的に指示してみます。

論文のテキストアブストラクトはこちらです。The microbial community during fermented vegetable production has a large impact on the quality of the final products. Lactic acid bacteria have been well‐studied in such processes, but knowledge about the roles of non‐lactic acid bacteria is limited. This study aimed to provide useful knowledge about the relationships between the microbiota, including non‐lactic acid bacteria, and metabolites in commercial pickle production by investigating Japanese pickles fermented in rice‐bran. The samples were provided by six manufacturers, divided into two groups depending on the production conditions. The microbiological content of these samples was investigated by high‐throughput sequencing, and metabolites were assessed by liquid chromatography‐mass spectrometry and enzymatic assay. The data suggest that Halomonas, halophilic Gram‐negative bacteria, can increase glutamic acid content during the pickling process under selective conditions for bacterial growth. In contrast, in less selective conditions, the microbiota consumed glutamic acid. Our results indicate that the glutamic acid content in fermented pickle is influenced by the microbiota, rather than by externally added glutamic acid. Our data suggest that both lactic acid bacteria and non‐lactic acid bacteria are positive key factors in the mechanism of commercial vegetable fermentation and affect the quality of pickles.

アブストラクト中に出てくる2つのグループとは温暖な地域で作られた漬物と寒暖な地域で作られた漬物のことを指しています。これらの漬物を比較することでアブストラクトで述べられている結果が得られました。グラフィカルアブストラクトではこのことがわかるような図にしてください。

漬物はぬか漬けたくあんです。温暖な気候と寒冷な気候を示す図としてはわかりにくいので、もう少しわかりやすい表現にしてください。ちなみに温暖な気候とは愛知県のこと、寒冷な気候とは秋田県のことです。

そして生成された図はこちら。

漬物の図がいまだに微生物みたいで、どうしてもたくあんにならないのは、言い方が悪いんだろうねぇ。。。どうしたらいいんだろうか。

次週に続く。。。

グラフィカルアブストラクトを作る(2)

今週も引き続きグラフィカルアブストラクトをChatGPTに作ってもらおう、という試み。今週はChatGPT4で使えるAcademic Assistant Proにテーマを与えて書いてもらった原稿を読ませて作図する、ということをしてみます。

今回選んだテーマは「グルタミン酸発酵の歴史」。このテーマに関するレビュー論文の原稿をまずはAcademic Assistant Proに書いてもらいます。プロンプトに入力したのはこちら。

Please prepare the manuscript for a review paper about the history of development in glutamic acid fermentation by Corynebacterium glutamicum. Please pick up up to 20 papers that are important for improvement of productivity.

まあ、ざっくりですね。文章量も何も指定していないけど、どうでしょうかね。

数秒後に章立てをしてくれまして、イントロ前半部分だけ書いてくれました。

Introduction

Glutamic acid, an essential amino acid, plays a crucial role in protein synthesis and flavor enhancement in the food industry. The bacterium Corynebacterium glutamicum has been pivotal in glutamic acid fermentation, representing a significant advancement in biotechnology.

Early Discoveries and Developments

The discovery and isolation of Corynebacterium glutamicum in the 1950s marked the beginning of glutamic acid fermentation. Early techniques focused on optimizing growth conditions and nutrient supply to increase yield.

Genetic and Metabolic Engineering for Strain Improvement

Advancements in genetic engineering have enabled targeted modifications in Corynebacterium glutamicum to enhance glutamic acid production. Metabolic engineering strategies, including the overexpression of key enzymes and the knockout of competing pathways, have been fundamental.

遺伝子組換え時代前後で生産性の向上に関するアプローチが変わったということを押さえているところが素晴らしいですね。そしてこれを踏まえて図にするとこちら。

なんでよ。なかなかに気持ち悪い絵ですな。発酵生産の効率化に関する研究のアプローチが遺伝子組換え技術の登場前後で変わったことに注目してもらって作図をお願いし直したのがこちら。

あああ。なんだかナウシカの世界。文章から内容を読み取って図に落とし込むっていうのは結構難しいのか、はたまたプロンプトの工夫でなんとかなるものなのかしら。

ちょっと継続的に取り組んでいきます。

ChatGPTでグラフィカルアブストラクトを作成する

今年は論文に関する学術活動にChatGPT-4をどう使えるか、どう使うのがいいのかを試してみます。

ChatGPT-4では専門性を高めたAIが提供されているので、それをいくつか試していきたいなと思っています。そこでまず手始めに、最近論文投稿時によく求められるようになってきているGraphical Abstractを本文から自動で作る、というのを試してみます。

題材にしたのはこちらの論文

www.nature.com

1. PDFをダウンロード

2. ChatGPTのData AnalystにPDFをアップロードし、この論文の内容を図にするように指示。

3. 図のテイストを聞いてくるので回答

そして出てきたのはこちらの図。

図1. 出力した図

うーん。。。何も伝わらない。

次に、PDFをData Analystで解析した後にDALL-Eでグラフィカルアブストラクトを作るように指示してみると、これが出てきた。

図2. DALL-Eで出力した図

論文の文章だけでここまで描いてもらえるのはすごいことのような気がするけど、内容は全く入ってこない。とにかく文字が怪しすぎるので、文字の出力をしないようにお願いしても、どうしても文字が出てきてしまう。そして何より論文はたくあんの論文なのにきゅうりになってるところがかなり引っかかる。

漬物は大根なので、それを踏まえて作り直してもらうとこちら。

図3. きゅうりを大根に

うーん。。。人参？

製造プロセスは無視して、微生物群集と成分の変化に着目してグラフィカルアブストラクトを作ってもらうとこちら

図4. 微生物群集と成分に着目して・・・る？

謎が謎を呼ぶ画像。。。狂気すら感じてしまう出力。

プロンプトの書き方に問題があるんだろうな。どうやって指示を出したらいいんだろうかね。。。

＜今回入力したプロンプト＞

この論文に書かれている内容を図にしてください。図の中に文字は入れないでください。アップロードしたPDFファイルの中に必要な図が全て含まれています。PDFファイルに含まれる図を参照することはできますか。学術的なグラフィカルアブストラクトとして使用できるクオリティーで図を作成してください。具体的でリアルな図で表現してみてください。→図1

Data AnalystでこのPDFに書かれている内容を解析してください。その上でDALL-Eでこの論文のグラフィカルアブストラクトを作成してください。グラフィカルアブストラクトにはこの論文の図1に示されている製造プロセスのイラストをベースにし、各プロセスごとに検出した微生物および成分の大小がわかるように図示、レイアウトしてください。図の周囲に余白をつけてください。図は縦横比が9:16になるように作成してください。文字はできるだけ含めないでください。→図2

漬物で使用している野菜は大根です。それを踏まえて図を作り直してください。→図3

改めて論文の内容を解析し直してください。次に微生物群集と成分の変化に着目してその結果を図で表してください。→図4

3週連続でスキップ中

ChatGPT4.0が使えるようになったので、グラフィカルアブストラクトにまとめる、というという取り組みを始めようと思っています。

試しに自分の論文のグラフィカルアブストラクトを描いてもらいましたが、論文で示した内容や結果は特に盛り込まれません。

いろいろやってみています。

今週は別件

今週は別件の調査課題がありまして、お休み。

ChatGPT4にアップグレードしようと思ったら、順番待ちなんですね。