创意
网友遁一子先生最近在玩儿 Gemini 1.5 Pro 多模态。别人也就拿 Gemini 的视频分析功能来问问模型某个镜头出现在什么时间,然后对准确的结果啧啧称奇一番。遁一子做的事儿,是让 Gemini 1.5 Pro 先看看视频,然后发挥天马行空般的想象力来编写小说,而且写得像模像样。
例如说,他给大模型看了一个瀑布边上录制的视频。完整版参考这个链接。
然后,在他的提示词引导下,Gemini 开始「创作」。
因为小说内容比较长,我就不全贴在这里了。你可以 点击这个链接,查看 Gemini 生成的小说全文。
这还不算完,他又展示了两段视频,和对应的小说。我干脆把视频和对应生成文本都放在了 Notion 页面里,你可以点击下面两个链接查看:
我看过之后觉得很欣喜。大语言模型在视频和提示词引导下,居然能够写出那么有意思的小小说,确实给很多的应用场景打开了思路 —— 最显而易见的,是给娃讲个性化睡前故事。
很快有网友询问遁一子先生能否分享 prompt?他表示暂时不打算公开。
我完全能够理解。因为现在好的 prompt 确实非常珍贵。不过见贤思齐,我也想自己尝试一下让 Gemini 用视频生成小说。怎么办呢?
自己从头尝试?也不是不行,但是那样「重复发明轮子」,会耗费很多时间。我觉得解铃还须系铃人——咱们可以利用遁一子先生提供的这些视频和文本样例,让大语言模型创作合适的「复刻版」提示词,并且在其基础上进一步迭代改进。
试试看。
复刻
我首先用清晰提示词,告诉 Gemini 1.5 Pro 我想要干什么:
Keep reading with a 7-day free trial
Subscribe to Shuyi’s Newsletter to keep reading this post and get 7 days of free access to the full post archives.