Projek ini bermula dengan Wadiah, novel tiga buku yang saya tulis. Saya mula menyediakan ilustrasi untuk memperlihatkan watak dan dunia yang saya gambarkan dalam novel itu. Apabila watak yang sama muncul dalam gambar berlainan, pembaca perlu boleh mengenalinya melalui wajah dan pakaian.
Daripada ilustrasi itu saya mula mencuba satu lagi bentuk penceritaan. Saya mahu mengadaptasi adegan terpilih daripada Wadiah menjadi video pendek. Pada mulanya saya cuba menggerakkan satu gambar. Kemudian saya cuba menyambung beberapa syot supaya aksi dapat diteruskan dari satu klip ke klip berikutnya.
Dalam artikel 2 September, saya ceritakan bagaimana ejen menyediakan perubahan, pemantau menjalankan ujian pada PC Windows dan Git tempatan menyimpan sejarah pindaan. Apabila kerja media berkembang, saya menggunakan studio untuk mengurus syot. Saya kemudian memerlukan jambatan untuk menyelaras kerja dua ejen dan Telegram untuk mengikuti perkembangan dari telefon.
Inti artikel ini ialah satu hasil riset: bagaimana dua ejen AI daripada dua syarikat berbeza boleh berhubung dan bekerja atas projek yang sama melalui MCP tempatan di PC saya, tanpa API.
Pertengahan September — ilustrasi Wadiah mula bergerak
Pada 17 September, saya sedang mencari cara menambah gerakan pada satu ilustrasi Wadiah sambil mengekalkan rupa gambar asal. Dalam ujian awal, model pernah beralih ke syot dekat dan menambah sebuah lampu yang tiada dalam ilustrasi. Apabila arahan mengekalkan satu syot digunakan, versi ujian itu lebih dekat dengan gambar asal. Dari situ saya mula membezakan dua kerja: menghidupkan satu ilustrasi dan membina adegan yang jalan ceritanya bergerak.
Pada malam 18 September muncul alat studio yang berasingan. Kaedah awalnya mudah diterangkan. Ambil bingkai terakhir klip pertama dan gunakannya untuk membuka klip kedua. Ulang apabila adegan perlu disambung. Cara itu memberi cerita ruang untuk bergerak, tetapi setiap sambungan membawa kemungkinan warna, gerak atau rupa watak berubah.
Menjelang 23 dan 24 September, kami sudah meneliti cara menulis arahan untuk model video, menyusun naratif menjadi syot, menetapkan aksi dan memasukkan dialog. Ujian pada PC dibuat dari dalam studio menggunakan aliran sebenar. Kami turut mengukur masa selepas penjanaan, kerana menukar hasil kepada video dan menyimpan fail juga mengambil masa.
Di situlah ujian penggunaan menjadi penting. Dalam satu larian September, menekan Henti semasa satu siri percubaan turut menutup studio. Dalam ujian lain, zum pada garis masa mengembalikan klip lama selepas suntingan. Kedua-dua pembaikan diuji semula pada PC. Selepas itu saya mahu ujian meliputi tindakan pengguna seperti menyunting, mengezum, menghentikan kerja dan menyambungnya semula.
Awal Oktober: dua ejen memerlukan rekod kerja yang sama
Pemantau asal boleh mendapatkan keputusan ujian dari Windows. Apabila saya mahu satu ejen membina dan satu lagi menyemak, timbul masalah lain. Ejen kedua perlu tahu perubahan mana yang dimaksudkan, sama ada keputusan ujian sudah ada, dan apa yang diminta daripadanya. Jika perkara itu hanya ada dalam ruang sembang ejen pertama, saya masih perlu menjadi orang tengah.
Rekod 3 Oktober menunjukkan peti mesej dan papan pemuka sudah digunakan untuk menghantar mesej mengikut topik, memilih penerima, membalas pada perbincangan asal dan memautkan tugasan. Pengakuan bacaan memberi saya satu tanda yang berasingan daripada keputusan kerja. Pada peringkat awal, pertukaran fail dan pemantau sudah boleh menyokong saluran ini. Soalan seterusnya ialah bagaimana kedua-dua aplikasi ejen boleh menggunakan fungsi yang sama dengan lebih konsisten.
Bagaimana MCP masuk ke dalam cerita
Saya meneliti beberapa pendekatan. Ada yang sesuai untuk satu panggilan ringkas, seperti meminta ejen lain menjawab dalam sesi baharu. Untuk kerja berhari-hari, saya mahu kedua-duanya boleh menggunakan sesi sendiri dan mendapat semula bahan kerja daripada tempat yang sama. Perbandingan ini menerangkan apa yang saya peroleh daripada setiap pendekatan.
| Saluran | Cara kerja | Dapatan |
|---|---|---|
| Fail arahan + pemantau | Ejen menulis fail, pemantau di PC menjalankannya | Ujian di PC boleh dijalankan dan direkodkan. Ejen kedua masih perlu mencari sendiri keadaan kerjanya. |
| Memanggil ejen kedua secara langsung | Satu ejen meminta ejen lain menjawab melalui sesi baharu | Sesuai untuk permintaan ringkas. Konteks projek perlu disediakan semula apabila sesi baharu bermula. |
| Pencetus sesi awan | Hantar teks untuk memulakan sesi awan baharu | Boleh memulakan kerja baharu. Hasil dan keputusan terdahulu masih perlu dibawa masuk ketika sesi dibuka. |
| Ejen sebagai pelayan MCP ejen lain | Satu ejen menjadi alat kepada ejen yang satu lagi | Berguna untuk jawapan singkat. Kerja panjang lebih mudah diurus melalui serahan dan semakan berasingan. |
| MCP tempatan dikongsi | Kedua-dua ejen menggunakan alat untuk menghantar, membaca dan mengakui mesej, serta merujuk tugasan dalam jambatan di PC. | Dipilih |
Model Context Protocol, atau MCP, memberi aplikasi ejen cara menggunakan alat. Jambatan di PC menyimpan perkara yang alat itu baca atau kemas kini. Pada 7 Oktober, rekod ujian menunjukkan alat kerja sudah diuji dari sesi ejen kedua. Dalam fasa yang sama, fungsi membaca, menghantar dan mengakui mesej serta mengurus tugasan mula ditambah. Ini membawa peti mesej yang sudah ada ke dalam cara kedua-dua ejen bekerja.
Kenapa MCP tempatan, dan tanpa API:
- Tiada API. Setiap ejen kekal dalam aplikasi desktopnya sendiri, atas langganan biasa. Tiada kunci API dan tiada caj ikut token.
- Konteks kekal. Setiap ejen bekerja dalam sesi panjangnya sendiri. Yang dikongsi hanya mesej, tugasan dan bukti, semuanya di PC.
- Alat sempit. Saya pilih alat yang didedahkan satu per satu, sementara mendedahkan seluruh API aplikasi bermaksud ratusan titik masuk.
- Kelayakan tinggal di PC. Token dan kata laluan tidak pernah melalui mesej antara ejen.
Satu contoh ialah apabila pembina menyerahkan calon studio. Jambatan menerima mesej. Pengaudit membacanya pada semakan sesinya, membuka bukti yang dirujuk, kemudian memulangkan keputusan dalam topik yang sama. Jika laporan ujian masih belum siap, pengaudit boleh menunggu tanpa meneka. Mesej diterima, mesej dibaca dan hasil disemak ialah keadaan berasingan. Saya menggunakan peringatan dan status kerja untuk melihat bila tindakan seterusnya boleh dibuat.
Dalam fasa yang sama, ejen juga mula meminta tugasan berdaftar dijalankan pada PC. Ujian automatik, semakan fail dan kerja dokumen tertentu mempunyai cara kerja yang boleh diulang. Pelaksana mengembalikan status dan hasil. Bagi kerja yang memerlukan penilaian, seperti menentukan sama ada susun atur studio memudahkan pengguna, bukti itu kemudian diperiksa secara berasingan.
8 dan 9 Oktober: Telegram berubah daripada notis kepada pintu masuk
Telegram bermula dengan tujuan kecil. Saya mahu tahu apabila kerja di PC sudah selesai tanpa perlu membuka papan pemuka. Pada 8 Oktober, ujian awal menghantar notis hasil daripada satu kerja mudah. Langkah seterusnya membolehkan saya melihat kerja latar melalui telefon. Pada 9 Oktober, rekod juga menunjukkan kemudahan menyemak arahan aktif, sejarah dan perkara yang menunggu keputusan.
Selepas itu, Telegram dikembangkan untuk permintaan media yang disokong. Jika saya mahu meminta satu imej atau klip ketika di luar, saya boleh memulakan dari telefon dan, dalam aliran tertentu, menyemak draf sebelum menghantarnya. Studio dan PC masih mengurus giliran dan menghasilkan fail. Hasil dan tindakan susulan kemudian dapat dirujuk melalui saluran yang sesuai.
Papan pemuka mengisi keperluan yang lain. Apabila saya mahu tahu mengapa sebuah kerja belum selesai, saya perlu melihat siapa yang sedang bekerja, apakah ia menunggu keputusan atau giliran, dan apa yang sedang digunakan pada PC. Penyelia membantu mengurus pelancaran atau pemulihan perkhidmatan tertentu. Rekod versi dan keputusan ujian membantu saya membezakan perubahan perisian daripada masalah pada calon yang sedang diuji.
Sepanjang Oktober: cara menyambung kerja tanpa mengulang semuanya
Bila tugasan bertambah, satu pelan panjang mudah menyembunyikan kerja kecil yang sebenarnya perlu dimulakan. Saya pecahkan kerja supaya setiap tugasan ada pemilik, keutamaan, prasyarat dan hasil yang boleh diperiksa. Sebagai contoh, bina paparan baharu, uji pada telefon dan audit hasil boleh menjadi kerja berasingan. Saya masih boleh baca pelan bagi gambaran penuh. Untuk menentukan apa yang boleh dimulakan, saya lihat senarai kerja dan keadaan semasa.
Pada awal Oktober, kami sudah mencuba cara menyertakan konteks berversi bersama semakan. Itu membawa kepada apa yang saya panggil kejuruteraan konteks. Apabila ejen menerima kerja, ia perlukan keputusan terdahulu yang masih terpakai, calon sebenar, bahan ujian dan bukti. Jika saya minta audit butang Jana pada telefon, ejen perlu tahu skrin mana, keadaan papan kekunci dan langkah bagaimana butang itu dicapai. Dengan maklumat itu, semakan selepas pembaikan boleh mengulang keadaan yang sama.
Pembantu bahasa tempatan juga pernah dikaji sebagai cara membantu menghuraikan imej dan memahami arahan biasa. Soalannya ialah tugas mana yang boleh dibantu dengan berguna pada PC sendiri, dan bila kerja itu patut menunggu supaya ia tidak berebut sumber dengan studio. Susunan kerja yang berasingan membantu saya melihat beza antara ejen yang sedang berfikir tentang sesuatu, kerja yang sudah masuk ke giliran, dan mesin yang benar-benar sedang memprosesnya.
Apabila saya bertanya semula tentang satu kaedah video, ejen boleh mencari keputusan dan klip ujian terdahulu. Idea yang masih hendak diteroka boleh tinggal dalam arkib riset dan dicari apabila soalan itu dibuka semula. Kami juga terus memendekkan ringkasan supaya ejen dapat melihat kerja aktif dan mencari sumber penuh apabila perlu. Sambungan yang bermasalah atau serahan yang belum dibaca masih memerlukan pemeriksaan.
Bagaimana saya tahu satu perubahan boleh digunakan
Satu binaan boleh sudah siap ditulis tetapi belum diuji pada PC. Ia boleh lulus ujian kod dan masih belum menjawab sama ada pengguna mudah mencapai fungsinya. Sebab itu saya mahu status menyatakan tahap sebenar, daripada calon dibina, diuji dan diaudit hingga tersedia untuk digunakan. Bagi sesetengah perubahan media, ujian pada GPU juga perlu sebelum keputusan itu boleh digunakan dalam kerja sebenar.
| Peranan | Tugas | Di mana |
|---|---|---|
| Ejen pembina | Sediakan calon dan ujian, kemudian serahkan untuk semakan pada PC | Salinan kerja |
| Ejen pengaudit | Semak calon dan bukti. Pemilik komponen mengurus pemasangan apabila sesuai. | Calon dan bukti PC |
| Pelaksana ujian | Jalankan ujian pada calon dan simpan hasil untuk dirujuk | PC |
| Jambatan | Senarai tugas, mesej antara ejen, rekod keputusan saya | PC |
Kegagalan yang mengajar
Beberapa kegagalan berlaku ketika keputusan berpindah dari satu ruang kerja ke ruang yang lain. Yang paling mengelirukan ialah laporan ujian kelihatan baik walaupun bahan yang diuji ialah salinan lama, atau satu langkah sebenarnya hanya menggunakan contoh. Jadual ini menunjukkan apa yang kami ubah pada cara mengesahkan hasil.
| Corak | Apa yang berlaku | Pembetulan |
|---|---|---|
| Versi tidak sepadan | Satu siri ujian berjalan pada salinan lama | Kenal pasti calon sebelum menjalankan ujian |
| Alat luaran tiada | Ujian menghasilkan fail contoh walaupun alat media sebenar tidak digunakan | Rekod sama ada alat sebenar digunakan |
| Serahan berulang | Laporan terdahulu sampai sekali lagi ketika laporan baharu dijangka | Padankan laporan dengan calon semasa |
| Bahan berubah semasa menunggu | Bahan ujian berubah selepas permintaan masuk ke giliran | Sahkan bahan yang sudah sedia sebelum menghantar permintaan |
| Ujian satu arah | Butang tukar yang ditekan dua kali tidak kembali ke susunan asal pada satu saiz skrin | Ujian tukar dua kali, ditangkap audit |
Bila perlu semakan awal dan bila perlu audit bebas
Jika masalah boleh dikesan sebelum serahan, semakan awal menjimatkan satu pusingan. Audit bebas masih berguna untuk mempersoalkan apa yang tidak diuji. Saya juga mahu jelas siapa menjaga komponen dan siapa menyemak bukti. Dalam ujian susun atur, sebagai contoh, saya mahu keadaan sebelum dan selepas dibandingkan pada desktop dan telefon dengan alasan bagi perbezaan yang disengajakan.
| Pilihan | Kelebihan | Kos |
|---|---|---|
| Audit bebas selepas serahan | Pembina dan pengaudit ada tanggungjawab yang jelas | Satu pusingan penuh setiap kali ditahan |
| Audit beserta cadangan pembetulan | Pembina terus dapat arah pembaikan | Cadangan yang terlalu terperinci boleh mengaburkan peranan |
| Terbalik: pengaudit betulkan dalam cawangan, pembina menilai | Pembaikan kecil lebih pantas | Dua pihak boleh menyentuh perubahan yang sama dan bertembung |
| Pra-audit subagen sebelum serah | Masalah berulang boleh dikesan sebelum audit bebas | Memerlukan masa tambahan sebelum serahan |
Riset studio dari September hingga November
Kajian pertama saya tentang video bermula dengan soalan yang timbul ketika saya menghasilkan klip. Apabila pilihan bertambah, kami mula menyimpan pembanding dan hasil supaya keputusan baharu boleh disemak semula. Saya susun beberapa jalur kajian di bawah mengikut masa soalan itu muncul.
September: arahan, dialog dan masa sebenar
Selepas percubaan menyambung klip, kami menguji bagaimana susunan arahan, giliran dialog Melayu dan kedudukan kamera mengubah hasil. Kami juga mengukur masa selepas model selesai menjana klip. Kalau bahagian menyimpan fail masih mengambil masa atau tersangkut, tetapan yang nampak pantas pada satu peringkat belum tentu memberi fail lebih awal.
Percubaan naratif awal juga menguji apa yang berlaku apabila pembantu bahasa mengembangkan arahan asal. Dalam satu ujian, bahagian yang saya tulis tidak muncul dalam paparan selepas arahan dikembangkan. Kami semak kedua-dua hasil dan cara aplikasi memaparkannya. Dalam ujian susulan yang berjaya, ayat yang saya tulis kekal. Sejak itu saya lebih mudah melihat tugas pembantu bahasa sebagai menyediakan draf yang boleh saya semak sebelum saya gunakan untuk menjana hasil.
Pada hujung September, kami mula membandingkan draf kecil yang dibesarkan dengan klip yang dijana terus pada saiz akhir. Antara perkara yang kami pelajari ialah menukar saiz penjanaan boleh menghasilkan gerakan dan pembingkaian yang berbeza walaupun arahan asal sama. Sejak itu saya bezakan soalan “kaedah mana menjaga klip ini?” daripada “hasil mana saya mahu pilih untuk adegan ini?”
Oktober: naik skala, kemasan dan identiti
Kami bandingkan beberapa cara menambah saiz dan beberapa cara mengemas klip pada saiz yang sama. Perbezaannya mudah dilihat pada kerja sebenar. Menaikkan saiz menjawab keperluan keluaran yang lebih besar. Mengemas klip menjawab soalan sama ada rupa dan perincian tertentu boleh diperbaiki selepas penjanaan. Ujian turut melihat sama ada wajah, pakaian dan gerak kekal meyakinkan apabila bekerja dengan rujukan atau menyambung syot.
Satu lagi percubaan ialah membina gerakan dengan bantuan beberapa bingkai penting. Dengan menetapkan rupa pada titik mula atau akhir, kami boleh menyemak perubahan yang berlaku di antaranya. Dalam adegan dengan dialog, kami juga meneliti susunan giliran bercakap dan bila aksi terakhir patut berlaku. Keputusan ini membantu saya membahagikan satu adegan kepada kerja kecil yang dapat diuji semula apabila satu bahagian tersasar.
Di studio, keperluan itu melahirkan pilihan yang boleh digunakan semula. Saya boleh memilih input dan rujukan, menyediakan syot, menetapkan gambar pembuka atau akhir jika aliran menyokongnya, dan menghasilkan imej atau video. Saya menggunakan pratetap laluan untuk memilih aliran mengikut tujuan. Hasil di galeri boleh dibuka semula untuk dibandingkan atau dijadikan bahan kerja berikutnya.
November: perbandingan pada adegan dan bahan yang sama
Kami susun perbandingan saiz dan mutu pada lima jenis adegan. Apabila saya mahu menguji kesetiaan kepada satu klip, saya beri setiap kaedah fail asal yang sama. Apabila saya mahu memilih rupa video akhir, saya turut lihat ambilan yang dijana terus walaupun gerakan atau pembingkaiannya berbeza. Dalam laporan A/B, saya boleh memilih dua klip, pergi ke saat yang sama dan melihat muka, kain atau latar menggunakan pembahagi.
Dalam sampel itu, ubah saiz biasa paling cepat dan mengekalkan rupa yang dekat dengan sumber, dengan butiran yang lebih lembut. Pembesaran AI menambah kejelasan di sekitar mata dan tepi pakaian dengan kos masa yang lebih rendah daripada penjanaan semula dan pemulihan video dalam perbandingan ini. Pemerhatian itu berguna apabila lakonan asal sudah dipilih. Saya gunakan dapatan satu klip itu untuk memilih kaedah bagi adegan tersebut. Untuk pilihan lalai, saya masih mahu melihat adegan lain dan menguji keadaan yang berbeza.
Riset imej pula membawa saya kembali kepada masalah awal ilustrasi. Saya mencuba beberapa gambar rujukan dan membandingkan cara wajah berubah apabila kamera, pose dan ekspresi ditukar. Ketajaman tinggi memudahkan perincian diperiksa. Keserupaan watak masih perlu dinilai merentas beberapa hasil sebelum saya boleh bergantung pada cara itu untuk membuat profil.
Apa yang saya gunakan hari ini
Saya masih mencuba adaptasi video pendek Wadiah, satu adegan pada satu masa. Saya memilih detik daripada novel dan rujukan watak, kemudian menggunakan studio untuk menyusun syot, mencuba cara menjana dan melihat hasilnya. Apabila ejen menguji kaedah baharu, saya boleh menjejaki serahannya dalam jambatan atau melihat perkembangan melalui Telegram. Arkib riset menyimpan bukti yang boleh saya rujuk apabila memilih cara untuk menghasilkan adegan berikutnya.
Versi studio yang sedang diuji pada desktop dan telefon membawa satu lagi soalan yang saya hadapi semasa menggunakan alat ini. Selepas memilih mutu atau saiz, saya lebih kerap menyentuh syot, input, rujukan dan tetapan model. Sebab itu grafik dan susun atur perlu membantu saya tahu di mana langkah seterusnya, dengan kawalan yang kerap digunakan mudah dicapai. Saya sedang menilai perubahan itu melalui tangkapan skrin dan tindakan yang dibuat dari mula hingga hasil.
Kalau anda mahu cuba
Saya bermula dengan satu masalah yang boleh diperiksa pada mesin sendiri. Jika saya mengulangnya hari ini, saya akan bermula dengan satu kerja yang boleh dijalankan oleh pemantau, mencatat bagaimana hendak membuktikan hasilnya, kemudian membolehkan ejen kedua membaca keputusan yang sama. Selepas itu barulah saya lihat sama ada saya perlukan papan pemuka, akses dari telefon atau arkib riset.
Apabila saya kembali kepada adegan Wadiah yang sedang dikerjakan, saya mahu tahu syot mana yang sudah boleh digunakan, apa yang masih perlu diuji dan di mana bukti percubaannya. Jika satu kerja terhenti, ejen lain perlu boleh mencari sebabnya dan menyambung daripada bahan yang sudah ada.
nota kaki : Riset = Research atau kajian, dari Bahasa Indonesia, sengaja saya guna sebab macam Ridsect bunyinya
