Local LLM

Jadi kemarin nyobain LM Studio, dan ya nyobain setup untuk coding agent menggunakan continue.dev, dan hasilnya…. sedikit mengecewakan 🤔.

Seperti anak kecil yang baru dapat mainan baru, langsung cobain install beberapa model seperti berikut:

• Codestral-22B-v0.1
• DeepSeek-Coder-V2-Lite-Instruct
• DeepSeek-R1-0528-Qwen3-8B
• Phi-4-mini-reasoning
• Phi-4-reasoning-plus
• Qwen2.5-Coder-1.5B-Instruct
• Qwen2.5-Coder-3B-Instruct
• Qwen2.5-Coder-14B-Instruct

Juga beberapa model lain yang sudah terlanjur dihapus, dan saya coba untuk menjalankan tes sederhana, dan semuanya fail 🫣

Tugasnya simpel, prompt nya sama: “Update to use ternary condition” dari kode berikut:

        if ($result['verified']) {
            wp_send_json_success([
                'message' => 'Cache verified successfully',
            ]);
        }

        wp_send_json_error([
            'message' => 'Cache verification failed'
        ]);

Setelah makan waktu yang lumayan lama (tergantung besar modelnya), hasilnya pada gagal.

Saya gak sempat screenshot semuanya, tapi ini yang terakhir sempat saya screenshot (DeepSeek-Coder-V2-Lite-Instruct), dan ini masih “mendingan” karena setidaknya kondisinya jalan, dan proses cepat, walaupun tidak sesuai yang saya harapkan, tapi yang lain malah stuck lama atau kode output nya ngaco.

Saya coba juga menggunakan GLM4.5-air yang diprovide oleh kantor, dan fiuh, berhasil diselesaikan dengan cepat dan tepat.

Saya gak tau apakah ini masalah di coding agent nya (continue.dev), atau masalah resource nya (macbook M1 pro), atau ya memang model nya, karena model yang saya install itu bisa dibilang ya gak sebesar GLM, Kimi ataupun LLM koding lain. Secara size file saja punya saya maksimal 8GB sedangkan GLM dan lainnya itu diatas 200GB, jadi ya mungkin memang dari LLM nya? Tapi mosok koding sederhana gitu juga gak bisa 🫠

Nanti mungkin akan dicoba lagi dengan tools lain, saya masih penasaran soalnya seperti diliat tugas kodingnya sederhana, jadi saya berharap banget LLM open source dan lokal bisa selesein, karena ya use case saya kebanyakan seperti itu, bantuan koding sederhana, bukan yang full vibe coding, jadi kayak overkill menggunakan layanan premium kalau bisa menggunakan Lokal LLM, tapi melihat hasil ini, kok sepertinya gak bisa ya. Yah, nanti dicoba lagi.

Sementara itu, saya juga sempat coba Ollama karena ya banyak yang rekomendasiin itu, dan memang controlnya “programmer banget”, tapi setelah dicoba, di Macbook M1 Pro, walaupun sudah menggunakan Metal Accleration, Ollama bisa makan banyak resources:

Dibanding dengan LM Studio, dengan model dan prompt yang sama, CPU tidak sebanyak itu sekitar 25% dan Memory hanya diangka 8-9GB. Jadi memang LM Studio lebih hemat resource karena LLM yang digunakan model MLX yang mana memang dibuat untuk bekerja dengan M Machine, jadi lebih hemat.