LM Studio

Gara-gara kemarin kena limit Cursor, dan di kantor juga sudah RnD mencoba menggunakan opensource LLM, saya jadi penasaran dan pengen mencoba juga LLM yang bisa dijalankan di laptop saja, dan ketemu lah ini, LM Studio.

LM Studio ini (lmstudio.ai) aplikasi Mac untuk menjalankan LLM di lokal laptop. LLM itu maksudnya bisa dibilang otaknya si AI, kumpulan pengetahuan yang bisa kita gunakan.

Proses penggunaan juga gak rumit, tinggal download, install. Sedikit kecewa karena waktu awal install diberikan suggestion untuk menginstall gpt-oss, yang mana ya versi open source dari ChatGPT, setelah download 12 GB ternyata gak bisa running di laptop karena “kemungkinan akan membuat sistem lag”, lah kalau gitu kenapa di suggest 🤔, jadi ya dihapus lagi.

Setelah itu baru cari model LLM lain yang kira-kira saya bisa download dan gunakan di laptop Macbook M1 Pro, setelah beberapa research (ngobrol sama ChatGPT) dan coba-coba, pilihan paling oke ini adalah qwen/qwen2.5-coder-14b. Ini bukan Model LLM canggih ala Antrophic sonet atau ChatGPT, tapi saya rasa ini cukup untuk keperluan saya yang sebenarnya gak ribet-ribet amat, yang penting bisa bantu beberapa hal mundane yang berulang-ulang.

Setelah selesai download LLM, berikutnya cobain dulu untuk chatting.

Oke nih, berikutnya hidupin server mode, dengan begini kita bisa mengintegrasikan tools lain untuk menggunakan LLM ini.

Coding Agent

Tentu saja tool yang paling saya perlukan dan niat awal menggunakan local llm adalah Coding Agent.

Tadinya saya sudah mencoba dengan Claude Code, jadi Claude tapi menggunakan LLM local dari LM Studio tadi, sehingga gak perlu bayar subscription 💰, tapi ternyata susah, gak mulu, perlu tambahan aplikasi LitteLLM, ini itu, dan ujung-ujungnya gak bisa lancar juga. Saya mencoba menulis hello world sederhana saja lama sekali dan gak beres-beres, gak tau deh salah nya dimana.

Saya juga sudah coba KiloCode, Cline, Roo Code, semua sama, gak beres-beres requestnya. Sampai saya ketemu sama ini ni, continue.dev.

Continue punya tools cli dan integrasi dengan VS code, jadi praktis banget.

Untuk mengkoneksikan antara Continue dan LM Studio, perlu edit file config di ~/.continue/config.yaml dengan configurasi berikut:

name: LMStudio
version: 1.0.0
schema: v1
models:
  - name: qwen/qwen2.5-coder-14b
    provider: lmstudio
    model: qwen/qwen2.5-coder-14b
    apiBase: http://localhost:1234/v1/
context:
  - provider: code
  - provider: docs
  - provider: diff
  - provider: terminal
  - provider: problems
  - provider: folder
  - provider: codebase

Tentu saja bisa dimodifikasi untuk menambahkan model lain, tapi ya saya seperti itu saja.

Lalu saya bisa menjalankan Continue cli dengan command

cn --config=......./config.yaml

Beres, sekarang saya bisa menjalankan Agent CLI ala claude code tapi versi Continue dengan local LLM yang artinya bebas subscription.

Untuk VS Code lebih straightforward, tinggal download extension Continue, lalu setup menggunakan config.yaml diatas, selebihnya tinggal gunakan seperti Coding assistant lainnya.

Tentu saja, menjalankan local LLM sendiri seperti ini ada masalah sendiri, salah satunya ya model LLM nya gak terlalu update, ya ada yang lebih update dan lebih “pintar”, tapi kebutuhan resource nya juga besar, saya yang hanya menggunakan model LLM diatas itu aja agak lumayan lama kalau tugas nya agak panjang dan laptop yang biasanya diem, jadi sedikit bersuara menunjukkan kerja keras.

Untuk saya ini cukup karena ya gitu saya menggunakan coding agent, tapi untuk kebutuhan kecil-kecil seperti refactor, atau bikin unit kode sederhana, jadi bukan full aplikasi vibecoding, dan untuk itu cukup saja. Ya gak tau juga, belum dicoba lebih lama, baru 1 hari 🙂

Setidaknya hemat beb, bebas biaya subscription 🙂