Ragmux

Kullanım senaryoları

Ragmux'u on-prem çalıştırmak: kişisel veri nereye gider, KVKK bu konuda ne sorar

Bir Ragmux isteğinin, belgesinin ya da sorgusunun metni nereye gönderebileceğinin haritası; KVKK açısından neyin on-prem kalacağına karar verin. Hukuki tavsiye değildir.

Güncelleme: Son gözden geçirme: Ragmux 0.6.0 sürümüne göre doğrulandı

“Kişisel verimiz nereye gidiyor?”, bir Türk şirketinin veri koruma sorumlusunun herhangi bir yapay zekâ sistemi hakkında sorduğu ilk sorudur; retrieval’ı yerleşik bir gateway için dürüst cevap bir cümle değil bir listedir. Ragmux’a gelen bir istek bir veritabanına, bir embedding endpoint’ine, bir chat endpoint’ine ve ayarlara bağlı olarak bir reranker’a ve sorgu yeniden yazan bir modele dokunabilir. Her biri metnin gidebileceği bir yerdir ve her biri sizin seçtiğiniz bir connection’dır. Bu sayfa onları sıralar; böylece neyin on-prem kalacağı kararı bir his üzerinden değil somut akışlar üzerinden verilir.

Bu bir yazılım davranışı anlatımıdır, hukuki tavsiye değildir. KVKK’nın sizden ne istediğine ve belirli bir akışın sizin durumunuzda kabul edilebilir olup olmadığına veri sorumlusu ve hukuk danışmanınız karar verir.

KVKK’nın sorduğu şeylerden bir gateway’in bilgi verebildikleri

6698 sayılı Kanun’un iki hükmü, mimari incelemelerde sürekli geri dönülen iki hükümdür.

9. madde, yurt dışına aktarım. 12 Mart 2024’te Resmî Gazete’de yayımlanan 7499 sayılı Kanun 9. maddeyi baştan sona değiştirdi; yeni metin 1 Haziran 2024’te yürürlüğe girdi. Buna göre yurt dışına aktarım üç basamaktan birine dayanır: hedefin yeterli korumayı sağladığına dair bir Kurul kararı; o yoksa sayılan güvencelerden biri (Kurul’un ilan ettiği standart sözleşme, bağlayıcı şirket kuralları ve diğerleri); ikisi de yoksa dar bir istisnai haller kümesi. Metin, sonraki aktarımlar için de aynı güvenceleri arar. Belirli bir akışın hangi basamağa girdiği ve bunun bir aktarım olup olmadığı hukuki bir değerlendirmedir; mühendislik tarafından getirebileceğiniz şey akışların kesin listesidir.

12. madde, veri güvenliği. Kurumun bu hükme ilişkin kendi sayfası, veri sorumlusunun yükümlülüklerini kişisel verilerin hukuka aykırı işlenmesini önlemek, hukuka aykırı erişimi önlemek ve muhafazasını sağlamak olarak; bunu da uygun güvenlik düzeyini sağlayan teknik ve idari tedbirleri alarak ve kurum içinde denetim yaparak ya da yaptırarak yerine getirmek olarak özetler. Gateway’i kendiniz barındırmak bu tedbirleri sizin ellerinize verir; bu hem amaçtır hem de yükümlülüktür: güvenlik programını devralacağınız bir tedarikçi yoktur.

PostgreSQL’inizde duran veriler

Ragmux her şeyi sizin işlettiğiniz tek bir PostgreSQL veritabanında tutar:

  • Yüklenen belgeler, tam halleriyle bytea olarak; chunk’ları ve her vektör genişliği için bir embedding tablosuyla birlikte.
  • Request log’ları: kullanım ve tanımlayıcı sütunlar; model adları, token sayıları, hata mesajları ve benzerleri. Yedekleme dokümantasyonu bunların prompt ya da completion içermediğini söyler. Bkz. request log.
  • Audit log: yönetimsel işlemler; aktör, hedef ve IP adresiyle.
  • Kimlik bilgileri: sağlayıcı API anahtarları SECRET_KEY ile AES-256-GCM şifrelenir, project anahtarları hash’lenmiş olarak saklanır.

İki saklama ayarı vardır: LOG_RETENTION_DAYS (varsayılan 90) ve AUDIT_RETENTION_DAYS (varsayılan 365); ikisinde de 0 satırların sonsuza dek tutulması demektir. Bunlar request log’larını ve audit kayıtlarını kapsar. Yüklenen belgeler bu listede değildir; bir belgenin store’da ne kadar kalacağı, onu silerek uygulayacağınız kendi politikanızdır.

Bir dump yüklenmiş her belgeyi içerdiği için yedekleme dokümantasyonu onu “veritabanının kendisi gibi” ele almayı söyler: şifreleyin, dizini kısıtlayın ve SECRET_KEY’i ondan ayrı tutun. Bkz. Security notes.

Gateway’den ne çıkar, kime gider

İncelemenizin önüne koyacağınız tablo budur. Her satır, bir admin’in yapılandırdığı ya da bir istemcinin adlandırdığı bir hedefe giden çağrıdır; hiçbiri Ragmux’un kendi inisiyatifiyle yaptığı bir çağrı değildir.

Adım Çıkan metin Gittiği yer
Bir belgeyi ingest etmek contextual_chunks açıkken dosya adı ve bölümle öneklenmiş her chunk store’un embedding connection’ı
Bir istek için retrieval son kullanıcı mesajı ya da condense edilmiş sorgu store’un embedding connection’ı
Condense (query_strategy: condense) son history_turns_for_query turu (her biri bir kullanıcı mesajı ve ardından gelen assistant cevabı) ve son kullanıcı mesajı query_model_connection_id’nin adlandırdığı connection ya da project’in chat connection’ı (route’u varsa ilk route hedefi)
Rerank, llm backend’i, chat ya da /v1/retrieve isteğinde her biri 800 karaktere kesilmiş aday parçalar project’in chat modeli
Rerank, dashboard arama testi ve /v1/rerank (her backend) aday parçalar ya da bir istemcinin gönderdiği belgeler store’un rerank_connection_id’si: llm için bir chat connection’ı, cohere ya da voyage için o firmanın API’si. Arama testinde bir editor ya da admin (anahtar için write scope’u), rerank_backend ve rerank_connection_id override’larıyla o tek arama için instance’taki başka herhangi bir chat ya da rerank connection’ını adlandırabilir. viewer için override yok sayılır; Warning: 299 header’ı ve yanıtta rerank_overrides_ignored döner
Rerank, cohere ya da voyage, chat ya da /v1/retrieve isteğinde her biri 4000 karaktere kesilmiş aday parçalar rerank_connection_id connection’ı üzerinden o firmanın API’si
/v1/rerank bir istemcinin gönderdiği sorgu ve en fazla 1000 belge (chat connection’ı en fazla 100’ünü sıralar) bir kind = rerank route hedefi, yoksa store’un rerank_connection_id’si
/v1/embeddings bir istemcinin gönderdiği en fazla 2048 metin bir kind = embeddings route hedefi, yoksa store’un embedding connection’ı
/v1/retrieve sorgu ve store llm ile rerank ediyorsa parçalar store’un embedding connection’ı ve llm rerank için project’in chat connection’ı
Cevap konuşma, project’in system prompt’u ve getirilen parçalar project’in chat connection’ı
Görsel parçaları (IMAGE_FETCH açık) bir istemcinin gönderdiği her görsel URL’si için bir istek gemini ve ollama connection’ları için o URL’deki host
Tracing (OTEL_EXPORTER_OTLP_ENDPOINT ya da OTEL_EXPORTER_OTLP_TRACES_ENDPOINT ile bir OTLP endpoint’i ayarlıysa ve TRACING_ENABLED false değilse) trace verisi; span’lerin ne taşıdığı bu sayfanın dışındadır adlandırdığınız OTLP collector

Bir belgenin metni bu yüzden ingest edildiğinde embedding endpoint’ine, bir soruyla eşleştiğinde chat endpoint’ine ve rerank açıksa reranker’a ulaşır. Condense modeli getirilen parçaları almaz ama konuşmayı alır; buna, belge içeriğinden alıntı yapmış olabilecek önceki assistant cevapları da dahildir. Bunların hepsi yerel bir ollama ya da custom_openai sunucusuysa hiçbiri ağ sınırınızı geçmez. Biri barındırılan bir sağlayıcıysa, 9. madde sorusunu yöneltmeniz gereken akış o satırdır. İki isteğe bağlı adımın tam davranışı için bkz. Reranking ve Query strategy.

Listeyi kapalı tutmak

Bir liste ancak sessizce büyüyemiyorsa işe yarar. Gateway’in üç özelliği onu kapalı tutar.

  • Bir project yalnızca adlandırdığı connection’lara ulaşır. İstekler bir project anahtarı taşır ve hedefler project’in model connection’ı ya da route hedefleri, artı store’unun embedding ve rerank connection’ları ve sorgu modelidir. /v1/embeddings ve /v1/rerank endpoint’leri aynı kümedir; embeddings ve rerank route’ları ya da store’un örtük connection’ları üzerinden ulaşılır. Bir istisna var: dashboard arama testinde bir editor ya da admin, tek bir arama için instance’taki herhangi bir chat ya da rerank connection’ını adlandırabilir (yukarıdaki tabloya bakın); bu yolda instance’ın tüm connection listesi kapsamdadır. Bir connection eklemek ya da değiştirmek, audit log’un kaydettiği yönetimsel bir işlemdir.
  • Private-upstream guard varsayılan olarak özel adresleri reddeder; bu yüzden yerel bir sunucuya bağlantı çalışmadan önce PRIVATE_UPSTREAM_ALLOWLIST ile host adıyla izin verilmelidir. ALLOW_PRIVATE_UPSTREAMS’i kapalı bırakın ve yalnızca işlettiğiniz host’lara izin verin. Bkz. Private upstreams.
  • ragmux istek nesnesi yalnızca daraltabilir. Bir istemci kendi isteği için retrieval’ı atlayabilir ya da metadata’ya göre filtreleyebilir, ama retrieval’ı açamaz ve bir project ayarını değiştiremez.

Somut bir örnek: bir Türk şirketinde İK asistanı

Bir İK ekibi, iş sözleşmeleri ve çalışan el kitabı üzerinde bir asistan istiyor. Sözleşmeler isim, T.C. kimlik numarası ve maaş içeriyor; bu yüzden ekibin kuralı, hiçbir belge metninin üçüncü bir tarafa gitmemesi.

Chat modeli ve embedding modeli, PRIVATE_UPSTREAM_ALLOWLIST’te adıyla listelenmiş dahili bir ollama sunucusunda çalışıyor. Rerank llm backend’ini kullanıyor; yani adaylar aynı yerel chat modeline gidiyor; dashboard araması ve /v1/rerank’in kullandığı store rerank_connection_id’si de yerel bir chat connection’ına ayarlı; ve project varsayılan last_user sorgu stratejisini kullandığı için hesaba katılacak dördüncü bir connection yok. Kimse görsel göndermediği için IMAGE_FETCH kapalı. Request log’ları 90 gün, audit log bir yıl tutuluyor ve gecelik dump, veritabanı host’undan çıkmadan şifreleniyor. Süresi dolan sözleşmeleri İK ekibi store’dan siliyor, çünkü saklama ayarları bunu onların yerine yapmıyor.

Canlıya almadan önce ekip project’in connection listesini yukarıdaki tabloyla karşılaştırıyor; sonuç, veri sorumlusuna verebileceği tek sayfalık bir veri akışı tarifi. Sayfa bunun KVKK açısından yeterli olup olmadığı hakkında bir şey söylemez; o yargı olduğu yerde kalır.

Bunun yardımcı olmadığı durumlar

  • Sertifika ya da beyan gerekliliği. Ragmux, arkasında bir tedarikçi olmayan AGPL-3.0-or-later bir yazılımdır ve hiçbirini taşımaz. Kendiniz barındırmak size akışlar üzerinde kontrol verir; bir denetçiye bir şey kanıtlayan bir belge vermez.
  • Barındırılan modellerin bilinçli tercihi. Bir project barındırılan bir sağlayıcıyı kullanacaksa akış tablosu yine onun ne göreceğini söyler, ama onu sınırlamak mümkün değildir; karar o sağlayıcıyla yapılan sözleşmeye ve aktarım değerlendirmesine taşınır.
  • Karma erişimli belgeler. Bir RAG store’unda belge başına erişim kontrolü yoktur; bu yüzden daha dar bir kitle için olan kişisel veri kendi store’una ve project’ine ait olmalıdır. Bkz. Özel belge soru-cevabı.
  • Tamamen yalıtılmış bir ağ. Gereksinim hiç giden bağlantı olmamasıysa başka nelerin değiştiğini air-gapped deployment sayfası anlatır.

Bir Ragmux kurulumunun veri akışlarını haritalayın ve sınırlayın

  1. Her model connection'ı ve base_url'inin arkasındaki host'u listeleyin

    Dashboard'daki model connection'larını açın ya da GET /admin/api/models çağırın; her connection'ı provider_type ve base_url'iyle yazın. Her biri metnin gateway'den çıkabileceği bir yerdir; o yerin sınırınızın içinde olup olmadığını Ragmux değil, host belirler.

  2. Chat, embedding, rerank ve condense'ten hangilerinin yerel olması gerektiğine karar verin

    Chat ve embedding connection'ları her RAG project'inin sahip olduğu ikisidir. Rerank açık bir store üçüncüsünü ekler (llm backend'i için bir chat connection'ı; bu, project'in kendi modeli olabilir, dashboard araması ve /v1/rerank için ise store'un rerank_connection_id'sidir; ya da bir Cohere veya Voyage connection'ı); query_strategy'si condense olan bir project dördüncüsünü ekler, onu query_model_connection_id adlandırır. Gördükleri metin dışarı çıkmamalıysa her birini yerel bir ollama ya da custom_openai sunucusuna yöneltin.

  3. Belgeler içeride kalmalıysa llm rerank backend'ini seçin ya da rerank kullanmayın

    rerank_backend olarak cohere ve voyage, parçaları (her biri 4000 karaktere kesilmiş olarak) o firmaların API'lerine gönderir. llm backend'i ise onları bir chat modeline gönderir: chat ya da /v1/retrieve isteğinde project'in kendi modeline, dashboard araması ve /v1/rerank için store'un rerank_connection_id'sine. Backend'in içeride kalması için ikisinin de yerel chat connection'ı olması gerekir.

  4. Gateway'in bir istemcinin adlandırdığı URL'leri çekmemesi gerekiyorsa IMAGE_FETCH'i kapatın

    IMAGE_FETCH true iken (varsayılan) gateway, gemini ve ollama connection'ları için bir isteğin image_url parçalarını indirir. false yaparsanız böyle bir istek 400 ile reddedilir.

  5. Saklama sürelerini kendi politikanıza göre ayarlayın, yedekleri koruyun

    LOG_RETENTION_DAYS varsayılanı 90, AUDIT_RETENTION_DAYS varsayılanı 365'tir; 0 satırları sonsuza dek tutar. İkisi de yüklenen belgeleri kapsamaz. Bir veritabanı dump'ı yüklenmiş her belgeyi içerir; bu yüzden şifreleyin ve kimin okuyabileceğini kısıtlayın.

Sıkça sorulan sorular

Ragmux kullanıcılarımın prompt'larını ve cevaplarını saklıyor mu?
Yedekleme dokümantasyonuna göre request log'ları model adlarını, token sayılarını ve hata mesajlarını tutar; prompt ya da completion tutmaz. Yüklenen belgeler ayrı bir konudur: PostgreSQL'inizde bytea olarak tam halleriyle saklanırlar.
Bir Ragmux kurulumu KVKK'ya uyumlu mudur?
Hiçbir yazılım tek başına uyumlu olmaz; uyum, veri sorumlusunun kişisel veriyi nasıl işlediğiyle ilgilidir. Ragmux'un bir KVKK sertifikası ya da beyanı yoktur. Size kendi barındırdığınız bir veritabanı, istediğiniz yere yönelttiğiniz connection'lar ve bir audit log verir; bunlar kendi değerlendirmenizin girdileridir.
Barındırılan bir model sağlayıcısını kullanmak kişisel verinin yurt dışına aktarılması sayılır mı?
Bu, sağlayıcının veriyi nerede işlediğine ve sizin rolünüze bağlıdır ve kendi hukuk danışmanınıza sorulacak bir sorudur. Ragmux'un söyleyebildiği, hangi isteğin hangi connection'a metin gönderdiğidir; böylece soru somut akışlar için sorulabilir.
Hiçbir şeyin bir cloud sağlayıcısına ulaşmadığından nasıl emin olurum?
Bir project'in kullanabileceği her connection'ı, rerank ve condense olanlar dahil, yerel bir sunucuya yöneltin; private-upstream guard'ı açık bırakıp yalnızca o host'lara izin verin. Bir project yalnızca kendisinin ve store'unun adlandırdığı connection'lara ulaşır; bu yüzden istemci istekleri için gözden geçirilecek hedefler tüm instance değil, bu listelerdir. İstisna dashboard arama testidir: bir `editor` ya da `admin`, store'un parçalarını tek bir arama için instance'taki herhangi bir chat ya da rerank connection'ına gönderebilir. Kişisel veri tutan bir instance'ta barındırılan connection'lar bulundurmayın ya da bu rollere sahip kişileri sınırlayın.
Audit log ve request log belgeler hakkında ne kaydeder?
Request log kullanım ve tanımlayıcı sütunları kaydeder, metin kaydetmez. Audit log yönetimsel işlemleri aktör, hedef ve IP adresiyle kaydeder; bir belgenin metadata'sı için değerleri değil anahtar adlarını kaydeder.
Ragmux bakımcılarına telemetri gönderiyor mu?
Yapılandırma referansında telemetri, lisans kontrolü ya da güncelleme kontrolü değişkeni yoktur; gateway'in yaptığı giden çağrılar bir admin'in yapılandırdığı endpoint'lere gider. Giden çağrıların tam listesi için air-gapped deployment sayfasına bakın.

Kaynaklar

Ürün ve sağlayıcı adları ilgili sahiplerinin ticari markalarıdır.

Gezinmek için ok tuşları, açmak için Enter.