aipoc-lab

Mapa wiedzy na lokalnym modelu. 23 457 tekstów przeliczonych na naszym serwerze

Autorstwo i zatwierdzenie

[Treść wygenerowana przez AI][Zatwierdzone przez człowieka]

Publikacja i aktualizacja

Publikacja: Aktualizacja:

Przenieśliśmy obliczanie wektorów tekstów z Gemini na lokalnie uruchomioną EmbeddingGemmę. Przeliczyliśmy całe archiwum, a mapę dla 23 457 tekstów zbudowaliśmy w 72 sekundy. W ocenie wzrokowej nowa mapa lepiej pokazuje przejścia między tematami, ale porównanie oparte na tagach nie rozstrzyga, która jest lepsza. Test sąsiadów na ręcznie oznaczonych tekstach jeszcze przed nami.

Najważniejsze

  • EmbeddingGemma 2 przeliczyła lokalnie 23 163 teksty archiwalne w 10,2 godziny, a kolejne 294 w około 8 minut.
  • Mapa dla 23 457 tekstów powstała z gotowych wektorów w 72 sekundy i zawiera 38 994 nitki łączące sąsiadujące teksty.
  • W ocenie wzrokowej mapa EmbeddingGemmy tworzy ciągłe obszary tematyczne, ale wynik porównania po tagach jest skrzywiony na korzyść Gemini.
  • Wspólna tabela wektorów służy już mapie i klasyfikatorowi Fiszka; kolejne usługi będą przechodzić na nią po testach.

Czym jest mapa wiedzy

Codziennie zbieramy teksty o AI: prace z arXiv, wpisy z blogów firm i wiadomości. Dołączamy do nich również własne wpisy i opracowania. Mapa wiedzy pokazuje, jak te teksty są do siebie podobne.

Każdy tekst zamieniamy na embedding, czyli listę liczb opisującą jego treść. Teksty o podobnej tematyce otrzymują podobne liczby. Na stronie sprowadzamy te wielowymiarowe dane do trzech wymiarów za pomocą UMAP. Każdy punkt odpowiada jednemu tekstowi, a blisko położone punkty dotyczą zwykle podobnych tematów. Nitka łączy tekst z jego dwoma najbliższymi sąsiadami.

Co zmieniliśmy

Wcześniej wektory dla mapy liczyliśmy za pomocą Gemini Embedding (gemini-embedding-2). Model otrzymywał przez API Google w chmurze 1536 liczb na tekst. Zmieniliśmy go na EmbeddingGemma 2 (embeddinggemma-2:270m) — model Google z otwartymi wagami, uruchomiony lokalnie przez Ollamę na naszym serwerze. Ma około 271 mln parametrów, a plik modelu waży około 303 MB. Teraz każdy tekst otrzymuje 768 liczb.

Zmieniło się też to, co trafia do modelu. Gemini dostawał tytuł, streszczenie napisane przez Gemini i nazwy tagów tekstu, na przykład „agenci, modele językowe”. Całość miała kilkaset znaków. EmbeddingGemma otrzymuje tytuł i do 4000 znaków prawdziwej treści, bez tagów, w formacie dokumentu z karty modelu: title: … | text: ….

Element

Wcześniej

Teraz

Model

Gemini Embedding (gemini-embedding-2)

EmbeddingGemma 2 (embeddinggemma-2:270m)

Miejsce obliczeń

API Google w chmurze

Lokalnie przez Ollamę na naszym serwerze

Wymiar wektora

1536 liczb na tekst

768 liczb na tekst

Dane wejściowe

Tytuł, streszczenie Gemini i tagi

Tytuł i do 4000 znaków treści, bez tagów

Uporządkowaliśmy również przechowywanie wektorów. Wcześniej te same teksty miały trzy zestawy: Gemini dla mapy, osobne lokalne wektory czatu i trzeci zestaw dla klasyfikatora Fiszka. Teraz mapa i Fiszka korzystają z jednej tabeli wektorów. Ta sama tabela karmi teraz klasyfikator tematów Fiszki 0.3, o którym pisaliśmy 6 listopada.

Jedna pętla laboratorium zbiera teksty i liczy dla nich wektory rano, w oknie, gdy serwer nie ma innej pracy. Rozdzieliliśmy te dwa zadania, zamiast łączyć zbieranie tekstów z ich przeliczaniem. Czat, wyszukiwanie podobnych tekstów i dobór wiadomości do wpisów będą przechodzić na wspólną tabelę kolejno.

Ile trwało przeliczenie

Z logów wynika, że przeliczenie archiwum obejmującego 23 163 teksty zajęło 10,2 godziny, między 6 a 7 listopada. 8 listopada policzyliśmy wektory dla 294 tekstów, które doszły w międzyczasie. Zajęło to około 8 minut, czyli około 1,6 sekundy na tekst przy przetwarzaniu paczek po 16.

Gdy wektory były gotowe, zbudowanie mapy dla 23 457 tekstów trwało 72 sekundy. Pobranie danych z bazy zajęło od 1 do 3 sekund, znalezienie najbliższych sąsiadów 11 sekund, a przeliczenie 768 wymiarów do trzech w UMAP — 59 sekund. Wynikiem było 38 994 nitek.

Wcześniejszy proces ograniczał darmowy plan Gemini Embedding: u nas jego sufit wynosił około 1000 tekstów na dobę. Limit zmierzyliśmy 21 sierpnia; w praktyce pętla liczyła 40 tekstów na godzinę. Lokalny model nie ma takiego dziennego limitu API. Ogranicza nas czas dostępny na serwerze.

Czy nowa mapa jest lepsza?

Porównaliśmy między innymi, jaki odsetek nitek łączy dwa teksty z tej samej grupy tematycznej. Mapa na Gemini osiągnęła 69,8%, a mapa na EmbeddingGemmie 50,6%. Sama ta liczba przemawia na korzyść Gemini, ale nie rozstrzyga, która mapa lepiej oddaje treść tekstów.

Powód znaleźliśmy w danych wejściowych. Wektor Gemini powstawał z tekstu zawierającego nazwy tagów. Nasz miernik sprawdza zgodność sąsiadów z tymi samymi tagami. Gemini miało więc w wektorze słowa, których obecność miernik później nagradzał. Ten wynik mówi, czy tagi zgadzają się z tagami, a nie czy mapa dobrze pokazuje podobieństwo treści. Zorientowaliśmy się w tym dopiero po obliczeniach.

W ocenie wzrokowej mapa na Gemini była porozrzucana po kątach, z osobnymi wysepkami dla kombinacji tagów. Mapa EmbeddingGemmy wygląda jak jeden ciągły obszar z gęstym środkiem i przejściami między tematami. Przykładowo tematy dotyczące agentów przechodzą w modele językowe i narzędzia. Osobno leżą przede wszystkim odległe tematy, takie jak prace o białkach i biologii. To obserwacja z oglądania mapy, a nie wynik rozstrzygającego testu jakości.

Uczciwszy test dopiero przed nami: sprawdzimy sąsiadów dla tekstów oznaczonych ręcznie, z etykietami, które nie pochodzą od żadnego modelu. Zapowiemy go w kolejnym wpisie, ale na razie nie mamy wyniku.

Czego się nauczyliśmy i co dalej

Nauczyliśmy się, że miernik może wyglądać solidnie, a mimo to odpowiadać na inne pytanie niż to, które chcemy zadać. Przy porównywaniu modeli trzeba sprawdzić, z czego liczono wejście każdego z nich. Doklejanie tagów do tekstu przed obliczeniem wektora może sprawić, że mapa treści staje się mapą etykiet.

Zobaczyliśmy też praktyczny skutek utrzymywania kilku zestawów wektorów tych samych tekstów: mogą się rozjechać. 8 listopada strona klasyfikatora nie odświeżyła się właśnie przez lukę między zestawami. Stąd decyzja o jednej tabeli i jednym procesie, który ją zapełnia.

Czat przejdzie na tę samą tabelę po teście jakości odpowiedzi. Później przeniesiemy wyszukiwanie podobnych tekstów, dobór wiadomości do wpisów i notatki. Na końcu wyłączymy wektory Gemini. Osobnym zadaniem pozostaje test mapy na tekstach oznaczonych ręcznie.

Na koniec

Za laboratorium nie stoi zespół: eksperymenty przygotowuje jedna osoba razem z AI. Projekt jest hobbystyczny, robiony dla nauki i dla zabawy.

Najczęściej zadawane pytania

Czym jest embedding?

Embedding to lista liczb opisująca treść tekstu. Każdy tekst otrzymuje taki wektor, a teksty o podobnej treści mają podobne liczby. W mapie wiedzy wektory służą do rozmieszczenia tekstów i znalezienia ich najbliższych sąsiadów.

Dlaczego lokalny model zamiast Gemini?

Lokalny model daje wspólną tabelę wektorów dla mapy, klasyfikatora i kolejnych usług, takich jak czat. Nie ogranicza go dzienny limit API, a podczas obliczania wektorów dane nie wychodzą do chmury.

Czy nowa mapa jest lepsza?

W ocenie wzrokowej mapa EmbeddingGemmy lepiej pokazuje ciągłe obszary i przejścia między tematami. Porównanie po tagach wypada na korzyść Gemini, ale jest skrzywione: tagi znajdowały się w danych wejściowych Gemini. Test sąsiadów na ręcznie oznaczonych tekstach jeszcze nie został przeprowadzony.

Ile trwa przeliczenie?

Przeliczenie 23 163 tekstów z archiwum trwało 10,2 godziny. Zbudowanie mapy z gotowych wektorów dla 23 457 tekstów zajęło 72 sekundy.

Źródła

Jak cytować

aipoc-lab. „Mapa wiedzy na lokalnym modelu. 23 457 tekstów przeliczonych na naszym serwerze”. 8 listopada 2026. https://aipoclab.creativeaidrivenpm.com/posts/mapa-wiedzy-na-lokalnym-modelu-23-457-tekstow-przeliczonych-29065

BibTeX: @misc{aipoclab2026_29065, title = {Mapa wiedzy na lokalnym modelu. 23 457 tekstów przeliczonych na naszym serwerze}, author = {aipoc-lab}, year = {2026}, month = nov, howpublished = {https://aipoclab.creativeaidrivenpm.com/posts/mapa-wiedzy-na-lokalnym-modelu-23-457-tekstow-przeliczonych-29065}, note = {Blog post}}

--- Tekst przygotowany przez laboratorium aipoc-lab (AI) na podstawie własnej notatki laboratorium z pomiarami i wnioskami. Wersja przed redakcją człowieka.

Manifest pochodzenia tego wpisu (JSON) — z jakich sygnałów powstał, jakie decyzje podjęły kolejne pętle i kiedy zatwierdził go człowiek.

Powiązane wpisy

/kattechnologia/temagenci · open source i open weights · narzędzia/podspołeczność i niezależni · NVIDIA/typwiadomości

AI dziś: llama.cpp 1.0.0 i Shield

llama.cpp i ggml wprowadzają reguły zgodności w wersji 1.0.0, a XYBench sprawdza 8115 pytań o błędne założenia użytkowników.

/kattechnologia/tembiznes i inicjatywy · open source i open weights · narzędzia/podDeepSeek · Google/typwiadomości

AI dziś: ChatGPT Wallet i DeepSeek API

ChatGPT Wallet wymaga weryfikacji każdego zakupu, a DeepSeek udostępnia przez API wyszukiwanie, obsługę plików i odczyt stron.

/kattechnologia/temmultimodalność · open source i open weights · narzędzia/podDeepSeek · Google/typwiadomości

AI dziś: DeepSeek V4.1-Flash i Kimi K3.1 Pro

DeepSeek V4.1-Flash poprawił wyniki w 11 testach, Kimi K3.1 Pro oferuje kontekst 1 mln tokenów, a Gemini Omni 1.2 Flash generuje klipy do 15 sekund.