aipoc-lab

AI dziś: CWE-bench v2 i Heimstaden

Autorstwo i zatwierdzenie

[Treść wygenerowana przez AI][Zatwierdzone przez człowieka]

Publikacja i aktualizacja

Publikacja: Aktualizacja:

Stan wiedzy i źródła

Stan wiedzy: Źródła:

Pięć niezależnych wdrożeń i testów pokazuje różne zastosowania AI: od oceny agentów bezpieczeństwa na 100 zadaniach CWE-bench v2, przez pozyskiwanie subskrybentów i obsługę mieszkań, po łączenie telemetrii z modelami oraz przyspieszanie symulacji w fabrykach półprzewodników. Wyniki firm obejmują zarówno konwersje i oszczędności, jak i deklarowane przyspieszenia obliczeń.

Najważniejsze dziś (TL;DR)

  • Collinear AI: CWE-bench v2 obejmuje 100 zadań z 91 typami CWE, a Gemini 4 Argon prowadzi wśród 11 modeli z wynikiem 67,8% pass@1.
  • Evernote: Około 25% wizyt komputerowych przypisanych kampaniom zakończyło się założeniem nowego konta.
  • Heimstaden: Wirtualna stylizacja zdjęcia mieszkania w Holandii kosztuje mniej niż 0,10 euro zamiast około 50 euro.
  • Cisco: Firma i OpenAI badają szybszą selekcję zagrożeń oraz egzekwowanie kontroli w Cisco Cloud Control.
  • NVIDIA: Opisane rozwiązania przyspieszają wybrane symulacje w fabrykach półprzewodników nawet 35 razy.

Collinear AI publikuje CWE-bench v2

W ogłoszeniu z 3 listopada Collinear AI przedstawiła CWE-bench v2 — publiczny zestaw 100 zadań do oceny agentów AI w cyberbezpieczeństwie. Każde zadanie wykorzystuje prawdziwe repozytorium open source: agent ma znaleźć i naprawić lukę, nie naruszając istniejącej funkcjonalności.

Zadania obejmują 91 typów CWE, czyli kategorii słabości oprogramowania. Wyniki sprawdzają deterministyczne testy programistyczne, opracowane z udziałem paneli sędziowskich LLM. Autorzy ręcznie przejrzeli każde zadanie i utrzymują także zestaw odłożony, którego modele wcześniej nie widziały. 95 zadań rozwiązał przynajmniej jeden z ocenianych modeli.

Wśród 11 modeli uwzględnionych w wynikach prowadzi Gemini 4 Argon z rezultatem 67,8% pass@1 i 81,0% pass@4. Claude Opus 5.5 uzyskał odpowiednio 67,3% i 78,0%. Według autorów lider nie rozwiązuje 19% zestawu w żadnej próbie. W zestawieniu kosztów DeepSeek V4.1 Flash osiąga 57,0% pass@1 przy koszcie 0,04 dolara za próbę; Claude Opus 5.5 podnosi wynik o dziesięć punktów za 1,83 dolara, a Gemini 4 Argon uzyskuje nieco wyższy wynik za 3,92 dolara.

Zbiór, grader i harness są otwarte, ale dostęp do danych jest ograniczony warunkami, które trzeba zaakceptować na stronie zestawu. Wyniki modeli open-weight są publikowane na stronie datasetu, a pełne porównanie, obejmujące także modele dostępne wyłącznie przez API, znajduje się w osobnym leaderboardzie. Zadania można uruchamiać przez Harbor bez samodzielnego klonowania repozytoriów; mogą też służyć jako środowiska do treningu agentów obronnych.

Dla budujących z AI: zespół bezpieczeństwa rozwijający agenta do audytu kodu może uruchomić benchmark i sprawdzić wyniki na zadaniach oraz zestawie odłożonym. Przed użyciem powinien zweryfikować warunki dostępu; ogłoszenie nie określa licencji zestawu ani wymagań dotyczących sprzętu.

Evernote testuje pozyskiwanie subskrybentów przez reklamy w ChatGPT

Evernote wykorzystał reklamy w ChatGPT, by docierać do nowych odbiorców i sprawdzać, czy przechodzą od założenia konta do płatnej subskrypcji.

Kampanie przedstawiały Evernote jako miejsce do zapisywania i porządkowania notatek oraz transkrypcji. Skupiały się na pojedynczej funkcji produktu, a reklamy kierowały na stronę Evernote. Kampanie optymalizowano pod kątem rejestracji nowych kont.

Według danych Evernote około 25% wizyt na komputerach przypisanych tym kampaniom zakończyło się założeniem nowego konta. Wśród użytkowników z tych kampanii odsetek przejścia z bezpłatnego okresu próbnego do pierwszej płatności był o około 10–20% wyższy niż historyczna średnia dla płatnych kanałów pozyskiwania klientów.

Evernote oparł te wyniki na własnych danych analitycznych i zapisach subskrypcji. Nowe konto przypisywał reklamom, jeśli pierwsza oznaczona wizyta użytkownika pochodziła z kliknięcia reklamy w ChatGPT. Firma zaznacza, że wyniki z pierwszego miesiąca są wstępne i kierunkowe; porównanie konwersji nie dowodzi, że reklamy spowodowały wzrost. Kolejnym krokiem mają być testy innych zastosowań produktu oraz przygotowanie kreacji i stron docelowych pokazujących jego miejsce w różnych przepływach pracy z AI.

Dla budujących z AI: zespół pozyskiwania klientów w aplikacji do notatek może przetestować kampanię opartą na jednej funkcji i śledzić drogę od kliknięcia do pierwszej płatności. Źródło nie podaje kosztu kampanii, dostępności reklam w Polsce ani wyników dla polskojęzycznych kreacji — te kwestie trzeba sprawdzić przed testem.

Heimstaden wykorzystuje OpenAI w zarządzaniu mieszkaniami

Heimstaden poinformował 3 listopada o wykorzystaniu narzędzi OpenAI do zmiany sposobu zarządzania nieruchomościami mieszkalnymi. Firma chce wspierać pracowników i przebudowywać procesy operacyjne, a w dalszej perspektywie dążyć do budynków, które w coraz większym stopniu same przewidują potrzeby i koordynują prace.

Jednym z zastosowań jest przygotowanie pustego mieszkania do ponownego wynajmu. Narzędzia oparte na ChatGPT Sites dostarczają rekomendacji cenowych, a AI przygotowuje stylizacje zdjęć i opisy mieszkań. Agent sprawdza aktywne ogłoszenia pod kątem standardów jakości firmy, zaś generowane przez AI informacje zwrotne o rynku pomagają zespołom wynajmu korygować działania i dostosowywać ceny. Pracownicy nadal odpowiadają za przegląd i zatwierdzanie decyzji.

W Holandii koszt przygotowania wirtualnie zaaranżowanego zdjęcia nieruchomości spadł z około 50 euro do mniej niż 0,10 euro, czyli o ponad 99 proc. Heimstaden szacuje, że w tym kraju może to przynieść 130 tys. euro oszczędności rocznie.

Firma opisuje swoją strategię AI jako opartą na trzech filarach: szkoleniu pracowników i zapewnieniu im dostępu do narzędzi, centralnym zespole transformacji wraz z siecią osób wspierających wdrożenia oraz przygotowaniu systemów zarządzania nieruchomościami i modeli danych do pracy z AI. Proces wynajmu ma łączyć te elementy: od tworzenia ogłoszeń po wykorzystanie danych nieruchomości przy rekomendowaniu cen.

Dla budujących z AI: zespoły zarządzające mieszkaniami na wynajem mogą rozpisać proces przygotowania lokalu do ponownego wynajmu i sprawdzić, które jego etapy chcą objąć testem. Źródło nie podaje ceny narzędzi OpenAI ani informacji o obsłudze języka polskiego; te kwestie trzeba ustalić przed wdrożeniem.

Cisco łączy telemetrię sieciową z modelami OpenAI

Cisco opisuje wykorzystanie modeli OpenAI wraz z danymi z sieci do budowy bardziej adaptacyjnych systemów obrony przed zagrożeniami.

Firma przedstawia podejście, w którym zabezpieczenia są rozmieszczane przy mikrousługach, kontenerach i klastrach Kubernetes. Kontrolki na poziomie aplikacji mogą ograniczać komunikację do połączeń potrzebnych danej usłudze. W razie incydentu zespoły mogą też izolować wybrane systemy, pozostawiając działanie tych, których problem nie dotyczy.

Cisco wskazuje, że połączenie danych sieciowych z modelami pozwala korelować sygnały, które osobno mogą wyglądać niegroźnie, a razem ujawnić wzorzec. AI ma też pomóc skrócić czas między wykryciem podatności a jej załataniem oraz przyspieszyć dochodzenie, reakcję i naprawę. Według firmy te możliwości mogą wpisywać się w istniejące procesy skanowania.

Przy bardziej autonomicznych agentach zespoły bezpieczeństwa mają dodatkowo odróżniać atak od niezamierzonego działania agenta realizującego prawidłowy cel. Cisco wskazuje tu na potrzebę łączenia telemetrii bezpieczeństwa z danymi obserwowalności oraz na trzy priorytety: ochronę agentów przed atakami, wykrywanie niezamierzonych działań i reagowanie niemal w czasie rzeczywistym.

W ramach Daybreak Defense Network Cisco i OpenAI badają szybszą selekcję zagrożeń oraz egzekwowanie odpowiednich kontroli w Cisco Cloud Control. Materiał wymienia też Daybreak i GPT-6 Astra jako inicjatywy wspierające wykrywanie i łatanie podatności.

Dla budujących z AI: Zespół bezpieczeństwa utrzymujący mikrousługi lub klastry Kubernetes może przeanalizować, gdzie umieścić kontrolki, i sprawdzić, jak uwzględniać telemetrię oraz dane obserwowalności agentów w procesie reagowania. Materiał nie podaje ceny, dostępności ani szczegółów technicznej integracji — te kwestie trzeba ustalić przed pilotem.

NVIDIA opisuje zastosowania AI w fabrykach półprzewodników

W najnowszym wpisie NVIDIA przedstawia, jak AI i obliczenia przyspieszone mają wspierać pracę inżynierów w fabrykach półprzewodników. Opisane zastosowania obejmują szybsze symulacje, przewidywanie zachowania procesów, agentów wykonujących sekwencje zadań oraz cyfrowe bliźniaki do testowania zmian wirtualnie.

Według wpisu symulacje wielofizyczne, uwzględniające m.in. ciepło, elektryczność i naprężenia mechaniczne, mogą być przyspieszane przez bibliotekę NVIDIA cuDSS. Dostawca oprogramowania COMSOL uzyskuje w ten sposób przyspieszenie do 10 razy. Z kolei platforma Ginestra firmy Applied Materials, także zintegrowana z cuDSS, ma działać do 10 razy szybciej niż podejście oparte wyłącznie na CPU. Dla platformy ACE+ tej firmy symulacje topografii z użyciem NVIDIA PhysicsNeMo są do 35 razy szybsze.

W obliczeniach litograficznych Siemens integruje NVIDIA cuLitho ze swoim oprogramowaniem Calibre. Według wpisu przyspiesza to wybrane obciążenia symulacyjne do 17 razy. AI wytrenowana na podstawach fizycznych ma natomiast przewidywać zachowanie materiałów i procesów bez każdorazowego uruchamiania pełnej symulacji. Lam Research pokazał, że framework PhysicsNeMo może przewidywać zachowanie plazmy w milisekundy, podczas gdy pełna symulacja trwa dni.

Wśród pozostałych przykładów Applied Materials wykorzystuje biblioteki NVIDIA Omniverse do tworzenia cyfrowych bliźniaków fabryk. Zespoły mogą w nich analizować przepływ materiałów, szukać wąskich gardeł oraz sprawdzać układy i strategie operacyjne przed próbami fizycznymi. Agenci NVIDIA NeMo Switchyard używani przez Advantest automatyzują wybór modelu AI do zadania testowego; czas odpowiedzi ma się skracać z godzin do minut.

W przedstawionym przez NVIDIA ujęciu inżynierowie nadal kierują pracą i podejmują decyzje, korzystając ze swojej wiedzy, a narzędzia AI pomagają im szybciej uzyskiwać wyniki analiz.

Dla budujących z AI: Zespół inżynierów procesu w fabryce może wskazać zadania, które warto sprawdzić w symulacjach, predykcjach lub cyfrowym bliźniaku, a następnie zweryfikować podane przyspieszenia w swoim środowisku. Wpis nie podaje cen, warunków licencyjnych ani dostępności tych rozwiązań.

Najczęściej zadawane pytania (FAQ)

Co ocenia benchmark CWE-bench v2?

Zestaw obejmuje 100 zadań opartych na prawdziwych repozytoriach open source i 91 typów CWE. Agent ma znaleźć oraz naprawić lukę bez naruszania funkcjonalności. Wśród 11 modeli prowadzi Gemini 4 Argon z wynikiem 67,8% pass@1.

Jakie wyniki Evernote uzyskał dzięki reklamom w ChatGPT?

Według własnych danych Evernote około 25% wizyt komputerowych przypisanych kampaniom zakończyło się założeniem konta. Przejście z bezpłatnego okresu próbnego do pierwszej płatności było o 10–20% wyższe od historycznej średniej płatnych kanałów, ale firma zaznacza, że wyniki są wstępne i nie dowodzą związku przyczynowego.

Jak Heimstaden obniżył koszt stylizacji zdjęć mieszkań?

Przygotowanie wirtualnie zaaranżowanego zdjęcia w Holandii kosztowało wcześniej około 50 euro, a po wykorzystaniu AI mniej niż 0,10 euro. Heimstaden szacuje możliwe roczne oszczędności w tym kraju na 130 tys. euro.

Źródła

--- Tekst przygotowany automatycznie przez laboratorium aipoc-lab (AI) na podstawie publicznie dostępnych źródeł wymienionych powyżej. Streszczenia własne, nie kopie. Wersja przed redakcją człowieka.

Manifest pochodzenia tego wpisu (JSON) — z jakich sygnałów powstał, jakie decyzje podjęły kolejne pętle i kiedy zatwierdził go człowiek.

Powiązane wpisy

/kattechnologia/temautomatyzacja · modele językowe · bezpieczeństwo/podspołeczność i niezależni · OpenAI/typwiadomości

AI dziś: GPT-5.6 Cyber i Images 2.6

GPT-5.6 Cyber trafił do AWS GovCloud, Images 2.6 generuje obrazy o 50% szybciej, a pipeline OpenAI odtworzył 1724 podatności.

/katbiznes/temagenci · automatyzacja · modele językowe/podinne big techy · OpenAI/typwiadomości

AI dziś: Grupo Boticário i ServiceNow z OpenAI

Grupo Boticário automatyzuje 80% obsługi sprzedaży przez agentów AI, a ServiceNow integruje modele OpenAI w celu optymalizacji procesów biznesowych.

/katregulacje/temmodele językowe · bezpieczeństwo · narzędzia/podinne big techy · OpenAI/typwiadomości

AI dziś: OpenAI, Apple i IBM Granite

OpenAI wspiera fair use w treningu AI, Apple dodaje modele ASR, IBM aktualizuje Granite, a Credit Saison notuje 954% zwrotu z wdrożenia ChatGPT Enterprise.

Analizy
/kattechnologia/temagenci · modele językowe · bezpieczeństwo/podGoogle · OpenAI/typanalizy

Architektura i bezpieczeństwo systemów wieloagentowych (MAS)

Analiza systemów wieloagentowych (MAS): od zaawansowanej orkiestracji i zarządzania pamięcią, po wyzwania weryfikacji bezpieczeństwa i atrybucji błędów.