Autor Wątek: Problem z szybko powiększającą się bazą danych [GT + S2S]  (Przeczytany 3439 razy)

0 użytkowników i 1 Gość przegląda ten wątek.

Offline kowgli2

  • Nowy użytkownik
  • *
  • Wiadomości: 6
  • Reputacja +0/-0
  • Wersja programu: Najnowsza
Problem z szybko powiększającą się bazą danych [GT + S2S]
« dnia: Czerwiec 06, 2019, 12:02:14 »
Witam serdecznie, mam problem z szybkim powiększaniem się bazy danych - od listopada urosła o jakieś 6 GB, mimo, iż nie odnotowaliśmy żadnych większych przepływów informacji niż normalnie, jednak podejrzewamy, iż zaczęła się powiększać wraz z rozpoczęciem używania programu S2S (terminy są zbieżne), także nasuwa się pytanie czy orientują się Państwo, czy jest możliwe, iż baza danych powiększa się ok. 25 MB dziennie przez działania S2S oraz czy tabela historia może być wyczyszczona w celu zmniejszenia bazy danych (bez utraty newralgicznych danych)?

W skrócie:
1. Jakie mogą być przyczyny takiego powiększania się bazy danych i czy ewentualnie program S2S ma jakiś powszechnie znany wpływ na jej wielkość?
2. Jakie są możliwości zmniejszenia wielkości bazy poza kompaktowaniem, które i tak w moim przypadku nic nie zmienia (Czy i jak np. można zmniejszyć oczyścić ją z niepotrzebnych danych (m.in. np. plik bazy Historia)?).

Dodatkowo w załączniku dołączam wgląd w tabele bazy danych.


Z góry dziękuję za poświęcony czas na odpowiedź i gorąco pozdrawiam :)
« Ostatnia zmiana: Czerwiec 06, 2019, 12:16:37 wysłana przez kowgli2 »

Offline candy

  • Zaawansowany użytkownik
  • ****
  • Wiadomości: 4876
  • Reputacja +172/-11
Odp: Problem z szybko powiększającą się bazą danych
« Odpowiedź #1 dnia: Czerwiec 06, 2019, 12:24:55 »
No cóż:
Masz od cholery (prawie pół miliona) kontrahentów
Praktycznie każdy kontrahent ma wpisanego pracownika.
średnio każdy z nich był poprawiany blisko 6 razy.

Nie bardzo wierzę że dałeś radę wpisałeć to ręcznie, więc jest to raczej efekt radosnego działania jakiegoś programu, lub wykonywania jakiś importów/modyfikacji.
S2S jest tu zdecydowanie pierwszym podejrzanym.
Tabela historia może być oczyszczona z nieużywanych wpisów, ale nie może zostać wyczyszczona całkowicie.
Podobnie kontrahenci i ich pracownicy - nieużywanych da się usunąć, używanych nie.
Ile zajmie usunięcie 400 tysięcy kontrahentów z pracownikami? Nie wiem, ale na pewno nie wystarczy godzina czy dwie.

Reasumując:
- reprezentujesz jakąś globalną firmę o setkach tysięcy klientów, (hmm... na Subiekcie)
albo
- tę całą robotę wdrożeniową należy zrobić jeszcze raz, tym razem na trzeźwo.



Nie pytaj co rząd może zrobić dla Ciebie. Spytaj czy mógłby tego nie robić.

Offline dkozlowski

  • Ekspert
  • *****
  • Wiadomości: 17056
  • Reputacja +798/-27
  • Wersja programu: GT/Navireo/nexo
Odp: Problem z szybko powiększającą się bazą danych [GT + S2S]
« Odpowiedź #2 dnia: Czerwiec 06, 2019, 12:54:53 »
Miejsce zajmują historyczne adresy kontrahentów (15mln+), które to powstają na skutek zbędnej aktualizacji danych kontrahentów, którą to wykonuje zapewne podejrzane rozwiązanie dodatkowe.

Reasumując:
- reprezentujesz jakąś globalną firmę o setkach tysięcy klientów, (hmm... na Subiekcie)
albo
- tę całą robotę wdrożeniową należy zrobić jeszcze raz, tym razem na trzeźwo.

Współpracuję z kilkoma firmami, które mają ilości kontrahentów ponad 500 tys., ich liczba wynika po prostu z "większej" sprzedaży detalicznej, ciężko wymyślić coś innego kiedy chce się poprowadzić rozrachunki, itp.
Daniel, Białystok.

Offline candy

  • Zaawansowany użytkownik
  • ****
  • Wiadomości: 4876
  • Reputacja +172/-11
Odp: Problem z szybko powiększającą się bazą danych [GT + S2S]
« Odpowiedź #3 dnia: Czerwiec 06, 2019, 13:58:51 »
Nie Ci będzie.
Nie zmienia to faktu że poprawianie KAŻDEGO średnio 5,5 raza dyskwalifikuje integrator.

NB Twoi też klienci też dojechali do pół miliona w pół roku i każdy kontrahent ma pracownika?

Nie pytaj co rząd może zrobić dla Ciebie. Spytaj czy mógłby tego nie robić.

Offline dkozlowski

  • Ekspert
  • *****
  • Wiadomości: 17056
  • Reputacja +798/-27
  • Wersja programu: GT/Navireo/nexo
Odp: Problem z szybko powiększającą się bazą danych [GT + S2S]
« Odpowiedź #4 dnia: Czerwiec 06, 2019, 14:19:40 »
Nie zmienia to faktu że poprawianie KAŻDEGO średnio 5,5 raza dyskwalifikuje integrator.

Jak najbardziej.

NB Twoi też klienci też dojechali do pół miliona w pół roku i każdy kontrahent ma pracownika?

No to nie było pół roku i - co faktycznie pominąłem - nie mnożą się pracownicy tych kontrahentów.
Daniel, Białystok.

Offline candy

  • Zaawansowany użytkownik
  • ****
  • Wiadomości: 4876
  • Reputacja +172/-11
Odp: Problem z szybko powiększającą się bazą danych [GT + S2S]
« Odpowiedź #5 dnia: Czerwiec 06, 2019, 14:37:16 »
No to, pomijając szczegóły, chyba się zgadzamy co do mojej konkluzji z ostatniego zdania?
 ;)
Nie pytaj co rząd może zrobić dla Ciebie. Spytaj czy mógłby tego nie robić.

Offline kowgli2

  • Nowy użytkownik
  • *
  • Wiadomości: 6
  • Reputacja +0/-0
  • Wersja programu: Najnowsza
Odp: Problem z szybko powiększającą się bazą danych [GT + S2S]
« Odpowiedź #6 dnia: Czerwiec 06, 2019, 15:51:54 »
Panowie, a czy są jakieś rozsądne kroki, które można podjąć w celu zmniejszenia wielkości bazy? Oraz czy może wiecie gdzie dokładnie w bazie danych siedzą kontrahenci? tzn. w którym miejscu jest plik z rekordem samych kontrahentów, aby było można go edytować z poziomu MSQL Management? (Oczywiście chciałem tylko wstępnie się przyjrzeć)

Pozdrawiam :)

Online yemet

  • Zaawansowany użytkownik
  • ****
  • Wiadomości: 1249
  • Reputacja +46/-1
  • Wersja programu: Navireo
Odp: Problem z szybko powiększającą się bazą danych [GT + S2S]
« Odpowiedź #7 dnia: Czerwiec 06, 2019, 16:06:53 »
To nie pliki tylko tabele. Główne tabele to kh__kontrahent, adr_ewid, adr_historia ale jest tego więcej. Oglądać sobie pooglądaj ale lepiej nic z ręki nie edytuj bo możesz sobie zrobić dużą krzywdę.

Offline candy

  • Zaawansowany użytkownik
  • ****
  • Wiadomości: 4876
  • Reputacja +172/-11
Odp: Problem z szybko powiększającą się bazą danych [GT + S2S]
« Odpowiedź #8 dnia: Czerwiec 06, 2019, 16:09:06 »
Moim zdaniem najpierw to trzeba zatrzymać postęp choroby.
Przecież mechanizm, który narobił tego bałaganu będzie go tworzył dalej póki mu ktoś nie przeszkodzi.

W którym pliku? No... w pliku bazy danych  ;) Rozumiem że masz na myśli pytanie "w której tabeli?"
Jednak już na podstawie tego pytania zaryzykuję stwierdzenie że będzie lepiej jak sobie darujesz rozmyślania nad sposobami naprawienia tej kaszany samodzielnie.

Oczywiście strukturę tabel nie jest tajemnicą - masz ją opisaną w pomocy do programu, a dane są Twoje więc możesz z nimi zrobić co zechcesz.

PS Widzę że yemet mnie uprzedził, ale konkluzja jest taka sama - nie ryzykuj.

Nie pytaj co rząd może zrobić dla Ciebie. Spytaj czy mógłby tego nie robić.

Offline kowgli2

  • Nowy użytkownik
  • *
  • Wiadomości: 6
  • Reputacja +0/-0
  • Wersja programu: Najnowsza
Odp: Problem z szybko powiększającą się bazą danych [GT + S2S]
« Odpowiedź #9 dnia: Czerwiec 06, 2019, 16:18:46 »
Bardzo Wam dziękuję za pomoc i przede wszystkim czas! :) Co do bazy, to oczywiście nie mam zamiaru nic większego robić na ślepo, dodatkowo, oczywiście nie będę grzebał na głównej bazie, tylko kopii ;)

Pozdrawiam i jeśli coś się ruszy dam znać jaki był problem, ewentualnie przyjdę z kolejnymi pytaniami  :o  :D (Oby nie :-X)



Online yemet

  • Zaawansowany użytkownik
  • ****
  • Wiadomości: 1249
  • Reputacja +46/-1
  • Wersja programu: Navireo
Odp: Problem z szybko powiększającą się bazą danych [GT + S2S]
« Odpowiedź #10 dnia: Czerwiec 06, 2019, 16:22:25 »
Tak przy okazji - mamy nawet trochę więcej kontrahentów w bazie (najpóźniej w przyszłym miesiącu stuknie 500k), większość zakładana sferycznie przez autorskie rozwiązania.  Nie żeby wszystko chodziło pięknie i idealnie bo zgrzyty się zdarzają ale takich atrakcji nie przerabialiśmy.

Mnie bardzo ciekawi ta kosmiczna ilość pracowników w bazie @kowgli2, prawie 1:1. Telefonów też jest sporo. Dokumentów jest poro mniej od kontrahentów - tych ostatnich może być sporo nieużytych nigdzie.

Offline candy

  • Zaawansowany użytkownik
  • ****
  • Wiadomości: 4876
  • Reputacja +172/-11
Odp: Problem z szybko powiększającą się bazą danych [GT + S2S]
« Odpowiedź #11 dnia: Czerwiec 06, 2019, 16:32:37 »
Sprawdziłem przed chwilą u jednego klienta, który używa S2S (żeby było jasne - my postawiliśmy SGT, a potem klient sobie sam dodał S2S, nie tykałem tego)

Klienci (osoby fizyczne) dodani przez S2S od pewnego momentu mają pracowników, o tych samych danych. Czyli każdy Jan Kowalski, z mailem jankowalski@berdyczow.pl ma w zakładce CRM pracownika Jan Kowalski, z mailem jankowalski@berdyczow.pl
Dodawani na początku tego nie mają.

Tyle że dokumentów jest więcej niż kontrahentów i ilość zapisów w adr_Historia jest taka jak trzeba, czyli mniej więcej 3 x (ilość kontrahentów + ilość pracowników kontrahentów).


Nie pytaj co rząd może zrobić dla Ciebie. Spytaj czy mógłby tego nie robić.

Offline dkozlowski

  • Ekspert
  • *****
  • Wiadomości: 17056
  • Reputacja +798/-27
  • Wersja programu: GT/Navireo/nexo
Odp: Problem z szybko powiększającą się bazą danych [GT + S2S]
« Odpowiedź #12 dnia: Czerwiec 06, 2019, 16:33:56 »
Dokumentów jest poro mniej od kontrahentów - tych ostatnich może być sporo nieużytych nigdzie.

Rzeczywiście, nie zwróciłem na to uwagi, jak napisał @candy należy w pierwszej kolejności znaleźć źródło tych problemów i je usunąć, a później posprzątać... Ja często powtarzam, że powinien posprzątać ten, kto nabałaganił... ;)
Daniel, Białystok.

Offline candy

  • Zaawansowany użytkownik
  • ****
  • Wiadomości: 4876
  • Reputacja +172/-11
Odp: Problem z szybko powiększającą się bazą danych [GT + S2S]
« Odpowiedź #13 dnia: Czerwiec 06, 2019, 16:53:29 »
Ja często powtarzam, że powinien posprzątać ten, kto nabałaganił... ;)
Albo sprząta kto inny, ale płaci bałaganiarz.
Miałem już taki przypadek.
Nie pytaj co rząd może zrobić dla Ciebie. Spytaj czy mógłby tego nie robić.

Offline candy

  • Zaawansowany użytkownik
  • ****
  • Wiadomości: 4876
  • Reputacja +172/-11
Odp: Problem z szybko powiększającą się bazą danych [GT + S2S]
« Odpowiedź #14 dnia: Czerwiec 14, 2019, 13:36:58 »
Z 2s2 jest jeszcze trochę więcej ciekawostek, np takich że
- kontrahenci mają symbole typu 's2s00000111' (proszę spróbować wpisać małą literę w symbolu z poziomu Subiekta)
- przy większej ilości towarów dodanie kolejnego magazynu to godziny albo dni (wspomniany wcześniej klient, mający 10 tysięcy towarów, zniechęcił się już po 3 godzinach  ;)) bo na tabeli stanów jest trigger, którego działanie jest, mówiąc dyplomatycznie, niezbyt szybkie  ;)
Nie pytaj co rząd może zrobić dla Ciebie. Spytaj czy mógłby tego nie robić.

Forum Użytkownikow Subiekt GT

Odp: Problem z szybko powiększającą się bazą danych [GT + S2S]
« Odpowiedź #14 dnia: Czerwiec 14, 2019, 13:36:58 »