Autor Wątek: Import plików EPP  (Przeczytany 8116 razy)

0 użytkowników i 1 Gość przegląda ten wątek.

Offline szymciak

  • Nowy użytkownik
  • *
  • Wiadomości: 16
  • Reputacja +0/-0
  • Wersja programu: Subiekt
Import plików EPP
« dnia: Kwiecień 20, 2021, 09:51:28 »
Cześć
Mam problem z importem plików EPP.
Jeden dokument insertuje się 7 sekund z poziomu aplikacji .
Plik waży ok 5Mb
 
Sam SQL "nudzi się", maksymalna utylizacja procesora jest na poziomie ~20% w piku
Wersja SQL 2014 Express Edition (64-bit)
Procesor   Intel(R) Xeon(R) CPU E31220 @ 3.10GHz, 3101 Rdzenie: 4, Procesory logiczne: 4
Nazwa systemu operacyjnego   Microsoft Windows Server 2012 R2 Foundation

Insert do bazy zapytania z poziomu SSMS trwa 4ms

Ktoś poradził sobie z optymalizacją tego procesu?

Offline dkozlowski

  • Ekspert
  • *****
  • Wiadomości: 17040
  • Reputacja +798/-27
  • Wersja programu: GT/Navireo/nexo
Odp: Import plików EPP
« Odpowiedź #1 dnia: Kwiecień 20, 2021, 09:57:56 »
Ilu masz kontrahentów tym pliku i po co ?
Daniel, Białystok.

Offline szymciak

  • Nowy użytkownik
  • *
  • Wiadomości: 16
  • Reputacja +0/-0
  • Wersja programu: Subiekt
Odp: Import plików EPP
« Odpowiedź #2 dnia: Kwiecień 20, 2021, 10:31:59 »
kontrahentów  3500,
Nie rozumiem pytania po co? To nie ja wystawiam plik tylko firma współpracująca i nie mam wpływu na to.

Offline dkozlowski

  • Ekspert
  • *****
  • Wiadomości: 17040
  • Reputacja +798/-27
  • Wersja programu: GT/Navireo/nexo
Odp: Import plików EPP
« Odpowiedź #3 dnia: Kwiecień 20, 2021, 10:52:43 »
kontrahentów  3500,
Nie rozumiem pytania po co?

Po co wysyłać kontrahentów, którzy nie występują na przesyłanych dokumentach ? Wiele osób tak robi, być może da się zmniejszyć ich liczbę...

To nie ja wystawiam plik tylko firma współpracująca i nie mam wpływu na to.

Nie rozumiem - jak można zmusić kogoś do świadczenia dla niego usług ?
Daniel, Białystok.

Offline szymciak

  • Nowy użytkownik
  • *
  • Wiadomości: 16
  • Reputacja +0/-0
  • Wersja programu: Subiekt
Odp: Import plików EPP
« Odpowiedź #4 dnia: Kwiecień 20, 2021, 11:36:36 »
kontrahentów  3500,
Nie rozumiem pytania po co?

Po co wysyłać kontrahentów, którzy nie występują na przesyłanych dokumentach ? Wiele osób tak robi, być może da się zmniejszyć ich liczbę...

To nie ja wystawiam plik tylko firma współpracująca i nie mam wpływu na to.

Nie rozumiem - jak można zmusić kogoś do świadczenia dla niego usług ?

Po spreparowaniu mniejszego pliku nie przyspiesza więc to nie to..


Offline dkozlowski

  • Ekspert
  • *****
  • Wiadomości: 17040
  • Reputacja +798/-27
  • Wersja programu: GT/Navireo/nexo
Odp: Import plików EPP
« Odpowiedź #5 dnia: Kwiecień 20, 2021, 12:11:41 »
W takim razie powoduje to jakiś układ danych i sposób ich przetwarzania w podmiocie, nie spotkałem się z takim zachowaniem, należy analizować w miejscu występowania, rozważyłbym przesłanie danych do Insertu.
Daniel, Białystok.

Offline pir

  • Aktywny użytkownik
  • ***
  • Wiadomości: 301
  • Reputacja +14/-0
  • Wersja programu: zazwyczaj aktualna chyba że czekam na jakąś poprawkę
Odp: Import plików EPP
« Odpowiedź #6 dnia: Kwiecień 21, 2021, 09:15:10 »
Możesz wykonać jeszcze jeden test.
Na tym komputerze, gdzie wczytywanie jest powolne wpisz ręcznie dokument do Subiekta (przepisz dane z tamtego spreparowanego pliku EPP).
Wyeksportuj dokument do pliku EPP.
Zaczytaj ponownie z nowego pliku EPP i obserwuj, czy jest wolno, czy przyśpieszyło.

Offline candy

  • Zaawansowany użytkownik
  • ****
  • Wiadomości: 4871
  • Reputacja +172/-11
Odp: Import plików EPP
« Odpowiedź #7 dnia: Kwiecień 21, 2021, 09:56:18 »
Mam problem z importem plików EPP.
Jeden dokument insertuje się 7 sekund z poziomu aplikacji .
Insert do bazy zapytania z poziomu SSMS trwa 4ms
Ale co trwa 4ms? Robisz import pliku EPP poprzez Management Studio?  :o

Sprawdź:
1. to co pisze @pir - import z pliku EPP wygenerowanego w Subiekcie GT
2 Ustawienia w Administracja -> Paramety
    Numeracja dokumentów - Dekret (ustaw bez wypełniania luk)
    Komunikacja - Import (ustaw jeśli kontrahent istnieje w bazie to nie odbieraj)

Jeśli to nic nie zmieni to przez forum czarno widzę możliwość pomocy.
Nie pytaj co rząd może zrobić dla Ciebie. Spytaj czy mógłby tego nie robić.

Offline szymciak

  • Nowy użytkownik
  • *
  • Wiadomości: 16
  • Reputacja +0/-0
  • Wersja programu: Subiekt
Odp: Import plików EPP
« Odpowiedź #8 dnia: Kwiecień 27, 2021, 11:26:14 »
Panowie dzięki za podpowiedzi, sprawdzę te tropy, jednak podmiot od którego mam plik jest nietechniczny i "boi" sie gdzies klikać..  :(
Jeśli grzebiecie po bazach to sprawdźcie sobie indexy i ich fragmentację ja na odbudowie indexow  na wykorzystywanych tabelkach o zgrozo fragmentacja na poziomie >92% co prawda to male tabelki, zmianie wielkości autorozrostu plików bazy uzyskałem szybsze wykonywanie insertów z poziomu ssms i aplikacji.
Mam wrażenie że teraz punktem spowalniającym jest juz sama aplikacja/plik więc sprawdzę to co pisaliście wyżej.

PS. może wiecie gdzie można wyłączyć pytanie o archiwizację ? nie potrzebuję tej funkcjonalności bo silnik sql sam mi robi backupy, a nie mogę w bazie namierzyć tabelki gdzie to jest zdefiniowane :(

Offline dkozlowski

  • Ekspert
  • *****
  • Wiadomości: 17040
  • Reputacja +798/-27
  • Wersja programu: GT/Navireo/nexo
Odp: Import plików EPP
« Odpowiedź #9 dnia: Kwiecień 27, 2021, 16:31:47 »
PS. może wiecie gdzie można wyłączyć pytanie o archiwizację ? nie potrzebuję tej funkcjonalności bo silnik sql sam mi robi backupy, a nie mogę w bazie namierzyć tabelki gdzie to jest zdefiniowane :(

Taka praca, aby wiedzieć - w programie "Archiwizator", w parametrach archiwizacji podmiotu...
Daniel, Białystok.

Offline candy

  • Zaawansowany użytkownik
  • ****
  • Wiadomości: 4871
  • Reputacja +172/-11
Odp: Import plików EPP
« Odpowiedź #10 dnia: Kwiecień 27, 2021, 16:54:17 »
Panowie dzięki za podpowiedzi, sprawdzę te tropy, jednak podmiot od którego mam plik jest nietechniczny i "boi" sie gdzies klikać..  :(
Który plik? EPP?
Chyba się pogubiłem się w tym dramacie.
Przecież ja pisałem o parametrach programu importującego, a nie o podmiocie generującym plik EPP.
Nie pytaj co rząd może zrobić dla Ciebie. Spytaj czy mógłby tego nie robić.

Offline szymciak

  • Nowy użytkownik
  • *
  • Wiadomości: 16
  • Reputacja +0/-0
  • Wersja programu: Subiekt
Odp: Import plików EPP
« Odpowiedź #11 dnia: Kwiecień 28, 2021, 22:34:22 »
Panowie dzięki za podpowiedzi, sprawdzę te tropy, jednak podmiot od którego mam plik jest nietechniczny i "boi" sie gdzies klikać..  :(
Który plik? EPP?
Chyba się pogubiłem się w tym dramacie.
Przecież ja pisałem o parametrach programu importującego, a nie o podmiocie generującym plik EPP.

dobra to ja się zamotałem.. myślałem że chodzi Ci o subiekta a nie rachmistrza.. mój błąd..

Offline szymciak

  • Nowy użytkownik
  • *
  • Wiadomości: 16
  • Reputacja +0/-0
  • Wersja programu: Subiekt
Odp: Import plików EPP
« Odpowiedź #12 dnia: Kwiecień 28, 2021, 22:37:56 »
PS. może wiecie gdzie można wyłączyć pytanie o archiwizację ? nie potrzebuję tej funkcjonalności bo silnik sql sam mi robi backupy, a nie mogę w bazie namierzyć tabelki gdzie to jest zdefiniowane :(

Taka praca, aby wiedzieć - w programie "Archiwizator", w parametrach archiwizacji podmiotu...

jako że jestem leniwy i nie chce mi się 250 podmiotów zmieniać ręcznie na szybko zmajstrowałem kursor który przeleci po każdej bazie i wyłączy to pytanie   8)

print @command  --> podglad co  wypluje kurosr zakomentować linię a odkomentować poniższą żeby wykonać zmianę masowo dla wszystkich podmiotów :)
--exec sp_executesql   @command

declare @command nvarchar(400)
declare @name varchar(200)
declare sql_cursor  CURSOR FOR 

  select name from sysdatabases  where dbid not in (1,2,3,4)

  OPEN sql_cursor   
      FETCH NEXT FROM sql_cursor INTO @name 
      WHILE @@FETCH_STATUS = 0   
   BEGIN   
 
set @command = 'use '  + @name 
set @command= @command + ' update pd_Parametr
                     set pdp_ArchPytaj =0 '

print @command
--exec sp_executesql   @command

FETCH NEXT FROM sql_cursor INTO  @name
END   
   CLOSE sql_cursor   
   DEALLOCATE sql_cursor

Offline dkozlowski

  • Ekspert
  • *****
  • Wiadomości: 17040
  • Reputacja +798/-27
  • Wersja programu: GT/Navireo/nexo
Odp: Import plików EPP
« Odpowiedź #13 dnia: Kwiecień 30, 2021, 22:16:15 »
Tracisz czas na wynajdowanie koła na nowo - taką funkcjonalność posiada Biuro GT, może z niej skorzystać każdy użytkownik, a nie tylko Ci nieliczni, który będą potrafili uruchomić skrypt T-SQL...
Daniel, Białystok.

Forum Użytkownikow Subiekt GT

Odp: Import plików EPP
« Odpowiedź #13 dnia: Kwiecień 30, 2021, 22:16:15 »