Forum Użytkownikow Subiekt GT

InsERT GT => Rachmistrz GT => Wątek zaczęty przez: szymciak w Kwiecień 20, 2021, 09:51:28

Tytuł: Import plików EPP
Wiadomość wysłana przez: szymciak w Kwiecień 20, 2021, 09:51:28
Cześć
Mam problem z importem plików EPP.
Jeden dokument insertuje się 7 sekund z poziomu aplikacji .
Plik waży ok 5Mb
 
Sam SQL "nudzi się", maksymalna utylizacja procesora jest na poziomie ~20% w piku
Wersja SQL 2014 Express Edition (64-bit)
Procesor   Intel(R) Xeon(R) CPU E31220 @ 3.10GHz, 3101 Rdzenie: 4, Procesory logiczne: 4
Nazwa systemu operacyjnego   Microsoft Windows Server 2012 R2 Foundation

Insert do bazy zapytania z poziomu SSMS trwa 4ms

Ktoś poradził sobie z optymalizacją tego procesu?
Tytuł: Odp: Import plików EPP
Wiadomość wysłana przez: dkozlowski w Kwiecień 20, 2021, 09:57:56
Ilu masz kontrahentów tym pliku i po co ?
Tytuł: Odp: Import plików EPP
Wiadomość wysłana przez: szymciak w Kwiecień 20, 2021, 10:31:59
kontrahentów  3500,
Nie rozumiem pytania po co? To nie ja wystawiam plik tylko firma współpracująca i nie mam wpływu na to.
Tytuł: Odp: Import plików EPP
Wiadomość wysłana przez: dkozlowski w Kwiecień 20, 2021, 10:52:43
kontrahentów  3500,
Nie rozumiem pytania po co?

Po co wysyłać kontrahentów, którzy nie występują na przesyłanych dokumentach ? Wiele osób tak robi, być może da się zmniejszyć ich liczbę...

To nie ja wystawiam plik tylko firma współpracująca i nie mam wpływu na to.

Nie rozumiem - jak można zmusić kogoś do świadczenia dla niego usług ?
Tytuł: Odp: Import plików EPP
Wiadomość wysłana przez: szymciak w Kwiecień 20, 2021, 11:36:36
kontrahentów  3500,
Nie rozumiem pytania po co?

Po co wysyłać kontrahentów, którzy nie występują na przesyłanych dokumentach ? Wiele osób tak robi, być może da się zmniejszyć ich liczbę...

To nie ja wystawiam plik tylko firma współpracująca i nie mam wpływu na to.

Nie rozumiem - jak można zmusić kogoś do świadczenia dla niego usług ?

Po spreparowaniu mniejszego pliku nie przyspiesza więc to nie to..

Tytuł: Odp: Import plików EPP
Wiadomość wysłana przez: dkozlowski w Kwiecień 20, 2021, 12:11:41
W takim razie powoduje to jakiś układ danych i sposób ich przetwarzania w podmiocie, nie spotkałem się z takim zachowaniem, należy analizować w miejscu występowania, rozważyłbym przesłanie danych do Insertu.
Tytuł: Odp: Import plików EPP
Wiadomość wysłana przez: pir w Kwiecień 21, 2021, 09:15:10
Możesz wykonać jeszcze jeden test.
Na tym komputerze, gdzie wczytywanie jest powolne wpisz ręcznie dokument do Subiekta (przepisz dane z tamtego spreparowanego pliku EPP).
Wyeksportuj dokument do pliku EPP.
Zaczytaj ponownie z nowego pliku EPP i obserwuj, czy jest wolno, czy przyśpieszyło.
Tytuł: Odp: Import plików EPP
Wiadomość wysłana przez: candy w Kwiecień 21, 2021, 09:56:18
Mam problem z importem plików EPP.
Jeden dokument insertuje się 7 sekund z poziomu aplikacji .
Insert do bazy zapytania z poziomu SSMS trwa 4ms
Ale co trwa 4ms? Robisz import pliku EPP poprzez Management Studio?  :o

Sprawdź:
1. to co pisze @pir - import z pliku EPP wygenerowanego w Subiekcie GT
2 Ustawienia w Administracja -> Paramety
    Numeracja dokumentów - Dekret (ustaw bez wypełniania luk)
    Komunikacja - Import (ustaw jeśli kontrahent istnieje w bazie to nie odbieraj)

Jeśli to nic nie zmieni to przez forum czarno widzę możliwość pomocy.
Tytuł: Odp: Import plików EPP
Wiadomość wysłana przez: szymciak w Kwiecień 27, 2021, 11:26:14
Panowie dzięki za podpowiedzi, sprawdzę te tropy, jednak podmiot od którego mam plik jest nietechniczny i "boi" sie gdzies klikać..  :(
Jeśli grzebiecie po bazach to sprawdźcie sobie indexy i ich fragmentację ja na odbudowie indexow  na wykorzystywanych tabelkach o zgrozo fragmentacja na poziomie >92% co prawda to male tabelki, zmianie wielkości autorozrostu plików bazy uzyskałem szybsze wykonywanie insertów z poziomu ssms i aplikacji.
Mam wrażenie że teraz punktem spowalniającym jest juz sama aplikacja/plik więc sprawdzę to co pisaliście wyżej.

PS. może wiecie gdzie można wyłączyć pytanie o archiwizację ? nie potrzebuję tej funkcjonalności bo silnik sql sam mi robi backupy, a nie mogę w bazie namierzyć tabelki gdzie to jest zdefiniowane :(
Tytuł: Odp: Import plików EPP
Wiadomość wysłana przez: dkozlowski w Kwiecień 27, 2021, 16:31:47
PS. może wiecie gdzie można wyłączyć pytanie o archiwizację ? nie potrzebuję tej funkcjonalności bo silnik sql sam mi robi backupy, a nie mogę w bazie namierzyć tabelki gdzie to jest zdefiniowane :(

Taka praca, aby wiedzieć - w programie "Archiwizator", w parametrach archiwizacji podmiotu...
Tytuł: Odp: Import plików EPP
Wiadomość wysłana przez: candy w Kwiecień 27, 2021, 16:54:17
Panowie dzięki za podpowiedzi, sprawdzę te tropy, jednak podmiot od którego mam plik jest nietechniczny i "boi" sie gdzies klikać..  :(
Który plik? EPP?
Chyba się pogubiłem się w tym dramacie.
Przecież ja pisałem o parametrach programu importującego, a nie o podmiocie generującym plik EPP.
Tytuł: Odp: Import plików EPP
Wiadomość wysłana przez: szymciak w Kwiecień 28, 2021, 22:34:22
Panowie dzięki za podpowiedzi, sprawdzę te tropy, jednak podmiot od którego mam plik jest nietechniczny i "boi" sie gdzies klikać..  :(
Który plik? EPP?
Chyba się pogubiłem się w tym dramacie.
Przecież ja pisałem o parametrach programu importującego, a nie o podmiocie generującym plik EPP.

dobra to ja się zamotałem.. myślałem że chodzi Ci o subiekta a nie rachmistrza.. mój błąd..
Tytuł: Odp: Import plików EPP
Wiadomość wysłana przez: szymciak w Kwiecień 28, 2021, 22:37:56
PS. może wiecie gdzie można wyłączyć pytanie o archiwizację ? nie potrzebuję tej funkcjonalności bo silnik sql sam mi robi backupy, a nie mogę w bazie namierzyć tabelki gdzie to jest zdefiniowane :(

Taka praca, aby wiedzieć - w programie "Archiwizator", w parametrach archiwizacji podmiotu...

jako że jestem leniwy i nie chce mi się 250 podmiotów zmieniać ręcznie na szybko zmajstrowałem kursor który przeleci po każdej bazie i wyłączy to pytanie   8)

print @command  --> podglad co  wypluje kurosr zakomentować linię a odkomentować poniższą żeby wykonać zmianę masowo dla wszystkich podmiotów :)
--exec sp_executesql   @command

declare @command nvarchar(400)
declare @name varchar(200)
declare sql_cursor  CURSOR FOR 

  select name from sysdatabases  where dbid not in (1,2,3,4)

  OPEN sql_cursor   
      FETCH NEXT FROM sql_cursor INTO @name 
      WHILE @@FETCH_STATUS = 0   
   BEGIN   
 
set @command = 'use '  + @name 
set @command= @command + ' update pd_Parametr
                     set pdp_ArchPytaj =0 '

print @command
--exec sp_executesql   @command

FETCH NEXT FROM sql_cursor INTO  @name
END   
   CLOSE sql_cursor   
   DEALLOCATE sql_cursor
Tytuł: Odp: Import plików EPP
Wiadomość wysłana przez: dkozlowski w Kwiecień 30, 2021, 22:16:15
Tracisz czas na wynajdowanie koła na nowo - taką funkcjonalność posiada Biuro GT, może z niej skorzystać każdy użytkownik, a nie tylko Ci nieliczni, który będą potrafili uruchomić skrypt T-SQL...